JP2023019059A - 撮像装置及び撮像システム - Google Patents

撮像装置及び撮像システム Download PDF

Info

Publication number
JP2023019059A
JP2023019059A JP2021123525A JP2021123525A JP2023019059A JP 2023019059 A JP2023019059 A JP 2023019059A JP 2021123525 A JP2021123525 A JP 2021123525A JP 2021123525 A JP2021123525 A JP 2021123525A JP 2023019059 A JP2023019059 A JP 2023019059A
Authority
JP
Japan
Prior art keywords
imaging
unit
finger support
central axis
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021123525A
Other languages
English (en)
Inventor
圭介 池田
Keisuke Ikeda
裕之 佐藤
Hiroyuki Sato
賢一郎 齊所
Kenichiro Saisho
琢 天田
Migaku Amada
壮哉 畑崎
Soya Hatazaki
直人 仲村
Naoto Nakamura
貴史 多田
Takashi Tada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021123525A priority Critical patent/JP2023019059A/ja
Priority to EP22177883.0A priority patent/EP4124907A1/en
Priority to US17/840,627 priority patent/US20230036878A1/en
Priority to CN202210714684.6A priority patent/CN115701110A/zh
Publication of JP2023019059A publication Critical patent/JP2023019059A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/563Camera grips, handles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

【課題】全天周画像の撮像を容易にする。【解決手段】撮像装置1は、所定の中心軸C1に沿って延在して形成され、中心軸C1を中心とする全天周画像を撮像する撮像部10と、撮像部10に接続され、操作者の手で外周を把持される長手形状の把持部20と、を備える。撮像部10は、中心軸C1のうち把持部20と接続される側の一部に全天周画像の死角領域Nを有する。把持部20の長手方向C2は、撮像部10の中心軸C1に対して傾斜する。【選択図】図1

Description

本発明は、撮像装置及び撮像システムに関する。
装置を中心とした周囲の像を一度に撮像する撮像システムとして、魚眼レンズや超広角レンズなどの広角なレンズを複数使用した、手持ちで撮像可能な全天周撮像デバイスなどが既に知られている。
特許文献1には、長尺状の本体の一方側に撮像部を備え、他方側に把持部を備え、使用者が把持部を把持した状態で把持部より上方に配置される撮像部によって撮像される画像情報を用いて全天周画像を生成する構成が記載されている。
しかしながら、特許文献1などに記載の従来の使用者が把持して使用するタイプの撮像装置では、使用時の姿勢などの影響により全天周画像の中心軸が鉛直方向に沿ったものになりにくい場合があり、全天周画像の撮像のしやすさの点で改善の余地がある。
本発明は、全天周画像の撮像を容易にすることを目的とする。
上述した課題を解決するために、本発明の一観点に係る撮像装置は、所定の中心軸に沿って延在して形成され、前記中心軸を中心とする全天周画像を撮像する撮像部と、前記撮像部に接続され、操作者の手で外周を把持される長手形状の把持部と、を備え、前記撮像部は、前記中心軸のうち前記把持部と接続される側の一部に全天周画像の死角領域を有し、前記把持部の長手方向は、前記撮像部の前記中心軸に対して傾斜する。
全天周画像の撮像を容易にすることができる。
実施形態に係る撮像装置の側面図 撮像装置の機能ブロック図 撮像装置の使用状態を示す模式図 撮像装置の使用時の把持状態を拡大視した図 比較例の問題点を説明するための模式図 柱状物体把持時の傾斜発生を説明する図 手首の尺屈角度の測定データ 肩関節の屈曲角度の測定データ 把持部の傾斜角度の計算結果 実施例と比較例との比較結果 撮像装置の第1変形例を説明するための図 底面部の形状の例 第1変形例と比較例との比較結果 撮像装置の第2変形例を説明するための図 撮像装置の第3変形例を説明するための図 撮像システムの一例の機能ブロック図
以下、添付図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
図1は、実施形態に係る撮像装置1の側面図である。撮像装置1は、この装置を中心とした周囲を広範囲に撮像するデバイスである。撮像装置1は、操作者に把持された状態で、この撮像装置1を中心とした周囲の像、所謂、全天周画像を一度に撮像することができる。なお、「全天周画像」とは、本実施形態では上下左右全方位の360℃パノラマ画像(全天球画像)を指すが、水平面のみ360度を撮影した、いわゆるパノラマ画像など他の種類の画像であっても良い。
撮像装置1は、撮像部10と把持部20とを備える。撮像部10は、所定の中心軸C1に沿って延在して形成される。撮像部10は、この中心軸C1を中心とする全天周画像を撮像することができる。ここで、「中心軸C1を中心とする全天周画像」とは、全天球画像の場合には、全天球画像の撮像領域を表す球体の直径が中心軸C1であることを意味する(図3(a)参照)。また、パノラマ画像の場合には、撮像領域を表す略円筒形状の中心軸線が中心軸C1であることを意味する。
把持部20は、撮像装置1の使用時に操作者によって把持される部分である。把持部20は、撮像部10に接続される。把持部20は、操作者の手で外周を把持されるよう長手形状で形成される。
撮像部10には、全天周画像を作成するための情報を取得するための各種要素が設けられる。なお、全天周画像の作成手法は従来さまざまな手法が知られているが、本実施形態では、周囲物体と撮像装置1との距離点群を像としたTOF方式の距離画像を利用する構成を例示する。
撮像部10は、投光部12と、受光部13とをそれぞれ複数有しており、これらによって得られる複数の距離画像を合成処理することで一つの距離画像を得る。
投光部12は、半導体レーザなどによる光源部12A、12aと、魚眼レンズなどの光学素子を含んだ光学系からなり、光源部12A、12aから発せられる光を広い角度で拡散照射させる。
受光部13は、TOF方式距離画像センサ13A、13a(以下「TOFセンサ13A、13a」とも表記する)と、魚眼レンズなどの光学素子を含んだ結像光学系とを有する。上記複数の投光部12から照射された光が、撮像装置1の周囲の物体などの撮像対象から本装置に向けて反射された際に、その光をTOF方式距離画像センサ13A、13aの受光領域上に向けて集光する。
また、本実施形態では、撮像部10は、さらにRGB撮像部11を複数有しており、得られた複数のRGB画像を前述の距離画像と同様に合成することで一つのRGB画像を得る。
RGB撮像部11は、魚眼レンズなどの光学素子と、CMOSなどの固体撮像素子11A、11aとを有する。
本実施形態では、以上により得られた撮像装置1を中心とした広範囲の領域における距離画像およびRGB画像を合成することで、撮像装置1の周囲空間の距離およびRGB情報を持ったデジタルツインを取得することができる。
撮像部10のRGB撮像部11、投光部12、受光部13は、典型的には中心軸C1に対して径方向外側に向けて配置される。
また、複数のRGB撮像部11のそれぞれは、典型的には、中心軸C1に対して周方向に沿って略均等に配置される。複数の投光部12のそれぞれの配置も、複数の受光部13の配置も同様である。
なお、RGB撮像部11、投光部12、受光部13は、例えば図1に示す受光部13Bのように、中心軸C1の延在方向(図1の例では鉛直上方)に沿って配置することもできる。
図2は、撮像装置1の機能ブロック図である。撮像装置1は、さらに処理回路14と、撮影スイッチ15と、表示部30と、を備える。処理回路14は、撮像装置1の動作を制御する要素であり、例えば撮像装置1の筐体の内部に収容される。撮影スイッチ15は、例えば筐体の表面に設けられ、撮像装置1の操作者が処理回路14に撮影指示信号を入力するために用いる。図2に示すように、処理回路14は、制御部141と、RGB画像データ取得部142と、モノクロ処理部143と、TOF画像データ取得部144と、高解像度化部145と、マッチング処理部146と、再投影処理部147と、セマンティックセグメンテーション部148と、視差計算部149と、3次元再構成処理部150と、判断部160と、出力部の一例である表示制御部170と、出力部の一例である送受信部180とを有する。なお、図2において、実線矢印は信号の流れを示し、破線矢印はデータの流れを示している。
制御部141は、撮影スイッチ15からON信号(撮影開始信号)を受けると撮像素子11a、11A、光源部12a、12A、およびTOFセンサ13a、13Aに同期信号を出力し、処理回路14全体を制御する。制御部141は、先ず光源部12a、12Aに超短パルスの出射を指示する信号を出力し、これと同じタイミングでTOFセンサ13a、13AにTOF画像データの生成を指示する信号を出力する。さらに、制御部141は、撮像素子11a、11Aに撮像を指示する信号を出力する。なお、撮像素子11a、11Aにおける撮像は、光源部12a、12Aから出射されている期間でもよいし、その前後の直近の期間でもよい。
RGB画像データ取得部142は、制御部141による撮像指示に基づき、撮像素子11a、11Aが撮像したRGB画像データを取得して、全天球のRGB画像データを出力する。モノクロ処理部143は、TOFセンサ13a、13Aから得られるTOF画像データとのマッチング処理のためにデータ種を揃えるための処理を行う。この例では、モノクロ処理部143は、全天球のRGB画像データを全天球のモノクロ画像に変換する処理を行う。
TOF画像データ取得部144は、制御部141によるTOF画像データの生成指示に基づき、TOFセンサ13a、13Aが生成したTOF画像データを取得して、全天球のTOF画像データを出力する。
なお、本実施形態では、TOF画像データ取得部144は、「投光部が光を投射するタイミングと、受光部が受光するタイミングとに基づいて、撮像対象の距離に関わる情報を出力する測距部」とも表現できる。
高解像度化部145は、全天球のTOF画像データをモノクロ画像に見立て、その解像度を高解像度化する。具体的に、高解像度化部145は、全天球のTOF画像データの各画素に対応付けられている距離の値を、全天球のモノクロ画像の値(グレースケール値)に置き換えて使用する。さらに、高解像度化部145は、全天球のモノクロ画像の解像度を撮像素子11a、11Aから得られた全天球のRGB画像データの解像度まで高解像度化する。高解像度への変換は、例えば通常のアップコンバート処理を施すことにより行う。その他の変換方法としては、例えば連続して生成された全天球のTOF画像データを複数フレーム取得し、それらを利用して隣接する地点の距離を追加して超解像度処理を施すなどしてもよい。
マッチング処理部146は、全天球のTOF画像データを高解像度化した全天球のモノクロ画像と、全天球のRGB画像データの全天球のモノクロ画像とについて、テクスチャのある部分の特徴量を抽出し、抽出した特徴量によりマッチング処理を行う。例えば、マッチング処理部146は、各モノクロ画像からエッジを抽出し、抽出したエッジ情報同士でマッチング処理を行う。この他の方法として、例えばSIFT等のテクスチャの変化を特徴量化した手法でマッチング処理を行ってもよい。ここでマッチング処理とは、対応画素の探索のことを意味する。
マッチング処理の具体的な手法として、例えばブロックマッチングがある。ブロックマッチングは、参照する画素の周辺で、M×M(Mは正の整数)ピクセルサイズのブロックとして切り出される画素値と、もう一方の画像のうち、探索の中心となる画素の周辺で、同じくM×Mピクセルのブロックとして切り出される画素値の類似度を計算し、最も類似度が高くなる中心画素を対応画素とする方法である。
類似度の計算方法は様々である。例えば、正規化自己相関係数NCC(Normalized Correlation Coefficient)を示す式を用いても良い。正規化自己相関係数CNCCは数値が高いほど類似度が高いことを示し、ブロックの画素値が完全に一致していれる場合に1となる。
また、全天球のTOF画像データからテクスチャレス領域の距離のデータも得られるため、領域に応じてマッチング処理に重みをつけてもよい。例えばCNCCを示す式の計算において、エッジ以外の箇所(テクスチャレス領域)に重みをかける計算を行ってもよい。
また、NCCを示す式の代わりに、選択的正規化相関(SCC:Selective Correlation Coefficient)などを用いてもよい。
再投影処理部147は、計測範囲の各位置の距離を示す全天球のTOF画像データを撮像部11の2次元座標(スクリーン座標系)に再投影する処理を行う。再投影するとは、TOFセンサ13a、13Aが算出する3次元点が、撮像素子11a、11Aの画像ではどの座標に写るかを求めることである。全天球のTOF画像データは、距離情報取得部13(主に広角レンズ)を中心とする座標系における3次元点の位置を示す。従って、全天球のTOF画像データが示す3次元点を、撮像部11(主に魚眼レンズ)を中心とする座標系に再投影する。
例えば、再投影処理部147は、全天球のTOF画像データの3次元点の座標を、撮像部11を中心とする3次元点の座標に平行移動し、平行移動後に、全天球のTOF画像データの3次元点の座標を全天球のRGB画像データが示す2次元の座標系(スクリーン座標系)に変換する処理を施す。これにより、全天球のTOF画像データの3次元点の座標と、撮像部11により撮像された全天球の2次元画像情報の座標が、互いに対応付けられる。再投影処理部147は、全天球のTOF画像データの3次元点の座標と、撮像部11により撮像された全天球の2次元画像情報の座標を互いに対応付ける。
視差計算部149は、マッチング処理により得られた対応画素との距離のズレから各位置の視差を計算する。なお、視差のマッチング処理は、再投影処理部147が変換した再投影座標を利用して、再投影座標の位置の周辺画素を探索することで、処理時間の短縮や、より詳細で高解像度な距離情報を取得することが可能になる。
また、視差のマッチング処理にセマンティックセグメンテーション部148のセマンティックセグメンテーション処理により得られたセグメンテーションデータを利用してもよい。その場合、さらに詳細で高解像度の距離情報を取得することができるようになる。
また、エッジのみや、強い特徴量のある部分のみ、視差のマッチング処理を行い、その他の部分は、全天球のTOF画像データも利用し、例えば全天球のRGB画像特徴や確率的な手法を利用し、伝搬処理を行ってもよい。
セマンティックセグメンテーション部148は、深層学習を利用して、計測範囲の入力画像に対して対象物を示すセグメンテーションラベルを付与する。これにより、全天球のTOF画像データの各画素を、距離毎に分けた複数の距離領域の何れかに拘束させることができるので、計算の信頼性がさらに高まる。
3次元再構成処理部150は、RGB画像データ取得部142から全天球のRGB画像データを取得し、視差計算部149が出力した距離情報に基づいて全天球の3次元データを再構成し、各3次元点に色情報を付加した全天球の高密度3次元点群を出力する。3次元再構成処理部150は、3次元情報を決定する3次元情報決定部の一例である。
判断部160は、RGB画像データ取得部142から全天球のRGB画像データを取得するとともに、再投影処理部147から全天球のRGB画像データが示す2次元の座標系に変換された全天球のTOF画像データを取得し、これらのデータに基づき、特定の対象物の撮像画像への写り込みの有無を判断し、判断結果を表示制御部170へ出力する。
表示制御部170は、RGB画像データ取得部142から全天球のRGB画像データを取得し、取得した全天球のRGB画像データに基づく2次元画像情報を表示部30に表示させる。また、表示制御部170は、判断部160から取得した判断結果を示す情報と、2次元画像情報と、を含む表示画像を表示部30に表示させる。
表示制御部170は、3次元情報とは別に撮像部11により撮像された2次元画像情報を出力する出力部の一例であり、表示部30は、2次元画像情報を出力する出力先の一例である。
表示制御部170は、3次元再構成処理部150から全天球の3次元データを取得し、3次元情報を表示部30に表示させてもよい。具体的には、表示制御部170は、2次元画像情報を表示部30に表示させる場合と、3次元情報を表示部30に表示させる場合を所定の条件に従って選択してもよい。これにより、表示制御部170は、3次元情報とは別に2次元画像情報を出力することができる。
送受信部180は、有線または無線技術により外部装置300と通信を行うものであり、3次元再構成処理部150から出力される全天球の3次元データおよびRGB画像データ取得部142から出力される全天球の2次元画像情報をネットワーク400経由で3次元復元処理を行う外部装置300へ送信(出力)する。
本実施形態においては、撮像部11により撮像された2次元画像情報は、「表示用の2次元画像データ」を作成するための「元の2次元画像情報」である場合、または、「表示用の2次元画像データ」を意味する。例えば、撮像装置1の内部で「表示用の2次元画像データ」を「元の2次元画像情報」から作成する場合、または、撮像装置1から外部装置に「元の2次元画像情報」を送信して、外部装置300で「元の2次元画像情報」から「表示用の2次元画像データ」を作成する場合がある。
送受信部180は、3次元情報を出力する出力部の一例であり、外部装置300は、3次元情報を出力する出力先の一例である。
送受信部180は、全天球の2次元画像情報は送信せず、全天球の3次元データのみ送信してもよい。また、送受信部180は、SDカード等の可搬型の記憶媒体やパーソナルコンピュータなどとのインターフェース回路により構成されてもよい。
なお、本実施形態では、撮像装置1が、投光部12と受光部13からなるTOF方式距離画像取得手段と、RGB撮像部11からなるRGB画像取得手段との両方を備える構成を例示しているが、TOF方式距離画像取得手段またはRGB画像取得手段のいずれか一方のみを有する構成でもよい。また、距離画像取得手段はTOF方式に限るものではなく、例えばステレオカメラによるものであってもよい。RGB画像取得手段に関してもCMOSに限るものではなくその他の撮像素子を使用してもよく、RGB画像の代わりにグレースケール画像などを取得する手段を使用してもよい。
図3は、撮像装置1の使用状態を示す模式図である。図4は、撮像装置1の使用時の把持状態を拡大視した図である。
図3に示すように、本実施形態の撮像装置1は、撮像部10を中心とした全天球に対して、部分的に非撮像領域Nを有する。非撮像領域Nは、例えば撮像部10の中心軸C1のうち使用時に撮像部10より下方向の部分において、この中心軸C1から所定角度θNまでの範囲である。なお、所定角度θNは鋭角であるのが好ましい。このような非撮像領域Nができる理由は、例えば、投光部12で照射できない範囲がある、または受光部13で部分的に受光できない範囲がある、あるいはRGB撮像部11で撮像できない範囲がある、などが挙げられる。
本実施形態において、撮像部10による撮像領域Rは、撮像部10を中心として全天球形状のうち、上述の非撮像領域Nを除外した部分である。つまり、非撮像領域Nは、全天周画像の死角領域とも表現でき、以降では「死角領域N」とも表記する。
また、図3(b)に示すように、撮像装置1を使用する際には、操作者は撮像装置1を把持して頭上に持ち上げ、肩関節の屈曲角度Bや手首の尺屈角度Aを適宜調整することによって、撮像部10の中心軸C1、すなわち撮像領域Rの中心軸C1が鉛直方向となるように位置調整を行い、その姿勢を維持して撮影を行う。ここで、本実施形態では、手首の尺屈角度Aとは、操作者の前腕の延在方向に対する手首の尺屈方向への移動量を意味し、屈曲肩関節の屈曲角度Bとは、操作者の体幹の方向と、上腕の方向とのなす角度を意味する。
特に本実施形態の撮像装置1は、上述の把持部20の構成に特徴がある。把持部20は、上述のとおり、撮像部10に接続され、操作者の手で外周を把持される長手形状の部分である。図1では、把持部20の長手方向の中心軸を符号C2で図示している。なお、以降の説明では、把持部20の中心軸C2を「把持部20の長手方向C2」とも表記する場合がある。
さらに、把持部20は、撮像部10の中心軸C1のうち死角領域Nを有する側(使用時の下側)において、撮像部10に接続される。これにより、図3(b)に示すように操作者が撮像部10の非撮像領域Nに入りやすくなり、操作者が全天周画像に写り込むことを抑制できる。
さらに本実施形態では、把持部20は、図1などに示すように、その長手方向C2が撮像部10の中心軸C1に対して傾斜するよう形成されている。
この把持部20の傾斜についてさらに説明する。把持部20は、図4に示すように、把持部20を把持する操作者の手の尺屈及び撓屈の回転軸C3と、撮像部10の中心軸C1とが直交するように、操作者が把持できる形状で形成される。これにより、撮像部10の中心軸C1の位置調整を尺屈及び撓屈の一軸の動作に絞って容易にできる。
このとき、撮像部10の中心軸C1に対する把持部20の長手方向の傾斜の方向C2は、撮像装置1の使用時に中心軸C1を鉛直方向としたときに、撮像部10と把持部20とが一直線状に配置される構成(図5参照)と比較して、把持部20を把持する操作者の手の尺屈角度A(図3(b)参照)または撓屈角度が緩和される方向である。
ここで、撮像部10と把持部20との接続部分から撮像部10が延在する方向(図1の上方向)と、接続部分から把持部20が延在する方向(図1左斜め下方)のとのなす角度を、撮像部10の中心軸C1に対する把持部20の長手方向C2の傾斜角度θと定義する。このとき、傾斜角度θは、125~175度の範囲であるのが好ましい。
このように、本実施形態の撮像装置1は、把持部20の長手方向C2を撮像部10の中心軸C1に対して傾斜させることによって、操作者が手で撮像装置1を保持して撮像を行う際に、撮像部10の中心軸C1を鉛直方向に調整しやすくでき、全天周画像の撮像を容易にすることができる。
また、撮像部10の死角である非撮像領域Nが所望の範囲(例えば鉛直下方)となるような調整も容易にできるので、撮像した全天周画像の死角を低減でき、また、操作者自身が意図せず撮像領域Rに入ってしまい撮像画像に写り込むことも抑制できる。
また、撮像装置1の使用時に、操作者が意識して撮像領域の中心軸C1を垂直に向けながら構えて撮像する際に、手首の尺屈角度(または撓屈角度)を大きくとる必要がある場合、手首の可動域に対して余裕のない状態になり、不自然な力が入ることで手振れによるが像ボケが発生しやすい。これに対して本実施形態では、把持部20を把持する操作者の手の尺屈角度Aまたは撓屈角度が緩和される方向に把持部20を傾斜させるので、操作者が撮像部10の中心軸C1を鉛直方向に調整する際に、手首の可動域に対して余裕のある尺屈(または撓屈)の姿勢とすることができ、手振れによる撮像画像の像ボケの発生を抑制できる。
また、把持部20を把持する操作者の手の尺屈角度を緩和できると、撮像装置1を操作する際の操作者の負荷を軽減でき、全天周画像の撮像をさらに容易にすることができる。
図1に示すように、把持部20は、第1指支持部21と、第2指支持部22と、第3指支持部23と、第4指支持部24と、第5指支持部25とを有する。
図4に示すように、第1指支持部21は、操作者により把持されるときに操作者の第1指(親指)の付け根部と接触する部分である。第2指支持部22は、操作者により把持されるときに操作者の第2指(人差し指)と接触する部分である。第3指支持部23は、操作者により把持されるときに操作者の第3指(中指)と接触する部分である。第4指支持部24は、操作者により把持されるときに操作者の第4指(薬指)と接触する部分である。第5指支持部25は、操作者により把持されるときに操作者の第5指(小指)と接触する部分である。
第3指支持部23と、第4指支持部24と、第5指支持部25とが把持部20の延在方向C2に沿って併設される。
第1指支持部21は、第3指支持部23、第4指支持部24、及び第5指支持部25とは把持部20の延在方向に沿った中心軸線C2を挟んで反対側に対向して配置される。そして、把持部20の長手方向は、撮像部10の中心軸C1に対して、第1指支持部21の側から、第3指支持部23、第4指支持部24、及び第5指支持部25の側に傾斜する。
このような各指の支持部21~25の配置によって、操作者が把持部20を把持した際に図4に示すような把持姿勢となることを促進できる。これにより、撮像部10の中心軸C1を鉛直方向に調整するための手首の動作を尺屈動作または撓屈動作により確実に限定でき、撮像部10の中心軸C1の位置調整をより一層容易にできる。
第1指支持部21と第3指支持部23は、把持部20の延在方向C2のうち撮像部10の側に配置される。第2指支持部22は、第3指支持部23よりもさらに撮像部10側に配置される。
ここで、図5~図7を参照して、本実施形態において把持部20を撮像部10に対して屈曲させることの効果を説明する。比較例として、撮像部10と把持部20とが一直線状に形成される撮像装置100を挙げる。
図5は、比較例の問題点を説明するための模式図である。図5(a)は、比較例の撮像装置100を垂直に構えた状態を示す。同様に、図5(b)は比較例の撮像装置100を斜めに(尺屈角度が相対的に浅くなるように)構えた状態を示す。(a)、(b)共に、図面上側が側面図、図面下側が平面図である。
例えば撮像装置100が全天周の内、装置下方の一部に死角領域N(非撮像領域N)をもつ場合、図5(a)に示すように、撮像領域Rの中心軸C1を地面に垂直に向けるために撮像装置100を地面に垂直にしつつ頭上に構えると、図5(b)のように中心軸C1を斜めに向ける場合と比較して、地面周辺の非撮像領域Nを狭くすることができたり、使用者自身が撮像領域Rに入りにくくなったりするといったメリットがある。
また、図5では、地面に載置された撮像対象Sを撮像装置100で撮像しようというタスクを例示している。この場合、図5(b)のように撮像装置100の中心軸C1が斜めになると、撮像装置100の死角領域Nが相対的に大きくなり、この結果、撮像対象物Sが死角領域Nに入ってしまい、適切な全天周画像を撮像できない場合がある。
ここで単純な直線の柱状の撮像システムによる撮像を考える。例として肩関節の屈曲角度B(図3(b)参照)を150度にした場合のことを考える。
図6は、柱状物体把持時の傾斜発生を説明する図である。図6(a)に示すように、単純な直線の柱状の物体Dを握った時、矢印で示す親指の付け根と人差し指~小指の位置関係によって、握りこまれた柱状の物体Dと手の間には図6(b)に示すように10~20度程度の角度Eがつく。
これを考慮して考えると、下記の(1)式が成立ように手首の尺屈角度Aをつけなければ撮像装置1の撮像部10は地面に対して垂直にならない。
肩関節の屈曲角度B(150度)
-柱状の物体を握った時の物体Dと手の間の角度E(10~20度)
-手首の尺屈角度A
= 撮像システム角度(90度) ・・・(1)
なお、上記の(1)式の右辺の「撮像システム角度」は、水平方向に対する撮像部10の中心軸C1の角度である。上式の条件を満たすためには、手首の尺屈角度Aは40~50度程度必要になる。
ここで、手首の尺屈を40~50度程度に曲げることは人間にとって負荷が高い場合があるという知見がある。図7は、手首の尺屈角度Aの測定データである。図7に示すデータは、人間生活工学研究センター高齢者対応基盤整備データベース2001年度測定データ(https://www.hql.jp/database/)から得た、年代・性別の手首の尺屈の可動域である。手首の尺屈の可動域の平均値に着目すると20~69歳のどの年代でも概ね50度前後である。上記(1)式のとおり、肩の屈曲角度Bを150度まで上げた場合には、手首の尺屈角度Aは40~50度必要になることから、平均的な可動域を持つ人でも手首の尺屈可動域の限界付近まで手首を曲げる必要がある。
このため、平均以下の可動域を持つ人の場合は、充分な尺屈角度Aを取れないので、比較例の撮像装置100の場合、図5(b)に示したように撮像部10の中心軸C1が傾くことになる。例えば60~69歳男性の手首の尺屈可動域最小値は25度であることから、この時限界まで手首を曲げても撮像装置100には15~25度の傾きが生じる。また、このように可動域の限界レベルまで手首の曲げが生じたとき手首には力みが生じ、結果として手振れによる像ボケが発生しやすい状態が生まれてしまう。
以上より、比較例の撮像装置100のように、単純な直線の柱状の撮像システムでは、
・所望の角度(撮像装置100が地面に対して垂直)まで手首を曲げきれず、撮像装置100の撮像部10の中心軸C1が斜めになる、
・無理に手首を曲げながら撮像をすることで手振れが生じやすくなる、
のいずれかの問題が生じやすくなる。
これに対して、本実施形態の撮像装置1は、図1などに示すように、撮像部10の中心軸C1、すなわち撮像領域Rの中心を通過する撮像領域中心軸C1と、把持部20の延在方向C2との間に傾斜角度θを設ける。これにより、手首の尺屈可動域に対して余裕を持った状態で撮像装置1を頭上に掲げ、撮像装置1の撮像部10を地面に垂直に構えることができる。
ここで、図8、図9をさらに参照して、把持部20の傾斜角度θの設定手法について説明する。図8は、肩関節の屈曲角度Bの測定データである。図9は、把持部20の傾斜角度θの計算結果である。図8に示すデータは、人間生活工学研究センター高齢者対応基盤整備データベース2001年度測定データから得た、年代・性別の肩関節の屈曲の可動域である。
把持部20の傾斜角度θは、より多くの年代・性別の使用者に向けて使用可能にするために以下のように設定する。
・撮像姿勢における手首の尺屈角度Aは、図7中の60~69歳男性の最小値を参照し、25度までしか曲がらない使用者もいることを想定し、この可動域に対して10度の余裕をもって構えることを考えて、力を入れずに自然に曲げられる角度=15度を手首の尺屈の基準とした。
・撮像姿勢における肩関節の屈曲角度Bに関しては、手首の尺屈角度Aと同様に、図8に示す測定データを参照して、自然に構えたときにあり得る範囲を絞り込んだ。屈曲角度Bの範囲の最小値は、60~69歳女性の最小値140度を考え、ここに10度の余裕をもって構えることを考えて130度とした 。また屈曲角度Bの範囲の最大値は、腕を垂直まで掲げた際の角度180度に対して同じく10度の余裕を持たせて170度とした。この結果、自然に構えた際の肩関節の屈曲角度Bのあり得る範囲を130度~170度と規定した。
・図6(b)に示す柱状の物体Dを握った時の物体Dと手の間の角度Eは、10~20度と規定した。
以上で規定した各部の角度A、B、Eより傾斜角度θを計算すると、傾斜角度θは図9に示すように125~175度の間となる。
本実施形態では、以上の設定手法によって、把持部20の傾斜角度θは125~175度の範囲であるのが好ましい、と考えるに至った。
なお、把持部20の傾斜角度θが175度より大きくなると、撮像部10の中心軸C1を鉛直方向に調整するためには操作者の手首の尺屈角度をより大きく取る必要がある。このため、図7に示したように尺屈動作の可動域には年齢や性別などによって違いはあるものの、撮像部10の中心軸C1を鉛直方向に調整するために充分な尺屈角度を取ることが困難な場合が考えられる。同様に、把持部20の傾斜角度θが125度より小さくなると、撮像部10の中心軸C1を鉛直方向に調整するためには、尺屈方向とは逆方向に操作者の手首の撓屈角度をより大きく取る必要がある。このため、尺屈動作の場合と同様に、撮像部10の中心軸C1を鉛直方向に調整するために充分な撓屈角度を取ることが困難な場合が考えられる。
次に図10を参照して、本実施形態の効果を説明する。図10は、実施例と比較例との比較結果である。
図10に示すように、実施例としては傾斜角度θ=150度とした構成について考える。撮像装置1を図3のように保持した時、肩関節の屈曲角度Bを130~170度、柱状の物体Dを握った時の物体Dと手の間の角度Eを10~20度で変化させたときの、撮像部10の角度Fを計算した。撮像部角度Fは、図5(b)に示すように、中心軸C1が垂直方向の場合を90度とし、操作者から離れる方向(図5(b)では図面左方向)の水平方向を0度とした。さらに、撮像部角度Fと垂直方向との差分G(図5(b)参照)を算出した。差分Gは、図5(b)に示すように、垂直方向に対する撮像部の中心線C1の傾き度合いを示す。
比較例としては、傾斜角度θ=180度とした構成、すなわち図5に示した撮像装置1のように、撮像部10と把持部20とが一直線状につながる単純な直線の柱状とした。尺屈角度A、屈曲角度B、柱状物体Dと手の間の角度Eは実施例と同様の設定値として、撮像部角度Fと差分Gを算出した。
図10に示すように、実施例である傾斜角度θ=150°の場合は、想定される手首の尺屈角度Aの範囲、肩関節の屈曲角度Bの範囲、および柱状の物体Dを握った時の物体Dと手の間の角度Eの範囲において、撮像装置1の撮像部10の角度Fは、75~115°の範囲であり、垂直に対する角度Gは±25度の範囲である。
これに対して、比較例である傾斜角度θ=180°の場合は、撮像装置100の撮像部10の角度Fは、95~145°の範囲であり、垂直に対する角度Gは5~55度の範囲である。比較例では、垂直に対して撮像部の角度は最大で55度の傾きを持ちうることになる。よって実施例と比較例とを比較すると、実施例の構成では撮像部10の傾きは、絶対値で30度の抑制効果が得られる。
想定される姿勢の内、最悪パターンにおける撮像装置1の撮像部10の角度Fと垂直との差Gは、この傾斜角度θ=150度で最も小さいが、先述の125~175度の範囲であれば常にθ=180度の場合より小さくなる。
次に図11~図13を参照して第1変形例を説明する。図11は、第1変形例に係る撮像装置1Aを説明するための図である。図11(a)は第1変形例の撮像装置1Aの構成を示し、図11(b)は上記実施形態の撮像装置1の構成を示す。
図11(a)に示すように、第1変形例の撮像装置1Aでは、把持部20は、延在方向C2の撮像部10と反対側に底面部26を有する。底面部26の外形は、底面部26を含む仮想平面Pに撮像装置1Aの重心位置Hを投影した点Iが底面部26の範囲内に収まるように形成される。
撮像装置1Aの下部に平面を設けて底面部26とし、撮像装置1Aを地面や机などの水平面に置いた場合を考える。図11(b)のように重心Hの底面に対する射影Iが底面26の最大外形の内部にない撮像装置1の場合、撮像装置1は自立できず倒れてしまう。これに対し、図11(a)のように重心Hの底面に対する射影Iが底面26の最大外形の内部にある第1変形例の撮像装置1Aの場合、撮像装置1は自立することができる。
第1実施例のように撮像装置1Aを地面や机などの水平面に自立させることができると、例えば無線で制御を行って撮像させることも可能となり、把持操作以外にも用途を広げることができる。
第1変形例のように撮像装置1Aの重心位置Hの投影点Iを底面部26の範囲内に収めるためには、例えば図11(a)に示すように、図11(b)の投影点Iが底面部26から外れる構成に対して、把持部20の傾斜角度θを大きくすることで実現可能である。このような傾斜角度θは例えば165°である。また、傾斜角度θ以外の他のパラメータを調整する手法(例えば底面部26の面積を増やすなど)を適用することもできる。
また、底面部26を含む仮想平面Vは、撮像部10の中心軸C1と直交するのが好ましい。つまり、底面部26の法線方向が中心軸C1と同一方向であるのが好ましい。これにより、重心位置Hの投影点Iが底面部26の範囲内に収まれば、撮像装置1Aをより確実に自立させることができる。また、第1変形例の撮像装置1Aは、撮像部10の中心軸C1と、底面部26とを鉛直の関係にすることで、撮像装置1Aを置いた平面上に対する死角(非撮像領域)を最小化できる。
なお、底面部26は、撮像装置1Aが自立可能であれば、その法線方向が撮像部10の中心軸C1と必ずしも同一方向でなくてもよい。
図12は、底面部26の形状の例である。把持部20の底面部26の外形の形状は、撮像装置1Aの重心位置Hの投影点Iを範囲内に収めることができれば、例えば円形状や楕円形状、矩形状など任意の形状でよい。また、図12(a)に示す底面部26Aのような円筒形状でもよいし、図12(b)に示す底面部26Bのような円形の一部が扇型状に欠落した形状でもよいし、図12(c)に示す底面26cのように楕円形の一部が欠落した略T字状の形状でもよい。
図13を参照して、第1変形例の効果を説明する。図13は、第1変形例と比較例との比較結果である。
図13に示すように、第1変形例の実施例としては、把持部20の傾斜角度θを165度とすることで、前述の実施形態のθの範囲(125~175°)を満たしつつ、自立する撮像装置1Aとしている。図13に示す各種パラメータや計算手順は、図10と同様である。また、比較例も図10と同様である。
図10に示したθ=150度の場合と同様に、肩関節の屈曲角度Bを130~170度、柱状の物体を握った時の物体と手の間の角度Eを10~20度で変化させた場合、図13に示すように、撮像部角度Fは80~130°の範囲であり、垂直に対する角度Gは-10~+40度の範囲である。第1変形例の構成では、撮像部10は垂直に対して最大で40度の差を持つが、比較例よりは小さい。
次に図14を参照して第2変形例を説明する。図14は、第2変形例に係る撮像装置1Bを説明するための図である。
図14に示すように、撮像装置1Bは、撮像部10に対する把持部20の傾斜角度を調整する傾斜角度調整部27を有する。傾斜角度調整部27は、例えば図14に示すような、撮像部10と把持部20とを回転可能に連結する回転軸を適用できる。
この構成により、使用者の特性に合わせて最も構えやすい傾斜角度θにすることができる。例えば図14(a)に示すように傾斜角度θを大きくして、撮像部10の中心軸C1と把持部20の延在方向C2との差を小さくすれば、手首の尺屈動作をより大きくできる操作者にとって中心軸C1を鉛直方向に位置決めしやすい構成にできる。同様に、図14(b)に示すように傾斜角度θを小さくして、撮像部10の中心軸C1と把持部20の延在方向C2との差を大きくすれば、手首の尺屈動作の範囲が小さい操作者にとって中心軸C1を鉛直方向により位置決めしやすい構成にできる。
次に図15を参照して第3変形例を説明する。図15は、第3変形例に係る撮像装置1Cを説明するための図である。
図15に示すように、手と把持部20のフィット感を増すために、把持部20のうち中指~小指で保持する部位(第3指支持部23、第4指支持部24、第5指支持部25)が直線でなく曲面などの形状を持っていてもよい。
例えば図15(a)のように、第3指支持部23A、第4指支持部24A、及び第5指支持部25Aは、把持部20の中心軸C2側に窪む凹面で形成されてもよい。また、第3指支持部23A、第4指支持部24A、及び第5指支持部25Aの少なくとも一つが凹面でもよい。
また図15(b)のように、図15(a)とは反対側に突出する凸面28としてもよい。この場合、第3指支持部、第4指支持部、及び第5指支持部は、延在方向に沿って一体的に形成され、中心軸線C2に対して第4指支持部にあたる部分24Bの表面位置が最も遠く、第3指支持部にあたる部分23B及び第5指支持部にあたる部分25Bの表面位置が第4指支持部の部分24Bと比較して中心軸線C2に近くなるよう湾曲する凸面28で形成される。
図16を参照して他の実施形態を説明する。図16は、撮像システム200の一例の機能ブロック図である。上記実施形態では、図2などを参照して説明したように、撮像装置1がRGB画像やTOF画像の取得から三次元画像の生成までの機能を単体で備えていたが、一部の機能を外部の情報処理装置などが備え、撮像装置と外部装置によって撮像システム200を構成してもよい。
図16に示す撮像システム200は、撮像装置1Dと、表示装置500とを備える。表示装置500は、上記の外部の情報処理装置の一例である。
図16に示す撮像装置1Dは、撮像素子11a、11A、TOFセンサ13a、13A、光源部12a、12A、および撮影スイッチ15を備え、これらは図2に示したものと同様に構成される。
図16に示す撮像装置1における処理回路4は、制御部141と、RGB画像データ取得部142と、TOF画像データ取得部144と、送受信部180とを有する。制御部141は、図2に示したものと同様に構成される。
RGB画像データ取得部142は、図2と同様に、制御部141による撮像指示に基づき、撮像素子11a、11Aが撮像したRGB画像データを取得して、全天球のRGB画像データを出力するが、出力先が送受信部180である点が図2と異なる。
TOF画像データ取得部144は、図2と同様に、制御部141によるTOF画像データの生成指示に基づき、TOFセンサ13a、13Aが生成したTOF画像データを取得して、全天球のTOF画像データを出力するが、出力先が送受信部180である点が図2と異なる。
送受信部180は、図2と異なり、RGB画像データ取得部142から出力される全天球のRGB画像データおよびTOF画像データ取得部144から出力される全天球のTOF画像データを表示装置500へ送信(出力)する。
図16に示す表示装置500は、送受信部510と、表示部520と、表示制御部530と、を備えるとともに、RGB画像データ取得部542と、モノクロ処理部543と、TOF画像データ取得部544と、高解像度化部545と、マッチング処理部546と、再投影処理部547と、セマンティックセグメンテーション部548と、視差計算部549と、3次元再構成処理部550と、判断部560と、をさらに備える。
送受信部180は、撮像装置1Dから送信された全天球のRGB画像データおよび全天球のTOF画像データを受信する。
RGB画像データ取得部542は、送受信部180から全天球のRGB画像データを取得し、TOF画像データ取得部544は、送受信部180から全天球のRGB画像データを取得するが、それ以外は、それぞれ、図2に示したRGB画像データ取得部142およびTOF画像データ取得部144と同様に構成される。
モノクロ処理部543と、TOF画像データ取得部544と、高解像度化部545と、マッチング処理部546と、再投影処理部547と、セマンティックセグメンテーション部548と、視差計算部549と、3次元再構成処理部550と、および判断部560は、図2に示したモノクロ処理部143と、TOF画像データ取得部144と、高解像度化部145と、マッチング処理部146と、再投影処理部147と、セマンティックセグメンテーション部148と、視差計算部149と、3次元再構成処理部150と、および判断部160と同様に構成される。
表示制御部530は、RGB画像データ取得部542から全天球のRGB画像データを取得し、取得した全天球のRGB画像データに基づく2次元画像を表示部520に表示させてもよく、3次元再構成処理部550から全天球の3次元データを取得し、3次元画像報を表示部520に表示させてもよい。
表示制御部530は、判断部160から取得した判断結果を示す情報と、2次元画像または3次元画像と、を含む表示画像を表示部520に表示させる。
以上説明したように、表示装置500は、対象を撮像する撮像部11の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部(受光部13)の出力を受信する受信部の一例である送受信部510と、送受信部510が受信した距離情報取得部(受光部13)の出力と、撮像部11の出力との両方に基づき特定の対象物があるかを判断する判断部560と、判断部560の判断結果に基づき、特定の対象の有無に応じて、表示部に異なる表示をさせる表示制御部530と、を備える。
特定の対象は、近接物、高反射物、遠方物、低反射物および画像のぶれ領域を含む。
また、表示装置500は、対象を撮像する撮像部11の出力と、対象に光を投射して対象から反射してきた光を受光する距離情報取得部(受光部13)の出力との両方に基づき特定の対象があるかを判断した判断部560による判断結果に基づき、特定の対象を識別する識別情報と、3次元再構成処理部550により決定される3次元画像3Gと、を含む表示画像を表示部520に表示をさせる表示制御部530を備える。
なお、表示装置500は、撮像装置1Dの外部の情報処理装置の一例であって、表示装置500の代わりに、例えばPCやサーバー、スマートフォン、タブレットなどの他の装置も適用できる。
撮像システム200では、実施形態の撮像装置1と異なり、測距部としてのTOF画像データ取得部544が撮像装置1Dの外部の情報処理装置に設けられる。また、他の三次元画像生成に係る機能も外部の情報処理装置が備えており、撮像装置1DはRGB画像やTOF画像を取得する機能までしか備えない。このように、撮像システム200では、撮像装置1Dは画像情報の取得のみに機能を絞ることができるので、撮像装置1Dの構造を簡略化でき、軽量化や小型化を図れる。撮像装置1Dは操作者が把持して使用する装置であるので、軽量化や小型化によってユーザビリティを向上できる。
以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。
1、1A、1B、1C、1D 撮像装置
10 撮像部
11 RGB撮像部
12 投光部
13 受光部
20 把持部
21 第1指支持部
22 第2指支持部
23、23A 第3指支持部
24、24A 第4指支持部
25、25A 第5指支持部
26 底面部
27 傾斜角度調整部
28 凸面
C1 撮像部の中心軸
C2 把持部の中心軸(把持部の長手方向)
C3 操作者の手首の屈曲動作の回転軸
200 撮像システム
100 比較例としての一直線状の撮像装置
144、544 TOF画像データ取得部(測距部)
θ 把持部の傾斜角度
R 撮像領域
N 非撮像領域、死角領域
A 操作者の手首の尺屈角度
B 操作者の肩関節の屈曲角度
特許5910485号公報

Claims (15)

  1. 所定の中心軸に沿って延在して形成され、前記中心軸を中心とする全天周画像を撮像する撮像部と、
    前記撮像部に接続され、操作者の手で外周を把持される長手形状の把持部と、
    を備え、
    前記撮像部は、前記中心軸のうち前記把持部と接続される側の一部に全天周画像の死角領域を有し、
    前記把持部の長手方向は、前記撮像部の前記中心軸に対して傾斜する、
    撮像装置。
  2. 前記把持部は、該把持部を把持する前記操作者の手の尺屈及び撓屈の回転軸と前記中心軸とが直交するよう形成される、
    請求項1に記載の撮像装置。
  3. 前記撮像部の前記中心軸に対する前記把持部の前記長手方向の傾斜の方向は、当該撮像装置の使用時に前記中心軸を鉛直方向としたときに、前記撮像部と前記把持部とが一直線状に配置される構成と比較して、前記把持部を把持する前記操作者の手の尺屈角度または撓屈角度が緩和される方向である、
    請求項1または2に記載の撮像装置。
  4. 前記撮像部の前記中心軸に対する前記把持部の前記長手方向の傾斜角度とは、前記撮像部と前記把持部との接続部分から前記撮像部が延在する方向と、前記接続部分から前記把持部が延在する方向とのなす角度であり、
    前記傾斜角度は125~175度である、
    請求項1~3のいずれか1項に記載の撮像装置。
  5. 前記把持部が、
    前記操作者により把持されるときに前記操作者の第1指の付け根部と接触する第1指支持部と、
    前記操作者の第3指と接触する第3指支持部と、
    前記操作者の第4指と接触する第4指支持部と、
    前記操作者の第5指と接触する第5指支持部と、
    を有し、
    前記第3指支持部と、前記第4指支持部と、前記第5指支持部とが前記延在方向に沿って併設され、
    前記第1指支持部が、前記第3指支持部、前記第4指支持部、及び前記第5指支持部とは前記把持部の前記延在方向に沿った中心軸線を挟んで反対側に対向して配置され、
    前記把持部の長手方向は、前記撮像部の前記中心軸に対して、前記第1指支持部の側から、前記第3指支持部、前記第4指支持部、及び前記第5指支持部の側に傾斜する、
    請求項1~4のいずれか1項に記載の撮像装置。
  6. 前記第1指支持部と前記第3指支持部は、前記把持部の前記延在方向のうち前記撮像部の側に配置される、
    請求項5に記載の撮像装置。
  7. 前記第3指支持部、前記第4指支持部、及び前記第5指支持部との少なくとも一つは、前記中心軸線側に窪む凹面で形成される、請求項5または6に記載の撮像装置。
  8. 前記第3指支持部、前記第4指支持部、及び前記第5指支持部は、前記延在方向に沿って一体的に形成され、前記中心軸線に対して前記第4指支持部の表面位置が最も遠く、前記第3指支持部及び前記第5指支持部の表面位置が前記第4指支持部と比較して前記中心軸線に近くなるよう湾曲する凸面で形成される、請求項5または6に記載の撮像装置。
  9. 前記把持部は、前記延在方向の前記撮像部と反対側に底面部を有し、
    前記底面部の外形は、前記底面部を含む仮想平面に当該撮像装置の重心位置を投影した点が前記底面部の範囲内に収まるように形成される、
    請求項1~8のいずれか1項に記載の撮像装置。
  10. 前記底面部を含む前記仮想平面は、前記撮像部の前記中心軸と直交する、
    請求項9に記載の撮像装置。
  11. 前記撮像部に対する前記把持部の傾斜角度を調整する傾斜角度調整部を有する、
    請求項1から10のいずれか1項に記載の撮像装置。
  12. 前記撮像部は、前記中心軸の周囲に配置される複数のRGB撮像部を有する、
    請求項1から11のいずれか1項に記載の撮像装置。
  13. 前記撮像部は、
    撮像対象に光を投射する投光部と、
    前記撮像対象で反射した反射光を受光する受光部と、
    を有する、
    請求項1~12のいずれか1項に記載の撮像装置。
  14. 前記投光部が光を投射するタイミングと、前記受光部が受光するタイミングとに基づいて、前記撮像対象の距離に関わる情報を出力する測距部を有する、
    請求項13に記載の撮像装置。
  15. 撮像装置と情報処理装置とを有し、
    前記撮像装置は、
    所定の中心軸に沿って延在して形成され、前記中心軸を中心とする全天周画像を撮像する撮像部と、
    前記撮像部に接続され、操作者の手で外周を把持される長手形状の把持部と、
    を備え、
    前記撮像部は、前記中心軸のうち前記把持部と接続される側の一部に全天周画像の死角領域を有し、
    前記把持部の長手方向は、前記撮像部の前記中心軸に対して傾斜し、
    前記撮像部は、
    撮像対象に光を投射する投光部と、
    前記撮像対象で反射した反射光を受光する受光部と、
    を有し、
    前記情報処理装置は、
    前記投光部が光を投射するタイミングと、前記受光部が受光するタイミングとに基づいて、前記撮像対象の距離に関わる情報を出力する測距部を有する、
    撮像システム。
JP2021123525A 2021-07-28 2021-07-28 撮像装置及び撮像システム Pending JP2023019059A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021123525A JP2023019059A (ja) 2021-07-28 2021-07-28 撮像装置及び撮像システム
EP22177883.0A EP4124907A1 (en) 2021-07-28 2022-06-08 Image-capturing device and image-capturing system
US17/840,627 US20230036878A1 (en) 2021-07-28 2022-06-15 Image-capturing device and image-capturing system
CN202210714684.6A CN115701110A (zh) 2021-07-28 2022-06-22 摄像装置和摄像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021123525A JP2023019059A (ja) 2021-07-28 2021-07-28 撮像装置及び撮像システム

Publications (1)

Publication Number Publication Date
JP2023019059A true JP2023019059A (ja) 2023-02-09

Family

ID=82399301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021123525A Pending JP2023019059A (ja) 2021-07-28 2021-07-28 撮像装置及び撮像システム

Country Status (4)

Country Link
US (1) US20230036878A1 (ja)
EP (1) EP4124907A1 (ja)
JP (1) JP2023019059A (ja)
CN (1) CN115701110A (ja)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5910485B2 (ja) 1976-08-06 1984-03-09 株式会社ニコン 2チヤネル測光装置
US5081478A (en) * 1990-02-13 1992-01-14 Fuji Photo Film Co., Ltd. Adjustably mounted camera grip
US5585849A (en) * 1993-07-21 1996-12-17 Robalino; Manuel Auxiliary handle for portable video camera
WO2015003099A1 (en) * 2013-07-02 2015-01-08 Reid Tyler Hand-held device for mounting and wirelessly triggering a camera
WO2015101822A1 (en) * 2014-01-02 2015-07-09 Mastortech Limited Camera stabilisation mounting
US9651850B2 (en) * 2015-04-20 2017-05-16 Intellectual Fortress, LLC Image processing system and method for object tracking
US20180164435A1 (en) * 2016-12-09 2018-06-14 Digital Ally, Inc. Dual lense lidar and video recording assembly
KR20180103621A (ko) * 2017-03-10 2018-09-19 삼성전자주식회사 짐벌 장치
DE102017107903A1 (de) * 2017-04-12 2018-10-18 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
KR20190029242A (ko) * 2017-09-12 2019-03-20 삼성전자주식회사 전자 장치의 영상촬영 보조 액세서리
CN109611664A (zh) * 2019-02-01 2019-04-12 桂林智神信息技术有限公司 一种斜轴手持稳定器
EP4095561A1 (en) * 2021-05-27 2022-11-30 Leica Geosystems AG Reality capture device

Also Published As

Publication number Publication date
US20230036878A1 (en) 2023-02-02
EP4124907A1 (en) 2023-02-01
CN115701110A (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
KR101885779B1 (ko) 3 차원 비디오의 전송
JP5450739B2 (ja) 画像処理装置及び画像表示装置
RU2672502C1 (ru) Устройство и способ для формирования изображения роговицы
CN106462937B (zh) 图像处理装置以及图像显示装置
JP7248490B2 (ja) 情報処理装置、デバイスの位置および姿勢の推定方法
US20110096143A1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
WO2014064870A1 (ja) 画像処理装置および画像処理方法
US20210127059A1 (en) Camera having vertically biased field of view
JP2005100084A (ja) 画像処理装置及び方法
JP2008152622A (ja) ポインティング装置
JP2002318652A (ja) 仮想入力装置およびプログラム
KR20140050603A (ko) 이동 식별 플랫폼
CN110152293B (zh) 操控对象的定位方法及装置、游戏对象的定位方法及装置
JP2013207344A (ja) 検出装置、撮像装置、及びプログラム
JP7198149B2 (ja) 情報処理装置およびデバイス情報導出方法
JP2023019059A (ja) 撮像装置及び撮像システム
JP2015156540A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4363152B2 (ja) 撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラム
JP7288792B2 (ja) 情報処理装置およびデバイス情報導出方法
WO2020196384A1 (ja) 画像処理装置、画像処理方法及びプログラム、撮影装置
CN115997379A (zh) 用于立体渲染的图像fov的复原
JP6461394B1 (ja) 画像生成装置及び画像生成プログラム
WO2023153093A1 (ja) 情報処理装置および代表座標導出方法
WO2023153094A1 (ja) 情報処理装置および代表座標導出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240527