JP2023115356A - 計測装置、撮像装置、制御方法及びプログラム - Google Patents
計測装置、撮像装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP2023115356A JP2023115356A JP2023108522A JP2023108522A JP2023115356A JP 2023115356 A JP2023115356 A JP 2023115356A JP 2023108522 A JP2023108522 A JP 2023108522A JP 2023108522 A JP2023108522 A JP 2023108522A JP 2023115356 A JP2023115356 A JP 2023115356A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- measurement
- subject
- distance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 127
- 238000005259 measurement Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims description 23
- 238000009795 derivation Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 30
- 230000003287 optical effect Effects 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 210000001747 pupil Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000004907 flux Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【課題】好適な精度の計測結果を得られる撮像方向をユーザに提示する。【解決手段】計測装置は、計測対象である対象被写体について、所定の項目に係る計測を行う。計測装置は、対象被写体を含む撮像範囲を撮像して得られた撮像画像について、該撮像を行った撮像装置からの被写体距離の分布を示した距離情報と、少なくとも対象被写体の面の法線を示す法線情報と、を取得する取得手段と、取得手段により取得された法線情報に基づいて、所定の項目の計測を行うための撮像装置の撮像方向を示す通知を提示する提示手段と、を有する。【選択図】図2
Description
本発明は、計測装置、撮像装置、制御方法及びプログラムに関し、特に、撮像が行われる撮像範囲内の対象物についての撮像画像に基づく計測技術に関する。
撮像範囲に存在する被写体について、視差を有する関係にある画像群に基づいて、撮像装置からの距離(被写体距離)を導出することで、各画素位置の被写体の3次元位置を得、指定された2点間の空間距離を採寸可能な撮像装置がある(特許文献1)。
ところで、特許文献1に記載の技術では、撮像装置と計測対象となる2点の位置関係によっては、計測精度の低下が生じ得る。例えば、計測対象を撮像する構図として、所謂パースペクティブの表現が用いられている場合、撮像範囲において計測対象とする2点の奥行き方向の位置関係に差が生じ得、好適な精度の計測結果が得られない可能性がある。これは、計測対象の被写体の撮像を行った場合に、遠方の被写体ほど空間分解能が低く画像に現れるため、奥行き方向の異なる2点を計測対象として該画像をベースに計測したとしても、計測結果に誤差が生じ得るものであった。
本発明は、上述の問題点に鑑みてなされたものであり、好適な精度の計測結果を得られる撮像方向をユーザに提示する計測装置、撮像装置、制御方法及びプログラムを提供することを目的とする。
前述の目的を達成するために、本発明の計測装置は、計測対象である対象被写体について、所定の項目に係る計測を行う計測装置であって、対象被写体を含む撮像範囲を撮像して得られた撮像画像について、該撮像を行った撮像装置からの被写体距離の分布を示した距離情報と、少なくとも対象被写体の面の法線を示す法線情報と、を取得する取得手段と、取得手段により取得された法線情報に基づいて、所定の項目の計測を行うための撮像装置の撮像方向を示す通知を提示する提示手段と、を有することを特徴とする。
このような構成により本発明によれば、好適な精度の計測結果を得られる撮像方向をユーザに提示することが可能となる。
[実施形態]
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下に説明する一実施形態は、計測装置の一例としての、視差を有する関係の一対の撮像画像に基づいて、被写体距離を導出可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像範囲に含まれる被写体の面の法線を導出可能に構成された任意の機器に適用可能である。
《デジタルカメラ100の構成》
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
システム制御部101は、例えばマイクロコンピュータ等の、デジタルカメラ100が備える各ブロックを制御する制御装置である。システム制御部101は、デジタルカメラ100が備える各ブロックの動作プログラムを記録媒体102から読み出して、メモリ103に展開して実行することによりデジタルカメラ100が備える各ブロックの動作を制御する。
記録媒体102は、例えばフラッシュROM等の書き換え可能な不揮発性メモリである。記録媒体102は、デジタルカメラ100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。一方、メモリ103は、書き換え可能な揮発性メモリである。メモリ103は、デジタルカメラ100が備える各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データの一時的な記憶領域としても用いられる。
撮像部104は、撮像範囲に含まれる被写体を撮像し、撮像画像の画像データを出力する。本実施形態では撮像部104は、少なくとも撮像素子111及び撮像光学系112を含んで構成される。撮像光学系112は、被写体像を撮像素子111に結像する。撮像光学系112には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。撮像光学系112には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。
撮像素子111は、例えばCCD(電荷結合素子)やCMOS(相補型金属酸化膜半導体)センサ等の光電変換素子である。撮像素子111は、撮像光学系112により撮像面に結像された光学像を光電変換してアナログ画像信号を得る。撮像部104は、得られたアナログ画像信号に対してA/D変換処理を適用することで、デジタル画像データ(以下では簡単に撮像画像として言及)を得る。撮像部104は、得られた画像データをメモリ103に出力して記憶させる。
なお、本実施形態では撮像部104は、簡易的にA/D変換処理を適用して撮像画像を出力するものとして説明するが、撮像画像を各種処理において好適に使用可能にすべく、その他の画像処理を行うよう構成されているものであってよい。撮像部104は、例えば、ホワイトバランス調整、色補間、縮小/拡大に係る処理等の画像処理を行うものであってもよい。
〈撮像素子111の構成〉
また、本実施形態では撮像素子111は、被写体と撮像光学系112の主点との距離(被写体距離)、及び該被写体距離の分布に基づく被写体の面法線の導出を可能ならしめるべく、視差を有する関係にある一対の撮像画像を撮像可能に構成される。以下、その詳細について図2を用いて説明する。
また、本実施形態では撮像素子111は、被写体と撮像光学系112の主点との距離(被写体距離)、及び該被写体距離の分布に基づく被写体の面法線の導出を可能ならしめるべく、視差を有する関係にある一対の撮像画像を撮像可能に構成される。以下、その詳細について図2を用いて説明する。
図2(a)に示されるように、撮像素子111は撮像光学系112の光軸114と直交するよう配置された、2次元に並んだ画素構造を有する。より詳しくは撮像素子111は、所謂ベイヤー配列で構成されており、2行×2列の画素群201を一単位として、該画素群が2次元に配列されることで構成される。画素群201に含まれる4画素では、カラーフィルタが適用されており、緑の波長成分の光量を検出する画素202G1及びG2が対角方向に配置される。また残りの2画素に、赤の波長成分の光量を検出する画素202Rと、青の波長成分の光量を検出する画素202Bが配置される。
また、上述の一対の撮像画像を撮像すべく、1つの画素に設けられる光電変換素子は、図2(b)に示されるような構造を有している。図2(b)は、図2(a)における1つの画素群201について示したI-I’断面での画素構造を例示した図である。図示されるように、画素202G1と画素202Rのそれぞれは、受光層203と導光層204を有して構成されており、マイクロレンズ205を介して入射した光束が、受光層203で光電変換される。ここで、各画素の受光層203には、受光した光を光電変換する2つの光電変換素子206a及びbが設けられており、それぞれ入射光束のうちの、撮像光学系112の射出瞳113の異なる領域を通過した光束を光電変換する。即ち、このような構成とすることで、本実施形態の撮像素子111では入射光束を瞳分割した撮像が可能となり、全画素の同一側(aまたはb)の光電変換素子206からの出力を統合することで、一対の撮像画像を得ることができる。
より詳しくは、マイクロレンズ205を介することで、1つの画素の光電変換素子206と撮像光学系112の射出瞳113とは、光学的に共役な関係になっている。このような構成により、各画素に入射する光束は、マイクロレンズ205によって光電変換素子206a及びbのそれぞれで受光されることで瞳分割が実現され、1回の撮像で2種類の方向からの入射光束に係る撮像画像群(一対の撮像画像)が得られる。換言すれば、撮像光学系112の射出瞳113を通過する光束のうちの、図2(c)においてドットを付して示される光束が光電変換素子206aによって受光され、ハッチングを付して示される光束が光電変換素子206bによって受光される。ここで、図2(c)は、光軸114と撮像素子111の交点(中心像高)から見た、撮像光学系112の射出瞳113を示している。即ち、一対の撮像画像は、光電変換素子206aが受光する光束の射出瞳113における重心位置207aと、同じく光電変換素子206bに係る重心位置207bとがなす距離を基線長とする、異なる視点に係る撮像装置群により撮像されたものと等価である。
なお、本実施形態では、図示されるように撮像素子111のx軸方向に瞳分割するよう光電変換素子206が構成されているものとして説明するが、本発明の実施はこれに限られるものではない。即ち、瞳分割方向は、y軸方向に定められるものであってもよいし、光電変換素子206を4つの構成として、x軸及びy軸の2軸に定められるものであってもよく、任意の方向及び数に分割されるものであってよい。
距離導出部105は、撮像部104により得られた撮像画像に基づいて、撮像範囲の被写体についての被写体距離を導出する。上述したように、本実施形態の撮像部104で得られる一対の撮像画像は視差を有する関係にあり、距離導出部105は、画像間での相対的な像ずれ量に基づくデフォーカス量を導出し、これと撮像条件とに基づいて被写体距離を導出できる。距離導出部105は、例えば1つの撮像画像の各画素について、該画素に存在する被写体までの距離を導出し、被写体距離の2次元分布を示す距離情報を構成する。
法線導出部106は、距離導出部105により得られた距離情報に基づいて、例えば計測対象の被写体(対象被写体)について、該被写体を構成する面の法線を導出する。詳細は後述するが、本実施形態のデジタルカメラ100は、撮像範囲の被写体のうちの対象被写体について、例えば該被写体に対して設定された2点間の距離や特定部位(対象被写体の面)の外周距離、被写体上に設定された領域の面積等を計測可能に構成される。該計測は、撮像画像をベースに行われるため、本実施形態では法線導出部106は、一対の撮像画像からパッシブステレオ法にて得られた距離情報に基づいて法線を導出するものとして説明するが、本発明の実施はこれに限られるものではない。即ち、当該手法は装置構成を最小構成で実現すべく計測に用いる距離情報を有効利用するものであり、法線の導出手法には他の手法が採用されるものであってもよいことは言うまでもない。
方向導出部107は、上述した計測の計測精度を高めるべく、対象被写体に対して撮像を行うことが好適な撮像方向を導出する。即ち、対象被写体が撮像範囲において深度方向に延びているような構図での撮像では、撮像画像に現れる被写体像の空間分解能が変化するため、計測精度が低下し得る。このため、本実施形態のデジタルカメラ100では、方向導出部107は、法線導出部106により導出された対象被写体の法線の情報に基づいて、計測に適切な撮像が可能となる撮像方向を導出する。
計測部108は、好適な撮像方向について取得された距離情報に基づいて、対象被写体について計測するものとして定められた項目の計測を行う。
表示部109は、例えばLCD等の表示装置であり、デジタルカメラ100における各種の情報提示を行う。表示部109は、撮像部104により撮像が行われている際、A/D変換された画像データを表示(スルー表示)することで、デジタルビューファインダとして機能する。また本実施形態では表示部109は、好適な撮像方向を通知する際のGUIの表示や、計測結果の表示にも用いられる。
操作入力部110は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のデジタルカメラ100が備えるユーザ入力インタフェースである。操作入力部110は、各種ユーザ入力インタフェースに対してなされた操作入力を検出すると、該操作入力に対応する制御信号をシステム制御部101に出力する。また表示部109がタッチパネルセンサを備えている態様においては、操作入力部109は、表示部109に対してなされたタッチ操作を検出するインタフェースとしても機能する。
本実施形態ではハードウェアとしてデジタルビデオカメラ100が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。
《計測処理》
このような構成をもつ本実施形態のデジタルカメラ100で、一対の撮像画像から得られた距離情報に基づいて、対象被写体の該当項目の計測を行う計測処理について、図3のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。本計測処理は、例えば対象被写体に係る画像ベースの計測を行う計測モードがデジタルカメラ100において設定された際に開始されるものとして説明する。なお、以下では本発明の理解を容易にすべく、計測項目は、対象被写体について設定された2点間の寸法を計測するものであるとする。
このような構成をもつ本実施形態のデジタルカメラ100で、一対の撮像画像から得られた距離情報に基づいて、対象被写体の該当項目の計測を行う計測処理について、図3のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。本計測処理は、例えば対象被写体に係る画像ベースの計測を行う計測モードがデジタルカメラ100において設定された際に開始されるものとして説明する。なお、以下では本発明の理解を容易にすべく、計測項目は、対象被写体について設定された2点間の寸法を計測するものであるとする。
S301で、撮像部104はシステム制御部101の制御の下、撮像範囲の撮像を行う。撮像部104は撮像により一対の撮像画像を取得すると、メモリ103に格納する。本ステップの処理は、撮像指示に係る操作入力が検出されたことに応じてなされるものであってもよいし、焦点検出や合焦調整等の撮影前に行われる所定の処理を行った後に、操作入力無しに行われるものであってもよい。
S302で、距離導出部105はシステム制御部101の制御の下、S301で取得された一対の撮像画像に基づいて撮像範囲の被写体距離を導出し、距離情報を構成する距離導出処理を実行する。
〈距離導出処理〉
ここで、本ステップの距離導出処理について、図4(a)のフローチャートを用いて詳細を説明する。
ここで、本ステップの距離導出処理について、図4(a)のフローチャートを用いて詳細を説明する。
S401で、距離導出部105は、被写体距離の導出に用いる一対の撮像画像に対して、距離導出前の種々の補正処理を行う。より詳しくは、距離導出部105は、撮像光学系112のヴィネッティング等による、光電変換素子206a及びb間の受光量の偏りを低減する補正を行う。また距離導出部105はさらに、一対の撮像画像に含まれるノイズの影響を低減すべく、バンドパスフィルタを適用する。
S402で、距離導出部105は、一対の撮像画像に基づいて、各画素の被写体について像ずれ量を導出する。まず距離導出部105は、一対の撮像画像のうちの一方の画像(A像)について、注目画素と該注目画素を中心とする基準領域を設定する。そして距離導出部105は、他方の画像(B像)について、参照画素と該参照画素を中心とする参照領域を順次設定し、基準領域と参照領域の画像の相関値を導出しながら、最も相関の高い参照画素の位置を特定する。相関値としては、公知の手法を用いることができ、例えば、基準領域内の画素値と参照領域内の画素値の差の二乗和を評価するSSDと呼ばれる評価値を用いることができる。SSDでは、相違度を評価しており、評価値の値が小さいほど、相関度が高いことを示している。参照画素及び参照領域の設定は、瞳分割方向であるx方向に順次移動させながらなされるものであってよく、これにより距離導出部105は、A像の注目画素と対応する被写体が、B像のいずれに撮像されているかを特定し、A像とB像間での像ずれ量を導出する。
S403で、距離導出部105は、S402で導出した各画素の被写体の像ずれ量に基づいて、該被写体の被写体距離を導出する。ここで、像ずれ量からの被写体距離の導出は、既存の手法が用いられるものであってよい。例えば像ずれ量は、基線長を用いた幾何学的な関係に基づき、被写体のデフォーカス量に変換することができるため、デフォーカス量と撮像光学系112の結像関係を利用することで、被写体距離を導出することができる。
S404で、距離導出部105は、各画素について導出した被写体距離の情報を2次元情報として構成し、距離情報を生成してメモリ103に格納する。このように距離導出処理を実行して距離導出部105が距離情報を生成すると、システム制御部101は処理をS303に移す。
S303で、法線導出部106はシステム制御部101の制御の下、S302で生成された距離情報を用いて、対象被写体の面法線を示す法線情報を導出する法線導出処理を実行する。
〈法線導出処理〉
ここで、本ステップの法線導出処理について、図4(b)のフローチャートを用いて詳細を説明する。
ここで、本ステップの法線導出処理について、図4(b)のフローチャートを用いて詳細を説明する。
S411で、法線導出部106は、面法線の導出対象である対象被写体の像が存在する領域(対象領域)を設定する。本実施形態では簡単のため、ユーザが計測を所望する対象被写体は、画角中心近傍に配置されているものと想定し、法線導出部106は、画角中心に存在する所定の大きさの領域を対象領域として設定するものとする。
なお、本実施形態では画角中心近傍に配置されている被写体を対象被写体の像が存在する対象領域として設定するものとして説明するが、本発明の実施はこれに限られるものではない。対象領域の設定は、例えば表示部109に撮像画像が表示されている状態でなされた、なぞる等のタッチ操作入力やその他の領域指定の操作入力に基づいて行われるものであってよく、任意の領域が対象領域として選択可能であってよい。
S412で、法線導出部106は、対象領域に存在する被写体が構成する面を近似した平面を導出する。法線導出部106は、対象領域に含まれる画素をランダムサンプリングし(あるいは全て参照し、)、距離情報に基づいてこれら画素に存在する対象被写体の3次元座標を導出する。
ここで、距離情報に基づく3次元座標の導出は、図5に示される撮像光学系112を介した結像関係を考慮することで行われる。例えば、対象被写体のうちの点511の被写体像が、撮像素子111上の点501に結像されているとする。このとき、点501に係る画素について距離情報に格納される被写体距離は、撮像光学系112の主点から点511までの距離512を示している。また撮像光学系112の主点から撮像素子111の撮像面までの距離502は、撮像設定から判明する。結果、点511に係る対象被写体のx座標(x軸方向の光軸114から距離513)は、結像関係式より、光学中心の像が結像する撮像素子111から点501までの距離503と、距離502と距離512の比を用いることで導出できる。y軸方向についても同様に導出することができるため、結果、撮像光学系112の主点を原点とした座標系における、対象被写体に係る任意の点の3次元座標を導出することができる。
そして法線導出部106は、導出した3次元座標の分布を近似した平面を、最小二乗法により導出する。より詳しくは、法線導出部106は、対象領域の画素に係り導出した、対象被写体上に分布する点の3次元座標群の最小二乗平面を、対象領域に存在する被写体の近似平面として導出する。法線導出部106は、導出した近似平面の規定必要なパラメータの情報をメモリ103に格納する。
S413で、法線導出部106は、S412において導出した近似平面のうちの、対象被写体の任意の点との空間距離が所定の閾値よりも小さい点を含み、かつ、該点から連続している領域を、対象被写体の計測面として選択する。
S414で、法線導出部106は、S413において選択した計測面の法線を導出し、法線情報としてメモリ103に格納する。S412において導出した近似平面は、平面の方程式(ax+by+cz+d=0)で表すことができるため、法線導出部106は、該方程式の係数に基づいて計測面の法線を導出できる。このように法線導出処理を実行して法線導出部106が法線情報を格納すると、システム制御部101は処理をS304に移す。
S304で、方向導出部107はシステム制御部101の制御の下、S303で導出された計測面の法線に基づき、対象被写体の計測に適切な方向から撮像が行われているか否かを判断する。ここで、対象被写体の計測に適切な方向とは、計測面に対してデジタルカメラ100が正対している方向、即ち、計測面上の点がある被写体距離近傍に一様に分布している状態で撮像が行われている方向である。故に本ステップの判断は、S303において導出された計測面の法線と光軸114とがなす角度が、同一であるものとして判断する所定の角度より小さいか否かに応じて行われる。方向導出部107は、対象被写体の計測に適切な方向から撮像が行われていると判断した場合は処理をS306に移す。また方向導出部107は、対象被写体の計測に適切な方向から撮像が行われていないと判断した場合は、該適切な方向の情報、または該適切な方向にするためのデジタルカメラ100の姿勢変更の情報をメモリ103に格納し、処理をS305に移す。
S305で、システム制御部101は、対象被写体の計測に適切な方向への撮像方向の変更を案内する通知を構成し、表示部109に伝送して撮像画像に重畳して提示させる。上述したように対象被写体の計測に適切な方向は、計測面の法線と光軸のなす角度が小さくなる方向である。本ステップにおいて表示部109には、デジタルカメラ100の移動もしくは姿勢変更を促すべく、図6に示されるような表示態様の通知で案内を行うものであってよい。
ここで、撮像画像において、対象被写体600が図6(a)に示されるようにデジタルカメラ100と正対していない状態で撮像され、計測面の法線601が光軸114方向に向いていない状態について、上記通知の表示態様を例示する。通知は、図6(b)に示されるように、デジタルカメラ100の撮像方向を対象被写体600の計測に適切な方向とするための、デジタルカメラ100の移動方向602を撮像画像に重畳して提示する態様であってもよい。また通知は、図6(c)に示されるように、対象被写体の計測面の傾斜状況を示す、傾斜に応じて変化するグリッド603を重畳して提示する態様であってもよい。このとき、グリッド603は、計測面を3次元的に示すGUIであり、正対している状態に近いほど長方形状で表示されるため、ユーザはグリッド603の歪みに応じて、正対しているか否か、及び正対させるための移動方向を把握することができる。この他通知は、図6(d)に示されるように、計測面の法線601そのものを3次元ベクトルの態様で重畳して提示するものであってもよい。
なお、重畳の対象となる撮像画像は、S301において取得された一対の撮像画像のいずれかを用いるものであってよい。あるいは、一対の撮像画像を合成することで生成される、即ち各画素で光電変換素子206a及びbの出力を合算した、瞳分割をしない状態で撮像したものと等価な画像を用いるものであってもよい。
また、図6においては、単に撮像画像に所定の通知を重畳したものを表示する態様について説明したが、本発明の実施はこれに限られるものではない。対象被写体の撮像状況が計測に適切な方向からなされていない状態である旨を、よりわかりやすくユーザに通知すべく、適切な方向からの乖離度を、これらGUIの色や太さ等、表示態様を異ならせるよう構成してもよい。
システム制御部101は、このような提示を行った後、撮像方向の変更がなされて再度の撮像指示に係る操作入力がなされたことをもって、処理をS301に戻す。
一方、S304において対象被写体の計測に適切な方向から撮像が行われていると判断された場合、システム制御部101はS306で、撮像画像を表示部109に表示させた状態で保持する。そして、システム制御部101は、対象被写体の面において寸法を計測する対象である2つの計測点の指示に係る操作入力を受け付ける。該操作入力は、例えば表示部109へのタッチ操作に基づいてなされるものであってもよい。システム制御部101は、2つの計測点の指示がなされたと判断すると、該計測点の情報をメモリ103に格納し、処理をS307に移す。このとき、計測点が支持されると、システム制御部101は図7に示されるように、撮像画像に対して計測点701を重畳した画像を表示させるよう、表示部109の画面遷移を制御してもよい。
S307で、計測部108はシステム制御部101の制御の下、S306において指示された2つの計測点について、2点間の寸法(長さ)を計測する。より詳しくは、計測部108は、距離情報に基づく計測面までの距離、撮像光学系112の横倍率、及び撮像画像上の各計測点の座標に基づいて、2つの計測点間の寸法(空間距離)を計測すればよい。あるいは、計測部108は、まず距離情報に基づいて各計測点の3次元座標を導出し、該座標値に基づいて2つの計測点間の寸法を計測するものであってもよい。そして計測部108は、計測により得られた寸法の情報を計測結果としてメモリ103に格納して本計測処理を完了する。
このようにすることで、対象被写体について撮像画像に基づく計測を行う場合に、計測面が正対しておらずに計測精度が低下し得る状態を回避し、好適な状態で計測を行うよう構成することができる。
なお、本実施形態の法線導出処理では、S412において単純に対象領域に含まれる被写体の3次元座標分布に基づいて近似平面を導出するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、対象領域に複数の面が存在し得ることも踏まえ、このうち計測対象とすべき被写体のみに基づいて、適切な近似平面を導出するようにしてもよい。より詳しくは、法線導出部106は、平面近似を行った後に、対象領域に含まれる画素のうち、該近似平面と被写体距離が所定の範囲を超えて乖離する画素を対象領域から除外し、除外後の対象領域の画素に係り再度近似平面を導出するよう構成してもよい。このような処理は、再帰的に行われるよう構成されていてもよく、所定の回数、あるいは近似平面と所定の範囲を超えて乖離する画素の数が閾値以下となるまで等、繰り返し行われるものとしてよい。
この他、対象領域を複数の小領域に分割し、S412で導出された近似平面からの距離が所定の値よりも大きい領域と小さい領域とでこれらを分類することで、対象領域を複数の小領域に分割してもよい。この場合、計測面は小領域のうちからユーザに選択させるものとしてよい。
また、本実施形態では、対象被写体の計測に適切な方向の通知及び計測結果の提示を表示部109を用いて行うものとして説明したが、ユーザにこれらの情報を通知する態様は、表示部109への情報表示に限られるものである必要はない。
また、本実施形態では計測処理のS304において、対象被写体の計測に適切な方向から撮像が行われていないと判断した場合にのみ、撮像方向変更に係る通知を行うものとして説明したが、本発明の実施はこれに限られるものではない。現在のデジタルカメラ100の撮像方向を示す通知については、計測に係り変更が必要であるか否かに依らず通知がなされるものであってもよい。態様はるか否かを判断する。即ち、計測に適切な方向から撮像が行われている場合に、撮像方向を変更する必要がない旨の通知を行うものとしてもよい。
また、本実施形態では、撮像素子111を瞳分割して記録可能な構成とすることで、距離情報を取得する態様について説明したが、距離情報の取得態様はこれに限られるものではない。例えば、1つの撮像素子111で瞳分割した画像を記録可能な構成するのではなく、1つのデジタルカメラ100内に、もしくは複数のデジタルカメラ100に設けられた複数の撮像素子111を用いることで、一対の撮像画像を取得する構成としてもよい。また例えば、発光部から放射した光が、対象被写体にて反射されて、撮像素子111に届くまでの時間を、光の速度を用いて距離情報に換算するTime of Flight方式を用いて、距離情報を取得する構成としてもよい。
[変形例]
上述した実施形態では、対象被写体の計測に適切な方向から撮像が行われていないと判断された場合に、デジタルカメラ100の撮影方向の変更を促す通知を行うものとして説明した。一方で、撮像環境によっては、現実空間に存在する障害物等により、好適な撮像方向となるようデジタルカメラ100を移動させることが困難であったり、照度条件が変化することによって距離情報の導出精度自体が低下したりする可能性もある。
上述した実施形態では、対象被写体の計測に適切な方向から撮像が行われていないと判断された場合に、デジタルカメラ100の撮影方向の変更を促す通知を行うものとして説明した。一方で、撮像環境によっては、現実空間に存在する障害物等により、好適な撮像方向となるようデジタルカメラ100を移動させることが困難であったり、照度条件が変化することによって距離情報の導出精度自体が低下したりする可能性もある。
このため、例えば計測処理のS304において対象被写体の計測に適切な方向から撮像が行われていないと判断され、S305で該方向への変更を案内する通知を提示する際に、所定の入力がなされたことに応じて、変更を要さずとも計測可能に構成してもよい。より詳しくは、計測に適切な方向と異なる方向から撮像が行われていたとしても、所定の入力がなされた場合には、計測部108は、撮像画像を例えばアフィン変換することで、計測面がデジタルカメラ100と正対している状態の画像を生成すればよい。そして、計測部108は、変換により生成された画像と、該変換を考慮した計測面の距離及び撮像光学系112の横倍率に基づいて、2つの計測点間の距離を導出すればよい。このようにすることで、撮像方向の変更を要さずとも、計測面がデジタルカメラ100と正対していない状態における計測精度の低下度合いを軽減することができる。
なお、このような変換を用いて擬似的に計測を行う処理は、所定の入力がなされたことに応じて行われるのではなく、撮像方向の変更を促す通知を行うモードとは異なる、計測のモードとして予め用意されているものであってもよい。また、該擬似的に計測を行う処理におけるアフィン変換の適用は撮像画像に限られるものではなく、撮像画像及び距離情報の少なくともいずれかに対して適用されるものであってよく、計測部108は、変換後の情報に基づいて計測を行えばよい。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:デジタルカメラ、101:システム制御部、102:記録媒体、103:メモリ、104:撮像部、105:距離導出部、106:法線導出部、107:方向導出部、108:計測部、109:表示部、110:操作入力部、111:撮像素子、112:撮像光学系、113:射出瞳、114:光軸
前述の目的を達成するために、本発明の計測装置は、計測対象である対象被写体について、所定の項目に係る計測を行う計測装置であって、対象被写体を含む撮像範囲を撮像して得られた撮像画像について、該撮像を行った撮像装置からの被写体距離の分布を示した距離情報と、少なくとも対象被写体の面の法線を示す法線情報と、を取得する取得手段と、法線情報に基づいて所定の項目の計測を行うか否かを判断する判断手段と、を有し、判断手段は、撮像を行った際の撮像装置の状態が対象被写体の面と正対していると判断した場合に、所定の項目を計測すると判断することを特徴とする。
Claims (1)
- 計測対象である対象被写体について、所定の項目に係る計測を行う計測装置であって、
前記対象被写体を含む撮像範囲を撮像して得られた撮像画像について、該撮像を行った撮像装置からの被写体距離の分布を示した距離情報と、少なくとも前記対象被写体の面の法線を示す法線情報と、を取得する取得手段と、
前記取得手段により取得された前記法線情報に基づいて、前記撮像装置の撮像方向が前記所定の項目の計測を行うための撮像方向ではないと判断した場合に、前記計測を行うための撮像方向を示す通知を提示する提示手段と、
を有し、
前記計測を行うための撮像方向の通知は、前記計測を行うための撮像方向からの前記撮像装置の撮像方向の乖離度を含むことを特徴とする計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023108522A JP2023115356A (ja) | 2019-05-24 | 2023-06-30 | 計測装置、撮像装置、制御方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097939A JP7307592B2 (ja) | 2019-05-24 | 2019-05-24 | 計測装置、撮像装置、制御方法及びプログラム |
JP2023108522A JP2023115356A (ja) | 2019-05-24 | 2023-06-30 | 計測装置、撮像装置、制御方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097939A Division JP7307592B2 (ja) | 2019-05-24 | 2019-05-24 | 計測装置、撮像装置、制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023115356A true JP2023115356A (ja) | 2023-08-18 |
Family
ID=73456383
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097939A Active JP7307592B2 (ja) | 2019-05-24 | 2019-05-24 | 計測装置、撮像装置、制御方法及びプログラム |
JP2023108522A Pending JP2023115356A (ja) | 2019-05-24 | 2023-06-30 | 計測装置、撮像装置、制御方法及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097939A Active JP7307592B2 (ja) | 2019-05-24 | 2019-05-24 | 計測装置、撮像装置、制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US11277569B2 (ja) |
JP (2) | JP7307592B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022244069A1 (ja) * | 2021-05-17 | 2022-11-24 | 日本電気株式会社 | 撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体 |
JP2023106131A (ja) | 2022-01-20 | 2023-08-01 | キヤノン株式会社 | 撮像装置、制御方法およびプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3573512B2 (ja) * | 1994-05-17 | 2004-10-06 | オリンパス株式会社 | 画像処理方法及び画像処理装置 |
US7068815B2 (en) * | 2003-06-13 | 2006-06-27 | Sarnoff Corporation | Method and apparatus for ground detection and removal in vision systems |
US20050276443A1 (en) * | 2004-05-28 | 2005-12-15 | Slamani Mohamed A | Method and apparatus for recognizing an object within an image |
JP5018980B2 (ja) | 2010-04-08 | 2012-09-05 | カシオ計算機株式会社 | 撮像装置、長さ測定方法、及びプログラム |
CN103403493A (zh) * | 2010-12-13 | 2013-11-20 | 勘测研究室集团有限公司 | 移动式测量装置、仪器和方法 |
KR101800949B1 (ko) * | 2013-04-24 | 2017-11-23 | 가와사끼 쥬고교 가부시끼 가이샤 | 워크 가공 작업 지원 시스템 및 워크 가공 방법 |
JP5818857B2 (ja) * | 2013-10-24 | 2015-11-18 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP6415291B2 (ja) * | 2014-12-09 | 2018-10-31 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
CN107735643B (zh) | 2015-06-29 | 2020-01-21 | 富士胶片株式会社 | 摄像装置及摄像方法 |
JP2018014572A (ja) | 2016-07-19 | 2018-01-25 | 株式会社リコー | 情報処理装置、画像処理システム、プログラム |
US10574881B2 (en) * | 2018-02-15 | 2020-02-25 | Adobe Inc. | Smart guide to capture digital images that align with a target image model |
-
2019
- 2019-05-24 JP JP2019097939A patent/JP7307592B2/ja active Active
-
2020
- 2020-05-21 US US16/880,731 patent/US11277569B2/en active Active
-
2022
- 2022-02-11 US US17/669,701 patent/US11812137B2/en active Active
-
2023
- 2023-06-30 JP JP2023108522A patent/JP2023115356A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020193820A (ja) | 2020-12-03 |
US20220166935A1 (en) | 2022-05-26 |
US20200374468A1 (en) | 2020-11-26 |
JP7307592B2 (ja) | 2023-07-12 |
US11277569B2 (en) | 2022-03-15 |
US11812137B2 (en) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009115893A (ja) | 撮像装置 | |
JP2023115356A (ja) | 計測装置、撮像装置、制御方法及びプログラム | |
JP2012215785A (ja) | 固体撮像素子及び撮像装置 | |
JP2014011526A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP2009175680A (ja) | 受光装置、焦点検出装置および撮像装置 | |
JP7451120B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
JP6821028B2 (ja) | 撮像装置および画像データ読み出し方法 | |
JP2016217833A (ja) | 画像処理システム及び画像処理方法 | |
JP2013041167A (ja) | 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
JP2016001853A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
US9794468B2 (en) | Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions | |
US9578230B2 (en) | Image capturing apparatus that performs shading correction and control method therefor | |
JP2013218082A (ja) | 撮像装置及びその制御方法 | |
US11468586B2 (en) | Three-dimensional measurement apparatus, image capturing apparatus, control method, and recording medium | |
JP7373297B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014194502A (ja) | 撮像装置および撮像システム | |
JP6632406B2 (ja) | 距離算出装置、撮像装置、および距離算出方法 | |
JP6257201B2 (ja) | 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置 | |
US11790600B2 (en) | Image processing device, imaging apparatus, image processing method, and recording medium | |
US20240214668A1 (en) | Image processing device, image processing method, imaging device, and recording medium | |
JP7277267B2 (ja) | 計測装置、撮像装置、計測システム及びプログラム | |
US20220317442A1 (en) | Image processing apparatus and control method for image processing apparatus | |
JP7200002B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP7346021B2 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240513 |