JP2020187065A - 電子機器及びその制御方法、プログラム - Google Patents

Abstract

【課題】物体を直に目視しているユーザが、その物体の長さを把握することを可能にする電子機器及びその制御方法、プログラムを提供する。【解決手段】電子機器１００は、像を投影する投影部１０８と、物体２０までの距離を測定する測定部１１と、測定部により測定された物体までの距離に基づいて、物体に投影された像が実寸長を有するように、投影部による像の投影を制御する投影制御部１２と、を備える。【選択図】図１

Description

本発明は、電子機器及びその制御方法、プログラムに関する。

一般に、２つの撮像部により視差を有する画像を撮像するステレオカメラが知られている。ステレオカメラでは、２つの撮像部によって同一の被写体を同時に撮像し、視差を有する第１の画像と第２の画像との２種類の画像を取得する。このようなステレオカメラによって撮像された２種類の画像からは、被写体の奥行き方向の長さを算出することができる。

特許文献１には、視差画像を撮像できる撮像装置を用いて、被写体上のユーザが指定した２点間の３次元空間上の長さを測定する技術が開示されている。特許文献１は、表示パネルに表示された撮像画像上でユーザが指定した被写体の３次元位置情報に基づいて、実質的に実際の寸法を表すスケール画像を生成し、生成したスケール画像を撮像画像に合成して表示する。

特開２００１−２０９８２７号公報

特許文献１によれば、表示画面上の任意の位置に実寸を測ることのできるスケール画像が重畳して表示され、ユーザは被写体の長さを測定することができる。しかしながら、スケール画像が表示画面に表示されるため、表示画面を見ていない非撮影者（例えば被写体の近くにいるユーザ）はその測定結果を確認することができない。すなわち、ユーザは、被写体を直に目視しながら（表示画面を見ずに）、物体の長さ、周囲の物体との位置関係（距離）などを把握することはできない。

本発明は、物体を直に目視しているユーザが、その物体の長さを把握することを可能にする技術を提供する。

本発明の一態様による電子機器は以下の構成を備える。すなわち、
像を投影する投影手段と、
物体までの距離を測定する測定手段と、
前記測定手段により測定された前記物体までの距離に基づいて、前記物体に投影された前記像が実寸長を有するように、前記投影手段による前記像の投影を制御する投影制御手段と、を備える。

本発明によれば、物体を直に目視しているユーザが、その物体の長さを把握することが可能になる。

（ａ）は実施形態における電子機器の機能構成例を示すブロック図、（ｂ）は電子機器のハードウェア構成例を示すブロック図。 （ａ）、（ｂ）は、実施形態における撮像部の構成例を示すブロック図。 実施形態における画像処理部の機能構成例を示すブロック図。 実施形態による電子機器の動作を示すフローチャート。 実施形態の電子機器による被写体の撮像、表示状態の一例を示す図。 （ａ）は、距離データを説明する図、（ｂ）は、スケール画像の一例を示す図、（ｃ）は、ブロック積分方法を説明する図。 被写体へスケール像を投影した状態を示す図。 第２実施形態による電子機器の動作を示すフローチャート。 第２実施形態による投影位置の制御を示すフローチャート。 第２実施形態におけるブロック積分方法を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
図１（ａ）は、第１実施形態の電子機器１００の主要な機能構成を示すブロック図である。像を投影する投影部１０８を有する電子機器１００は、機能構成としての距離測定部１１、投影制御部１２を備える。距離測定部１１は、物体２０までの距離を測定する。投影制御部１２は、距離測定部１１により測定された物体２０までの距離に基づいて、物体２０に投影された像２１が所定の実寸長を有するように、投影部１０８による像の投影を制御する。以下、距離測定部１１、投影制御部１２を実現する構成例について詳細に説明する。

第１実施形態では、デジタルカメラなどの撮像装置を用いて撮像した物体（以下、被写体）までの距離および長さを測定し、その結果を用いて所定の実寸長を有する像を当該被写体に所定の実寸長の像として投影する構成について説明する。以下では、電子機器１００の一例として、投影機能を有する撮像装置（例えば、デジタルカメラのアクセサリシューに投影部が装着された形態）を説明するが、本実施形態の電子機器はそのような撮像装置に限定されない。例えば、撮像部を有する投影装置であってもよいし、撮像装置と投影装置が接続されたパーソナルコンピュータ（ＰＣ）などであってもよい。

図１は、第１実施形態による電子機器１００の構成例を示すブロック図である。図１（ｂ）において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子と、入力された映像信号をデジタルの画像に変換するＡ／Ｄ変換部とを備える。

制御部１０３は、例えば１つまたは複数のプロセッサ（ＣＰＵ）とメモリとを備え、１つまたは複数のプロセッサがメモリに格納されている所定のプログラムを実行することで、電子機器１００における各種動作を制御する。例えば、適正な明るさを持つ入力画像を得る為の撮像時の露光量を算出し、それを実現する為に光学系１０１（絞り、シャッタスピードなど）と撮像部１０２（センサのアナログゲインなど）などを制御する。画像処理部１０４は、通常の画像処理の他に、被写体の画像から各種の特徴量を算出する処理を行う。画像処理部１０４は制御部１０３から出力された画像のみでなく、記録部１０５から読み出した画像に対しても同様の画像処理を行うことができる。なお、画像処理部１０４の機能の一部あるいはすべてが制御部１０３により実現されてもよい。

記録部１０５は、各種処理に用いる一時的なデータを記憶したり、画像や記録したりする機能を有する。記録部１０５は、たとえばＤＲＡＭ（Dynamic Random Access Memory）、半導体メモリが搭載されたメモリカード、光磁気ディスク等の回転記録体を収容したパッケージ、などを用いた情報記録媒体を含み得る。

設定部１０６は、撮像・測定に際してユーザが任意に設定した各種の値を取得する機能を有する。表示部１０７は、画像処理部１０４から出力される画像をＬＣＤなどの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。投影部１０８は、画像を任意のサイズに拡縮しながら投影したり、任意の長さや色を有する光を投影したりする。

図２（ａ）は、撮像部１０２における画素２０２の配列の一部を示す図である。図２（ｂ）は１つの画素２０２を拡大して示した図である。撮像部１０２では画素２０２が二次元的に規則的に配列されている。画素２０２は、マイクロレンズ２０１と一対の光電変換部２０３Ａ、２０３Ｂを有した、いわゆるデュアルピクセル撮像素子である。

図３は制御部１０３と画像処理部１０４の機能構成例を示すブロック図である。図３において、信号処理部３０１は、ノイズ低減処理や現像処理など通常の信号処理を行う。また、信号処理部３０１は、ガンマ変換などによる階調圧縮処理を用いて処理対象の画像に対して所定の出力レンジに階調圧縮する処理などを行う。撮像情報取得部３０２は、撮像時にユーザが設定した撮像モードや、焦点距離、絞り値、露光時間などの各種情報を取得する。

特徴抽出部３０３は、信号処理部３０１が出力した画像から輝度、色、エッジなどの各種特徴量を算出する。距離算出部３０４は、光学系１０１の瞳の異なる領域から到来する光束に生ずる複数の被写体像の位相差に基づいて、撮像された画像における電子機器１００から被写体までの距離の分布を示す距離データを生成する。撮像部１０２と距離算出部３０４は、上述した距離測定部１１を実現する構成の一例である。ここで距離算出部３０４が算出する距離データの形態としては被写体までの距離に限らず、位相差により得られる複数の被写体象の像ずれ量を表す分布の形態であってもよいし、それらをＫ値に基づいてデフォーカス量に変換したデフォーカス量の分布の形態であってもよい。

判定部３１１は、特徴抽出部３０３および距離算出部３０４の出力を用いて、各種の判定処理を行う。投影制御部１２は、図１（ａ）において説明した構成であり、距離算出部３０４により算出された距離に基づいて投影部１０８による像の投影を制御する。また、投影制御部１２は、特徴抽出部３０３が抽出した画像の特徴と、距離算出部３０４が算出した距離とに基づいて、投影部１０８による像の投影形態（投影の色、輝度、投影を実行するか否か）を制御する。

以下、ユーザが電子機器１００の表示部１０７上で指定した被写体に対して、実寸長を測定し、その結果を用いて実際の被写体にスケール画像を投影する際の投影制御処理について図４のフローチャートを用いて説明する。なお、図５はユーザ（不図示）が長さを測定したい被写体５０１を電子機器１００によって撮像する様子を示した図である。図５において、画像５０２は表示部１０７に表示される画像を示している。

ステップＳ４０１において制御部１０３は、長さを測定するポイントのユーザ指定を設定部１０６より受け取る。例えば、表示部１０７上でユーザが表示中の画像の任意の２点をタッチすることによって、測定点が指定される。図５では、電子機器１００の表示部１０７に表示された画像５０２上の測定点５０３および測定点５０４がユーザ指定された様子が示されている。

ステップＳ４０２において、距離算出部３０４は、ステップＳ４０１で指定された２つの測定点までのそれぞれの距離を算出する。図２（ａ）（ｂ）に示した撮像素子の構成により、光電変換部２０３Ａ、光電変換部２０３Ｂには光学系１０１において異なる瞳領域を通過した２つの光束が入射する。光電変換部２０３Ａと光電変換部２０３Ｂのそれぞれで得られた輝度画像は、瞳領域がそれぞれ異なるため、物体距離位置に依存して視差を有する。よって、これらの輝度画像からステレオマッチング法など既知の手法によりデフォーカス量を算出することができる。

光学系の結像式を用いて、デフォーカス量を距離値に変換することができる。光学系１０１の後側主点位置から撮像面までの像距離を、合焦物体についてＳ（０）、非合焦物体についてＳ（０）＋ｄｅｆ１とする。ｄｅｆ１は算出したデフォーカス量とする。また光学系１０１の前側主点位置から、合焦物体までの距離をＯＢＪ（０）、非合焦物体までの距離をＯＢＪ（ｄｅｆ１）とする。すると、合焦している物体に対しては、光学系１０１のレンズの焦点距離ｆを用いて以下の（式１）が成り立つ。
１／ＯＢＪ（０）＋１／Ｓ（０）＝１／ｆ ...（１）

式（１）により、既知の値であるＳ（０）およびｆを用いて物体までの距離ＯＢＪ（０）を算出することができる。また、非合焦の物体までの距離ＯＢＪ（ｄｅｆ１）については、同様に以下の式（２）が成り立つ。
１／ＯＢＪ（ｄｅｆ１）＋１／（Ｓ（０）＋ｄｅｆ１）＝１／ｆ ...（２）
式（２）において、既知の値であるＳ（０）および算出されたｄｅｆ１の値を用いることでＯＢＪ（ｄｅｆ１）を算出することができる。

図６（ａ）の画像６０１は、上述した距離値の算出の結果として得られる距離データの一例を示したものである。画像６０１において、明るい領域ほど電子機器１００（撮像部１０２）から近く、暗い領域ほど電子機器１００（撮像部１０２）から遠いことを示している。なお、図６（ａ）に示されるように、光学系１０１の前側主点位置から、ユーザにより指定された２つの測定点５０３、５０４までの距離（被写体距離）をそれぞれｚａおよびｚｂとする。なお、画像６０１内で輪郭部分を表す黒線は、図示をわかりやすくするためのもので、測定された距離を反映するものではない。

図４に戻り、ステップＳ４０３において、判定部３１１はステップＳ４０２で算出された２つの測定点５０３，５０４の被写体距離ｚａおよびｚｂの差が所定値以下か否かを判定する。具体的には、被写体距離ｚａおよびｚｂのうち小さい方の値、すなわち電子機器１００に近い側の測定点の被写体距離の５％の値を閾値として比較を行う。ＺａとＺｂの差が所定値以下と判定された場合、処理はステップＳ４０５へ進み、そうでない場合には処理はステップＳ４０４へ進む。ステップＳ４０４では、制御部１０３はユーザに対して測定点の正面から撮像するように促すメッセージを表示部１０７に表示する。そして、制御部１０３は、ステップＳ４０１において改めて測定点が指定されるまで待機する。

後述する、実寸大のスケール像の投影において、指定された２つの測定点を結ぶ線分が電子機器１００に対して正対せず大きく傾いている場合、正しい実寸長での投影が行えなくなる。上記ステップＳ４０３における判定とステップＳ４０４の処理は、このような不具合を避けるための処理である。なお、ステップＳ４０３で用いられる所定値（閾値）は上記に限られるものではなく、例えば、より小さな値を用いることでより精度の高い測定を行なえるようにしても良い。

ステップＳ４０３において被写体距離ＺａとＺｂの差が所定値以下と判定された場合、ステップＳ４０５において、距離算出部３０４は、ステップＳ４０１で指定された２つの測定点の間の長さを測定する。まず２点間の撮像画像上での距離（画素数）ｐｃを算出する。２点の画像上での座標を（ｘａ、ｙａ）、（ｘｂ、ｙｂ）とすると、ｐｃは以下の式（３）により算出される。
ｐｃ＝（（ｘｂ−ｘａ）＾２＋（ｙｂ−ｙａ）＾２）＾１／２ ...（３）

さらに、距離算出部３０４は、ステップＳ４０２で算出した光学系１０１の前側主点位置から物体上の２つの測定点までの距離ＺａとＺｂの平均値ｚ（＝（Ｚａ＋Ｚｂ）／２）を、被写体までの距離として算出する。光学系１０１の後側主点位置から撮像素子（画素２０２）までの距離をｆ、撮像素子（画素２０２）の画素ピッチをｐｐとした時、２点間の長さ（実距離）Ｓは以下の式で算出することができる。
Ｓ＝ｐｃ×ｐｐ×ｚ／ｆ ...（４）

なお、画像上の２点間の長さの算出は上記の式（４）を用いた手法に限定されるものではない。２点間の画素数と被写体の距離情報を用いていれば、他の情報はどのようなものを用いて決定しても良い。

ステップＳ４０６において、投影制御部１２は、投影部１０８が被写体に対して画像あるいは光を投影する際の倍率を算出する。ここでは、目視によって実寸の長さを測定可能にするようなスケール図形を投影部１０８が投影する場合について述べる。図６（ｂ）は、本実施形態による投影されるスケール図形を示す図である。スケール図形６２１は、投影部１０８が実際に投影する画像を示したものであり、目盛りを有する物差し状の図形である。本実施形態では、スケール図形６２１の小さい目盛り６２２は実寸で２０ｃｍ、大きい目盛り６２３は実寸で１００ｃｍを表す。

投影制御部１２は、ステップＳ４０２で算出された測定点の被写体距離に基づいて、投影部１０８がスケール図形６２１を投影面に投影する際に、目盛りの間隔が実寸大となるように投影を拡大あるいは縮小するための倍率を決定する。すなわち、投影制御部１２は、測定された被写体距離に位置する投影面上で、隣接する目盛り６２２の間の長さが実際に２０ｃｍとなるように、スケール図形６２１の大きさ（倍率）を調整する。なお、目盛りが表す長さは上記の例に限られないことは言うまでもない。また、測定対象の被写体に適した数値となるように、目盛り６２２の間隔、目盛り６２３の間隔などをユーザが設定できるようにしてもよい。

次に、ステップＳ４０７において、特徴抽出部３０３は画像５０２から被写体５０１の特徴量を抽出する。具体的には、特徴抽出部３０３は、画像５０２をブロック単位に分割し、ステップＳ４０１で指定した２点およびその間に存在するブロックにおける輝度および色相の積分値を算出する。図６（ｃ）はその様子を示した模式図であり、画像５０２を複数のブロックに分割した画像６４１が示されている。また、これら複数のブロックのうち太線で示したブロックが積分値を算出する対象となるブロック（ステップＳ４０１で指定された２つの測定点とそれを結ぶ線分を含むブロック）である。特徴抽出部３０３は、対象のブロックにおける色相の積分値を算出し、それらの平均値を被写体５０１の特徴量として抽出する。この処理により得られた色相を、スケール図形６２１を投影する領域の色相（被写体５０１の表面の色）として扱うことにより、投影するスケール図形の色を適切に決定することができる。

ステップＳ４０８において、投影制御部１２は、ステップＳ４０７で特徴抽出部３０３が抽出した特徴量に基づいて、投影部１０８が投影するスケール図形６２１の像の色を決定する。例えば、上述のようにして算出された色相の平均値が示す色相の補色を投影する像の色とすることで、目盛りをより目視しやすくすることができる。また、算出された色相が無彩色であった場合には、緑色など予め設定された初期値を用いることができる。また、投影制御部１２は、被写体の輝度が大きいほど像の輝度を下げるように制御してもよい。例えば、投影制御部１２は、被写体の輝度が所定値より小さい場合は像の輝度を上げ、被写体の輝度が所定値以上である場合は像の輝度を下げるように制御してもよい。例えば、上述した対象のブロックについて輝度の積分値を算出し、それらの平均値が所定値より大きい場合には、投影部１０８による投影の明るさを下げた上で、スケール図形６２１を投影する。このように、スケール図形の像が投影される被写体の輝度が所定値より大きい場合は低輝度の像を、輝度が所定値以下の場合には高輝度の像を投影することで、目視のしやすさが向上する。

ステップＳ４０９では、投影制御部１２は、ステップＳ４０２で算出した測定点までの距離（被写体距離）が所定以上か否かを判定する。具体的には、投影制御部１２は、２点の被写体距離（ＺａとＺｂ）のうち、大きい方の値すなわち遠い側の測定点の被写体距離と、予め設定した閾値（例えば１０メートル）とを比較する。被写体距離の方が大きい場合には処理はステップＳ４１０へ、そうでない場合には処理はステップＳ４１１へ進む。

測定する被写体が遠くなればなるほどスケール図形６２１の深度が深くなりデフォーカス量が小さくなることから、実距離の分解能が不足し信頼性が低くなる。したがって、ステップＳ４１０では、このことをユーザに通知するために、投影制御部１２はスケール図形６２１の表示形態を変更する。例えば、投影部１０８は、スケール図形６２１を投影する色を赤色に変更する。これにより、ユーザは投影の色を目視することで測定値の信頼性が低いことを認識し、撮影距離を調整するなどの対応をすることができる。なお、表示形態の変更の仕方は上記に限られるものではなく、例えば被写体の色が赤色であった場合には橙色にするか、または色を変えずにスケール図形６２１を点滅させながら投影するなどしても良い。

ステップＳ４１１では、投影制御部１２は、設定した倍率および色に従って、スケール図形６２１を被写体に対して投影するよう投影部１０８を制御する。投影制御部１２は、指定された２つの測定点の距離に相当する長さのスケールを、それら２つの測定点を結ぶ線上に、当該線に沿って投影するように、投影部１０８を制御する。

図７は、スケール図形の投影状態を示した図である。図７に示されるように、制御部１０３は、表示部１０７において、指定された２つの測定点間の長さの測定結果（本例では１３０ｃｍ）を画像７０１上に重畳表示する。また、投影部１０８からは、スケール図形６２１に対応するスケール像７０２が被写体５０１に投影され、ユーザはこれを目視することができる。これにより表示部１０７を見ていないユーザも、２つの測定点間の長さがおよそ１３０ｃｍであることを確認することができる。

なお、上記実施形態では、投影するスケール像７０２の長さを指定された測定点間における実寸の長さ分としたが、これに限られるものではない。例えば、投影される像の長さをユーザが任意に設定した長さ分を投影するようにするようにしてもよい。このような構成によれば、例えば被写体上で１メートルがどこからどこまでかを目視で確認したいような場合に、ユーザは１メートル分の像を投影するように設定することができる。

以上説明したように、第１実施形態によれば、被写体までの距離や形状などに応じて実寸大の長さとなるような画像（スケール画像）が投影される。これにより、撮影者以外（表示部１０７に表示された画像を見ることができないユーザ）であっても、被写体の長さを把握することができる。

なお本実施形態では、物差し状の画像（スケール像７０２）を投影する場合について述べたが、これに限られるものではない。投影部１０８は、液晶部を有するプロジェクタであってもよいし、レーザポインタやラインレーザのようにレーザを用いて物体上への描画を行う構成であってもよい。例えば、投影部１０８は、２つ以上の光点や直線状の光を投光するものであってもよい。例えば、投影部１０８は、２つの投光部を有し、ユーザが任意に設定した長さ（例えば１メートル）分の間隔を設けて２つの光を被写体に投光するように２つの投光部を制御する構成としてもよい。このような構成によれば、画像を拡縮・投影するよりも投影部１０８を簡易的な構成とすることができる。また、任意の長さの画像や光を直線状に投影することで、被写体が直線に沿って配置されているか、所定の間隔を空けて配置されているかといったような、被写体の配置状況を目視で確認することができる。

また本実施形態では、被写体までの距離が遠い場合に、測定の信頼性が低いことを示すために投影部１０８による投影の形態を変更（本例では色を変更）した。しかしながら、測定の信頼性の判定は、被写体までの距離に限られるものではなく、例えば、被写体のエッジ量から信頼性を判定し、表示形態を変更するようにしても良い。ステップＳ４０２において距離算出部３０４が距離値を算出する際、被写体のテクスチャが乏しい領域はステレオマッチングにより相関値を算出することが困難となる。投影制御部１２は、被写体のエッジ量が所定量より小さい場合は、像の投影を行わないか、あるいは被写体のエッジ量が所定量以上である場合とは異なる投影形態で像を投影するように、投影部１０８を制御する。例えば、投影制御部１２は、特徴抽出部３０３によって検出された被写体のエッジのブロック積分値が所定量より小さい場合には、像を投影しないかあるいは通常とは異なる色で投影するように投影部１０８を制御する。なお、エッジのブロック積分値とは、たとええば、図６（ｃ）の太線のブロックにおける被写体の量の積分値である。このような制御により、ユーザは測定の信頼性が低いことを把握でき、測定の場所や点を調整したりすることができる。

また本実施形態では、距離情報を取得する距離測定部１１の構成として、図２に示したような、撮像光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差に基づいて生成する構成を示したが、他の構成を代用あるいは併用しても良い。例えば、距離測定部１１として複数のレンズおよび撮像素子を有する複眼カメラの構成を用いることで、より精度の良い像ずれ量を検出できるようにしても良い。また、距離測定部１１は、光や音を用いて物体２０との距離を測定する構成としてもよい。例えば、ＴＯＦ（Time Of Flight）カメラや超音波により距離を測定する構成とすることで、模様の変化が乏しい被写体に対する測距性能を向上することが可能となる。

＜第２実施形態＞
第１実施形態では、指定された測定点を結ぶ位置にスケール像を投影する例を説明した。指定された測定点の間の被写体の表面が像の投影に適さない場合（例えば、凹凸が多い場合）には、投影された像を目視しにくくなる。第２実施形態では、投影された像をユーザがより目視しやすくするために、投影する位置やタイミングなどを制御する。第２実施形態では、ステップＳ８０２〜Ｓ８０３により像を投影するタイミングが好適に制御され、ステップＳ８０７により像を投影する位置が好適に制御される。

ステップＳ８０１において、制御部１０３は、表示部１０７上でユーザが指定した２点を測定点として受け取る。ステップＳ８０１の処理はステップＳ４０１と同様である。ステップＳ８０２において、撮像情報取得部３０２は、電子機器１００のフォーカスモードが手動でフォーカスを設定するＭＦモード（マニュアルフォーカス）か、自動的にフォーカスを設定するＡＦモード（オートフォーカス）かを判定する。ＭＦモードであると判定された場合は、処理はステップＳ８０４へ進み、ＡＦモードであると判定された場合は、処理はステップＳ８０３へ進む。

ステップＳ８０３では、投影制御部１２は、ユーザによりＡＦボタンが押し下げられてフォーカス動作が完了したか否かを判定する。フォーカス動作が完了したと判定された場合には、処理はステップＳ８０４へ進み、フォーカシング前あるいはフォーカシング中であると判定された場合には、処理はステップＳ８０２へ戻る。

ここで、フォーカスのモードおよびフォーカス動作状態に応じて制御する目的について説明する。ＡＦモードにおいて、フォーカス動作中である場合、被写体に対して正しい距離値を算出できなかったり、値が安定しなかったりすることが考えられる。その状態で、投影部１０８が画像や光を投影すると、正しい測定ができなかったり視認しにくくなったりしてしまう。したがって、ＡＦのフォーカス動作が完了した後あるいはフォーカスが自動で変わらないＭＦモード時に測定のための投影を行い、ＡＦモードにおけるフォーカス動作中には測定のための投影を行わないようにしている。

以上のようにして、距離測定及び投影の実行タイミングが制御されると、処理はステップＳ８０４に進む。ステップＳ８０４において、距離算出部３０４は、撮像部１０２からステップＳ８０１で受け付けた測定点（ユーザにより指定された２点）までの距離を算出する。第１実施形態で説明したように、距離算出部３０４は図６（ａ）に示すような距離データを取得し、測定点までの距離Ｚａ、Ｚｂを得る。

ステップＳ８０５では、ステップＳ８０１で受け付けた測定点間の距離を測定する。２点間の距離の算出方法は第１実施形態（ステップＳ４０５）と同様である。ステップＳ８０６において、投影制御部１２は、被写体に対して画像あるいは光を投影する際の倍率を算出する。倍率の算出方法は第１実施形態（ステップＳ４０６）と同様である。ステップＳ８０７において、投影制御部１２は、被写体に対して画像を投影する位置を決定する処理を行なう。本実施形態では、投影制御部１２は、被写体に像を投影することが可能な複数の領域について距離算出部３０４によって測定された距離の変化度合いを取得し、変化度合いが所定値より小さい領域に像を投影するように投影部１０８を制御する。このような投影位置を決定する処理の詳細について、図９のフローチャートを用いて説明する。

ステップＳ９０１において、距離算出部３０４は、ステップＳ８０４で生成した距離データ（図６（ａ））を用いて距離値のブロック積分を行なう。図１０は、距離値のブロック積分の様子を示した模式図である。図１０（ａ）の画像は、撮像部１０２により得られた画像（距離データの画像６０１を含む）を複数のブロックに分割した状態を示す。太線で示されたブロック群１０１０は、ステップＳ８０１で受け付けた測定点間に位置する計算対象ブロック群である。図１０（ｂ）に示される画像は、図１０（ａ）に示した画像をブロック積分した結果を示している。ブロックごとに、距離データの積算値（積分値）が計算される。

ステップＳ９０２では、距離算出部３０４はステップＳ９０１で算出した積分値を用いて、ステップＳ８０１で受け付けた測定点間に位置する計算対象ブロック群に含まれる個々のブロックの積分値の分散値を算出する。ステップＳ９０３において、投影制御部１２は、ステップＳ９０２で算出した分散値が所定値以上か否かを判定する。これは、スケール像を投影する投影面となる測定点間の被写体の表面が距離的に平坦か、あるいは凹凸が多いかを判定することが目的である。なお、距離値の分散に限らず、積分値の最大値と最小値との差分など、他の手法により得られる値が評価値として用いられても良い。ステップＳ９０３で分散値が所定以上ではないと判定された場合、投影位置の設定処理を終了する。この場合、投影位置は、指定された２つの測定点間となる。

一方、ステップＳ９０３で分散値が所定以上と判定された場合には処理はステップＳ９０４へ進む。ステップＳ９０４では、Ｓ９０１〜Ｓ９０２において距離算出部３０４が計算対象ブロック群（ブロック群１０１０）について行った距離値の分散の算出を、計算対象ブロック群に隣接するブロック群に対して行なう。具体的には、図１０（ｃ）と図１０（ｄ）において太線で示したブロック群１０２０とブロック群１０３０について距離値の分散が算出される。なお、ブロック群１０２０は、計算対象ブロック群に対して上方向に隣接するブロック群である。また、ブロック群１０３０は、計算対象ブロック群に対して下方向に隣接するブロック群である。

ステップＳ９０５において、投影制御部１２は、ステップＳ９０４で算出された隣接ブロック群の分散値がステップＳ９０２で算出された計算対象ブロック群の分散値よりも小さいか否かを判定する。隣接ブロック群の分散値が計算対象ブロック群の分散値以上の場合は、投影位置の設定処理を終了する。

ステップＳ９０５において、隣接ブロック群の分散値が計算対象ブロック群の分散値より小さい場合、処理はステップＳ９０６へ進む。ステップＳ９０６において、投影制御部１２は、投影部１０８が被写体に対して像を投影する位置を変更する。像を投影する初期位置は、ステップＳ８０１で指定された２つの測定点の間である。ところがステップＳ９０３でそれら２点間のデフォーカスの分散が所定値以上、すなわち距離的に凹凸が多いと判定された場合、画像を投影すると長さを測るための目盛りが目視しにくくなってしまうことが考えられる。そこで、より距離値の分散が小さい、すなわち距離的に平坦な隣接領域に投影することで視認性を向上することができる。なお、ステップＳ９０５において、２つの隣接するブロック群の分散値がともに小さいと判定された場合には、より分散の小さい側に変更しても良いし、ユーザが任意に選択しても良い。また、投影位置を移動することで改善が見込めない場合（ステップＳ９０５でＮＯ）、投影部１０８による像の投影位置として初期位置が用いられる。

図８に戻り、ステップＳ８０８では、ステップＳ８０６で設定された倍率およびステップＳ８０７で制御された投影位置に基づいて、スケール像７０２を被写体５０１に投影する。なお、第１実施形態と同様に、投影制御部１２が投影部１０８における投影色の制御を行うようにしてもよい。

以上のように、第２実施形態によれば、撮像した被写体に対して投影された画像あるいは光をユーザがより目視しやすくなるように、タイミングや投影位置を制御しながら実寸長を有する画像を投影する。したがって、被写体に対して実寸大の長さとなる像を視認しやすい位置に安定的に投影することができる。

なお、第２実施形態では、フォーカスのモードや動作状態に応じて投影の有無を制御したが、投影の形態（色など）を制御するようにしても良い。例えば、ＡＦモードにおけるフォーカス動作中は赤色、フォーカス動作の完了後およびＭＦモード時は緑色により像を投影するようにしてもよい。ユーザは像の投影形態を見て、測定可能か否か（測定精度に問題がないか否か）を判断することができる。

また、第２実施形態では、距離的に平坦な部分を検出して像の投影位置を決定する構成を説明したが、フォーカスが合っている部分に像を投影するようにしても良い。ユーザは、像がどこにも投影がされていない場合に、どこにもフォーカスが合っていないことを把握できる。また、像が投影されている（すなわちフォーカスが合っている）場所に被写体を移動させるようなことも可能となる。

また、投影制御部１２は、環境の明るさを測光した結果、測光された環境の明るさが所定値より小さいか否かに応じて、投影部１０８に像の投影を行わせるか否かを決定するようにしてもよい。例えば、撮像時に制御部１０３が算出した露光量を参照し、明るさが所定よりも暗いような低照度環境である場合には、常に投影部１０８に投影を行わせる。このような制御によれば、低照度環境において被写体のコントラストを上げることができ、これによりフォーカス精度を向上することが期待できる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、実施形態で述べた画像処理の一部あるいは全てを、撮像に用いた装置（カメラなど）の外部の装置（コンピュータなど）に実行させるようにしてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：光学系、１０２：撮像部、１０３：制御部、１０４：画像処理部、１０５：記録部、１０６：設定部、１０７：表示部、１０８：投影部、３０１：信号処理部、３０２：撮像情報取得部、３０３：特徴抽出部、３０４：距離算出部、３１１：判定部

Claims (18)

1. 像を投影する投影手段と、
   物体までの距離を測定する測定手段と、
   前記測定手段により測定された前記物体までの距離に基づいて、前記物体に投影された前記像が実寸長を有するように、前記投影手段による前記像の投影を制御する投影制御手段と、を備えることを特徴とする電子機器。
2. 前記像は、実寸長の間隔の目盛りを有するスケール画像であることを特徴とする請求項１に記載の電子機器。
3. 前記像は、あらかじめ設定された実寸長を有する線分または図形であることを特徴とする請求項１に記載の電子機器。
4. 前記あらかじめ設定された実寸長をユーザに設定させる設定手段をさらに備えることを特徴とする請求項３に記載の電子機器。
5. 前記測定手段は、前記物体に向けて発する光または音の信号に基づいて前記物体までの距離を算出することを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
6. 前記物体を被写体として撮像する撮像手段をさらに備え、
   前記測定手段は、前記撮像手段の出力に基づいて、前記被写体までの距離を算出することを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
7. 前記投影制御手段は、前記被写体の輝度、色、エッジ量の少なくとも一つに基づいて、前記投影手段による像の投影形態を制御することを特徴とする請求項６に記載の電子機器。
8. 前記投影制御手段は、前記被写体の輝度、色、エッジ量の少なくとも一つに基づいて前記投影手段による像の投影を実行するか否かを制御することを特徴とする請求項６または７に記載の電子機器。
9. 前記投影制御手段は、前記被写体の輝度が大きいほど前記像の輝度を下げるように制御することを特徴とする請求項７に記載の電子機器。
10. 前記投影制御手段は、前記被写体の色と所定以上の差を有する色で前記像を投影するように制御することを特徴とする請求項７に記載の電子機器。
11. 前記投影制御手段は、前記被写体のエッジ量が所定量より小さい場合は、前記像の投影を行わないか、あるいは前記被写体のエッジ量が前記所定量以上である場合とは異なる投影形態で前記像を投影するように制御することを特徴とする請求項７または８に記載の電子機器。
12. 前記投影制御手段は、前記測定手段により測定された前記物体までの距離が所定値より大きい場合は、前記像の投影を行わないか、あるいは前記物体までの距離が前記所定値以下である場合とは異なる投影形態で前記像を投影することを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
13. 前記投影制御手段は、前記物体の前記像を投影することが可能な複数の領域について前記測定手段が測定した距離の変化度合いを取得し、前記変化度合いが所定より小さい領域に前記像を投影するように制御することを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
14. 前記撮像手段のフォーカスを自動的に調整する調整手段をさらに備え、
    前記投影制御手段は、前記調整手段によるフォーカス動作が完了していない場合は前記像の投影を行わない、あるいは、前記フォーカス動作が完了している場合とは異なる形態で前記像を投影するように制御することを特徴とする請求項６乃至１１のいずれか１項に記載の電子機器。
15. 前記投影制御手段は、ユーザが手動によりフォーカスを調整するモードが選択されている間は前記像の投影を行うことを特徴とする請求項１４に記載の電子機器。
16. 環境の明るさを測定する測光手段をさらに備え、
    前記投影制御手段は、前記測光手段により測定された環境の明るさが所定値より小さいか否かに応じて、前記像の投影を行うか否かを決定することを特徴とする請求項１乃至１５のいずれか１項に記載の電子機器。
17. 像を投影する投影手段と、物体までの距離を測定する測定手段とを備える電子機器の制御方法であって、
    前記測定手段により前記物体までの距離を測定する測定工程と、
    前記測定工程により測定された前記物体までの距離に基づいて、前記物体に投影された前記像が所定の実寸長を有するように前記投影手段による投影を制御する投影制御工程と、を備えることを特徴とする制御方法。
18. コンピュータを、請求項１乃至１６のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。