JP2010062726A - 撮像位置決定補助装置、撮像位置決定補助方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】暗幕やルーバーなどの遮光設備の設置を要することなく、照明や外光が写り込むことを抑止すること。
【解決手段】被写体に写り込む光源が位置する方向から被写体を撮像した場合に撮像画像上に形成される被写体の輪郭の形状を記憶する輪郭形状記憶部を備え、撮像された画像を入力し、撮像された画像上に、輪郭形状記憶部に記憶される被写体の輪郭の形状を表す線を合成し、合成された画像を表示装置に出力することによって表示装置に表示させる。
【選択図】図１

Description

本発明は、撮像装置の位置を決定する際の補助を行う撮像位置決定補助装置、撮像位置決定補助方法、及びコンピュータプログラムに関するものであり、特に被写体に光源が写り込む環境において撮像装置の位置を決定する際の補助を行う撮像位置決定補助装置、撮像位置決定補助方法、及びコンピュータプログラムに関する。

従来、撮像装置で被写体を撮像し、撮像した画像に基づいて被写体の検査を行う場合、照明や外光が被写体に写り込むことによって、検査結果の誤りを引き起こすという問題があった。
このような問題に対し、被写体や撮像装置に暗幕を被せることによって照明や外光を遮光する方法が知られている。しかしながら、この方法では暗幕を固定するための機材や暗幕を設置する必要があり、多くのコストや設置時間を要してしまう。そのため、暗幕の設置を必要としない他の方法の実現が要求されている。

このような要求に対し、特許文献１には、写り込み防止用のルーバー（Louver）を照明に取り付ける技術が開示されている。この技術は、照明にルーバーを取り付けることによって、照明が被写体に写り込むことを防止する。
また、特許文献２には、照明の位置を変更することによって、被写体への照明の写り込みを回避する技術が開示されている。

また、特許文献３には、複数の角度から撮像した画像を用いて画像処理することによって写り込みを除去する技術が開示されている。具体的には、特許文献３に開示された技術では、平行移動する支持台にデジタル撮像装置を取り付けて使用者が被写体を撮像し、写り込みが生じた場合には、支持台を平行移動させて異なる角度から再び使用者が被写体を撮像する。そして、使用者は、写り込みが生じた部分の画像を、後に撮像した画像の対応部分で置換することによって、写り込みを除去する。
特開平１１−１７４５７８号公報 特開平８−３３６０６５号公報 特開２００５−１３０３２６号公報

しかしながら、特許文献１に開示された技術では、写り込み防止用のルーバーを設ける必要があるためシステム構成が複雑になり、多くのコストや設置時間を要してしまうという問題があった。また、特許文献２に開示された技術では、写り込みが生じない位置に撮像専用の照明を移動させる必要があり、照明を移動させるための駆動回路が必要であるため、装置が複雑になってしまうという問題があった。また、特許文献３に開示された技術では、写り込みが発生した場合には被写体が静止した状態で複数回撮像を行う必要がある。そのため、リアルタイムに撮像を行うことが困難であるとともに、動画像が再生されているディスプレイのように被写体の映像が時間変化する場合には撮像することができないという問題があった。

本発明は、上記事情を鑑みてなされたものであり、暗幕やルーバーなどの遮光設備の設置を要することなく、照明や外光が写り込むことを抑止する撮像装置位置決定装置及び撮像装置位置決定補助方法を提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様による撮像位置決定補助装置は、被写体に写り込む光源が位置する方向から前記被写体を撮像した場合に撮像画像上に形成される前記被写体の輪郭の形状を記憶する輪郭形状記憶部と、撮像された画像を入力する撮像画像入力部と、前記撮像された画像上に、前記輪郭形状記憶部に記憶される前記被写体の輪郭の形状を表す線を合成する画像合成部と、前記画像合成部によって合成された画像を表示装置に出力する画像出力部と、を備える。

［２］また、本発明の一態様は、上記の撮像位置決定補助装置であって、前記被写体はディスプレイ装置の画像表示部分であり、前記被写体の輪郭の形状は、対向する二辺が略平行の略台形であることを特徴とする。

［３］また、本発明の一態様は、上記の撮像位置決定補助装置であって、前記光源の写り込みの有無を判断するための閾値を記憶する閾値記憶部と、前記撮像された画像上の前記被写体の輪郭の内側部分の画素値を算出し、算出された画素値が前記閾値よりも高い場合には写り込みが発生していると判定し、算出された画素値が前記閾値よりも低い場合には写り込みが発生していないと判定する写りこみ判定部と、前記写り込み判定部の判定結果を使用者に報知する報知部と、をさらに備えることを特徴とする。

［４］また、本発明の一態様は、上記の撮像位置決定補助装置であって、前記写りこみ判定部は、前記被写体の輪郭の内側部分の領域を複数のブロックに分割し、前記ブロックごとに算出された画素値の統計値が前記閾値よりも高い場合には写り込みが発生していると判定し、算出された画素値の統計値が前記閾値よりも低い場合には写り込みが発生していないと判定する、ことを特徴とする。

［５］また、本発明の一態様は撮像位置決定補助方法であって、被写体に写り込む光源が位置する方向から前記被写体を撮像した場合に撮像画像上に形成される前記被写体の輪郭の形状を記憶する輪郭形状記憶部を備える撮像位置決定補助装置が、撮像された画像を入力する撮像画像入力ステップと、前記撮像位置決定補助装置が、前記撮像された画像上に、前記輪郭形状記憶部に記憶される前記被写体の輪郭の形状を表す線を合成する画像合成ステップと、前記撮像位置決定補助装置が、前記画像合成ステップにおいて合成された画像を表示装置に出力する画像出力ステップと、を含む。

［６］また、本発明の一態様は、コンピュータプログラムであって、被写体に写り込む光源が位置する方向から前記被写体を撮像した場合に撮像画像上に形成される前記被写体の輪郭の形状を記憶する輪郭形状記憶部を備えるコンピュータに対し、撮像された画像を入力する撮像画像入力ステップと、前記撮像された画像上に、前記輪郭形状記憶部に記憶される前記被写体の輪郭の形状を表す線を合成する画像合成ステップと、前記画像合成ステップにおいて合成された画像を表示装置に出力する画像出力ステップと、を実行させるためのものである。

本発明の一態様によれば、表示装置に出力される合成画像上に、撮像装置によって撮像されている撮像画像と、輪郭形状記憶部に記憶される輪郭形状を表す線とが表される。このとき、合成画像上に表される輪郭形状は、被写体に写り込む光源が位置する方向から被写体を撮像した場合に撮像画像上に形成される被写体の輪郭の形状である。そのため、合成画像上でこの輪郭形状の線と被写体の輪郭とを一致させた場合には、撮像装置の位置が、被写体に写り込む光源が位置する方向から被写体を撮像する位置となる。被写体に写り込む光源が位置する方向から被写体を撮像することによって、光源から発せられて被写体上で鏡面反射する光が撮像装置に入射することを抑止することができる。従って、本発明の一態様によれば、使用者が合成画像を参照し、合成画像上で輪郭形状の線と被写体の輪郭とを一致させるように撮像装置の位置を調整することにより、使用者は容易に被写体への写り込みを抑止することが可能となる。
即ち、本発明により、暗幕やルーバーなどの遮光設備の設置を要することなく、照明や外光が写り込むことを抑止することが可能となる。

［システム構成］
図１は、本発明の撮像位置決定補助システム１００の全体構成を示すシステム構成図である。撮像位置決定補助システム１００は、テレビジョン受像装置（以下、「テレビ」という。）２０及び室内照明３０（光源）が設置された環境に配置される。テレビ２０の画像表示部分（被写体）は、室内照明３０が発する光を鏡面反射する。

撮像位置決定補助システム１００は、テレビ２０の画像表示部分を被写体として撮像する撮像装置１１０、撮像装置１１０の位置を固定するスタンド１２０、撮像装置１１０の位置の決定に関して使用者を補助する撮像位置決定補助装置１３０、使用者が撮像位置決定補助装置１３０へ指示を行うためのキーボードやマウス等の入力装置１４０、撮像位置決定補助装置１３０から出力される画像を表示する画像表示装置１５０を含む。

図２及び図３は、テレビ２０の画像表示部分の鏡面反射の概要を表す概要図である。図２が表す例では、室内照明３０の光が、テレビ２０の画像表示部分によって鏡面反射され、撮像装置１１０に入射する。そのため、撮像装置１１０が撮像した画像では、被写体であるテレビ２０の画像表示部分に室内照明３０の光の写り込みが発生してしまう。

一方、図３が表す例では、図２が表す例に比べてスタンド１２０の高さが高く、撮像装置１１０の位置が室内照明３０に近い。そのため、図３が表す例では、図２が表す例と異なり、室内照明３０が位置する方向から撮像装置１１０がテレビ２０を撮像する。この場合、テレビ２０の画像表示部分によって鏡面反射した室内照明３０の光は撮像装置１１０に入射しないため、撮像装置１１０が撮像した画像において室内照明３０の光の写り込みが発生しない。

このように、被写体（テレビ２０の画像表示部分）に写り込む光源（室内照明３０）が位置する方向から被写体を撮像することによって、被写体に光源が写り込むことを抑止することが可能となる。撮像位置決定補助装置１３０は、被写体に写り込む光源が位置する方向から被写体を撮像した場合に撮像画像上に形成される被写体の輪郭の形状を、撮像装置１１０によって撮像された画像とともに画像表示装置１５０に表示することによって、写り込みが発生しにくい位置に撮像装置１１０の位置を使用者が決定する作業を補助する。

［第一の実施形態］
次に、撮像位置決定補助システム１００に含まれる撮像位置決定補助装置１３０の第一実施形態の機能構成について説明する。図４は、第一実施形態の撮像位置決定補助装置１３０の機能構成を表す概略ブロック図である。撮像位置決定補助装置１３０は、撮像画像入力部１３１、輪郭形状記憶部１３２、画像合成部１３３、及び合成画像出力部１３４を備える。

撮像画像入力部１３１は、撮像装置１１０が撮像した画像の画像データを撮像位置決定補助装置１３０に入力する。

輪郭形状記憶部１３２は、予め使用者によって登録された輪郭形状を記憶する。輪郭形状は、上述したような、被写体に写り込む光源が位置する方向から被写体を撮像した場合に撮像画像上に形成される被写体の輪郭の形状である。図５は、輪郭形状記憶部１３２が記憶する輪郭形状１３２１の概要を表す概要図である。図５に表す輪郭形状１３２１の具体例は、図３に示すように上方に設置された室内照明３０の位置する方向から撮像装置１１０がテレビ２０を撮像した場合に、撮像画像上に形成されるテレビ２０の画像表示部分の輪郭の形状を現す。この場合、輪郭形状１３２１は上辺と下辺とが略平行である略台形であり、上辺よりも下辺の方が短い。即ち、光源が被写体よりも上方にある場合は、輪郭形状１３２１は被写体を上方から撮像した場合の輪郭の形状となる。テレビ２０の画像表示部分のように長方形である場合であって、且つ光源が被写体よりも上方に有る場合は、輪郭形状１３２１の具体的な形状は、上辺と下辺とが略平行であり上辺よりも下辺の方が短い略台形である。

以上のように、輪郭形状記憶部１３２が記憶する輪郭形状１３２１は、被写体の形状と、被写体及び光源の相対的な位置関係とに基づいて決定できる。従って、輪郭形状１３２１は、被写体に写り込む光源が位置する方向から被写体を予め実際に撮像し、その画像から被写体の輪郭を抽出することによって生成されても良い。また、被写体及び光源の相対的な位置関係に基づいて撮像位置と撮像方向を決定し、その撮像位置及び撮像方向から決定される撮像平面に、被写体の輪郭の形状を写像することによって、輪郭形状が生成されても良い。また、輪郭形状は単に対向する２辺が略平行である略台形として輪郭形状が設定されても良い。この場合、例えば、対向する２辺の長さの比率は、１０対９〜９．５程度に設計しても良いし、対向する２辺は上下の辺であっても左右の辺であっても良い。

画像合成部１３３は、輪郭形状記憶部１３２に記憶される輪郭形状１３２１を表す線を、撮像画像入力部１３１によって入力される撮像画像上に合成することによって、合成画像を生成する。

合成画像出力部１３４は、画像合成部１３３によって生成された合成画像を画像表示装置１５０に出力し、表示させる。

図６は、撮像位置決定補助システム１００全体の処理手順を表すフローチャートである。図示するように、まず撮像装置１１０が被写体であるテレビ２０の画像表示部分を撮像する（ステップＳ６０１）。次に、撮像画像入力部１３１が、撮像装置１１０によって撮像された撮像画像を撮像位置決定補助装置１３０に入力する（ステップＳ６０２）。次に、画像合成部１３３が、輪郭形状記憶部１３２から輪郭形状１３２１を読み出し、撮像画像入力部１３１から入力される撮像画像上に輪郭形状１３２１を表す線を合成し合成画像を生成する（ステップＳ６０３）。次に、合成画像出力部１３４は、画像合成部１３３によって生成された合成画像を画像表示装置１５０に出力する（ステップＳ６０４）。そして、画像表示装置１５０は、撮像位置決定補助装置１３０から出力された合成画像を表示する（ステップＳ６０５）。

図７は、画像合成部１３３によって生成され画像表示装置１５０に表示される合成画像の概要を表す概要図である。図７において、符号アは輪郭形状１３２１を表す線を示し、符号イは撮像装置１１０によって撮像された撮像画像上のテレビ２０を示す。使用者は、画像表示装置１５０に表示された合成画像を参照しながらスタンド１２０を操作することによって撮像装置１１０の位置を調整し、テレビ２０の画像表示部分が輪郭形状１３２１を表す領域内に収める。テレビ２０の画像表示部分が輪郭形状１３２１を表す領域内に収まった時点で、撮像装置１１０の位置は、写り込みが発生しにくい位置となっている。このように、撮像位置決定補助システム１００や撮像位置決定補助装置１３０によれば、暗幕やルーバーなどの遮光設備の設置を要することなく、使用者が照明や外光の写り込みの発生を容易に抑止することが可能となる。更に、撮像位置決定補助システム１００や撮像位置決定補助装置１３０では、写り込みが生じない撮像位置を決定するため、従来のように写り込み発生時の撮りなおしを行う必要が無い。さらには、照明を移動させる必要がなく、従来のスタンド１２０によって撮像装置を移動させるため、装置が複雑化することや費用が増大することを抑止することができる。

＜変形例＞
画像合成部１３３は、撮像画像又は合成画像に対し、黒レベル補正、ホワイトバランス補正、γ補正などの補正を行っても良い。

また、以上の説明では、輪郭形状記憶部１３２は被写体の上方に光源が位置する場合の輪郭形状１３２１（図５参照）について説明したが、輪郭形状記憶部１３２は他の形状を有する輪郭形状１３２１を記憶しても良い。図８及び図９は、テレビ２０の横方向（左方向）に光源が位置する場合のテレビ２０の画像表示部分の鏡面反射の概要を表す概要図である。図８が表す例では、テレビ２０の左側に位置する窓４０から入射する外光が、テレビ２０の画像表示部分によって鏡面反射され、撮像装置１１０に入射する。そのため、撮像装置１１０が撮像した画像では、被写体であるテレビ２０の画像表示部分に窓４０から入射する外光の写り込みが発生してしまう。

一方、図９が表す例では、図８が表す例に比べてスタンド１２０の位置が向かって左側にずれており、撮像装置１１０の位置が窓４０に近い。そのため、図９が表す例では、図８が表す例と異なり、窓４０が位置する方向から撮像装置１１０がテレビ２０を撮像する。この場合、テレビ２０の画像表示部分によって鏡面反射した窓４０から入射する外光は撮像装置１１０に入射しない。そのため、撮像装置１１０が撮像した画像において窓４０から入射する外光の写り込みが発生しない。

図１０は、上述した撮像装置１１０の位置からテレビ２０を撮像した場合の撮像画像の概要を表す概要図である。図１０に表されるように、テレビ２０の画像表示部分の輪郭は、右辺が左辺に比べて長い矩形である。従って、テレビ２０の画像表示部分を被写体とし、被写体の左側に位置する窓４０から入射する外光の写り込みを抑止する場合は、輪郭形状記憶部１３２が記憶する輪郭矩形は右辺が左辺に比べて長い矩形である。図１１は、このような輪郭形状１３２２の具体例の概要を表す概要図である。

図１２は、図９が表す状況において画像合成部１３３によって生成され画像表示装置１５０に表示される合成画像の概要を表す概要図である。図１２において、符号アは輪郭形状１３２２を表す線を示し、符号イは撮像装置１１０によって撮像された撮像画像上のテレビ２０を示す。使用者は、画像表示装置１５０に表示された合成画像を参照しながらスタンド１２０を操作することによって撮像装置１１０の位置を調整し、テレビ２０の画像表示部分が輪郭形状１３２２を表す領域に重ねるかその内側に収める。テレビ２０の画像表示部分が輪郭形状１３２２を表す領域に重なったかその内側に収まった時点で、撮像装置１１０の位置は、窓４０から入射する外光の写り込みが発生しにくい位置となっている。

図１３は、テレビ２０の横方向（右方向）に光源が位置する場合のテレビ２０の画像表示部分の鏡面反射の概要を表す概要図である。図１３が表す例では、テレビ２０の右側に位置する窓４０から外光が入射しテレビ２０の画像表示部分で鏡面反射する。図１３が表す例では、撮像装置１１０の位置がテレビ２０の正面から右側にずれており、窓４０に近い。そのため、図１３が表す例では、窓４０が位置する方向から撮像装置１１０がテレビ２０を撮像する。この場合、テレビ２０の画像表示部分によって鏡面反射した窓４０から入射する外光は撮像装置１１０に入射しない。そのため、撮像装置１１０が撮像した画像において窓４０から入射する外光の写り込みが発生しない。

図１４は、上述した撮像装置１１０の位置からテレビ２０を撮像した場合の撮像画像の概要を表す概要図である。この場合、図１４に表されるように、テレビ２０の画像表示部分の輪郭は、左辺が右辺に比べて長い矩形である。従って、テレビ２０の画像表示部分を被写体とし、被写体の右側に位置する窓４０から入射する外光の写り込みを抑止する場合は、輪郭形状記憶部１３２が記憶する輪郭矩形は左辺が右辺に比べて長い矩形である。図１５は、このような輪郭形状１３２３の具体例の概要を表す概要図である。

図１６は、図１３が表す状況において画像合成部１３３によって生成され画像表示装置１５０に表示される合成画像の概要を表す概要図である。図１６において、符号アは輪郭形状１３２３を表す線を示し、符号イは撮像装置１１０によって撮像された撮像画像上のテレビ２０を示す。使用者は、画像表示装置１５０に表示された合成画像を参照しながらスタンド１２０を操作することによって撮像装置１１０の位置を調整し、テレビ２０の画像表示部分が輪郭形状１３２２を表す領域に重ねるかその内側に収める。テレビ２０の画像表示部分が輪郭形状１３２２を表す領域に重なったかその内側に収まった時点で、撮像装置１１０の位置は、窓４０から入射する外光の写り込みが発生しにくい位置となっている。

また、輪郭形状記憶部１３２は、複数の輪郭形状（例えば、輪郭形状１３２１、１３２２、及び１３２３）を記憶しても良い。この場合、画像合成部１３３は、使用者が入力装置１４０を操作することによって指定された輪郭形状を用いて、合成画像を生成する。具体的には、まず使用する輪郭形状を使用者が決定し、使用する輪郭形状を入力装置１４０によって使用者が指定する。次に、入力装置１４０によって指定された輪郭形状を示す識別情報が、不図示の入力装置インタフェースを介して撮像位置決定補助装置１３０に入力される。不図示の入力装置インタフェースにつながっている画像合成部１３３は、輪郭形状を示す識別情報と対応付けて輪郭形状記憶部１３２に記憶されている輪郭形状を読み出し、撮像画像に合成することによって合成画像を生成する。

［第二の実施の形態］
次に、撮像位置決定補助システム１００に含まれる撮像位置決定補助装置１３０の第二実施形態の機能構成について説明する。図１７は、第二実施形態の撮像位置決定補助装置１３０Ａの機能構成を表す概略ブロック図である。撮像位置決定補助装置１３０Ａは、第一実施形態の撮像位置決定補助装置１３０と比べて、位置判定部１３５及び報知部１３６Ａをさらに備える点で異なる。以下の説明では、撮像位置決定補助装置１３０と同じ構成には同じ符号（１３１〜１３４）を付すことによってその説明を省略する。

位置判定部１３５は、撮像画像入力部１３１によって入力された撮像画像と、輪郭形状記憶部１３２に記憶される輪郭形状とに基づいて、被写体の輪郭が輪郭形状の領域の内側に収まったか否か判断する。そして、被写体の輪郭が輪郭形状の領域の内側に収まっている場合には撮像位置が良いと判定し、被写体の輪郭が輪郭形状の領域の内側に収まっていない場合には撮像位置が悪いと判定する。

報知部１３６Ａは、位置判定部１３５によって撮像位置が良いと判定された場合には、現在の撮像装置１１０の位置で写り込みが発生しにくいことを使用者に報知する。一方、報知部１３６Ａは、位置判定部１３５によって撮像位置が悪いと判定された場合には、現在の撮像装置１１０の位置で写り込みが発生しやすいことを使用者に報知する。具体的には、画像表示装置１５０に「現在の位置で写り込みは発生しません。」というメッセージや、「写り込みが発生するので撮像装置１１０を移動させてください。」というメッセージを表示することによって、報知部１３６Ａは報知を行う。また、報知部１３６Ａは、不図示のスピーカーを介して上記メッセージを音声出力することによって報知を行っても良い。報知部１３６Ａが実際に行う報知方法は上記した方法に限定されない。

図１８は、第二実施形態における被写体の概要を表す概要図である。図１８において、符号アは輪郭形状を表す線を示し、符号イは撮像装置１１０によって撮像された撮像画像上のテレビ２０を示し、符号ウは被写体に付されたマーカーを示す。第二実施形態では、被写体はその輪郭の内側にマーカーを有する。具体的には、図１８の場合は、被写体であるテレビ２０の画像表示部分がその四隅（左上、右上、右下、左下）のそれぞれにマーカーを有する。

位置判定部１３５は、マーカーの形状や色を予め記憶し、撮像画像においてマーカーの形状や色に基づいた画像検出処理を実行することによって、撮像画像における各マーカーの座標を算出する。そして、位置判定部１３５は、各マーカーの座標が輪郭形状の領域の内側に存在するか外側に存在するか判断することによって、撮像位置についての判定を行う。

図１９は、第二実施形態の撮像位置決定補助装置１３０Ａ全体の処理手順を表すフローチャートである。なお、図６と同じ処理については、同じ符号を付して説明を省略する。図示するように、ステップＳ６０５の処理の後、位置判定部１３５が位置判定処理を実行する（ステップＳ１９０６）。

図２０は、ステップＳ１９０６の位置判定処理の処理手順を表すフローチャートである。位置判定処理が開始すると、まず被写体に付された一つのマーカーの位置を位置判定部１３５が検出する（ステップＳ２００１）。次に、位置判定部１３５が、検出されたマーカーの位置と、輪郭形状記憶部１３２に記憶される輪郭形状とを比較し、マーカーの位置が輪郭形状の領域の内側に収まっているか否か判断する（ステップＳ２００２）。マーカーの位置が輪郭形状の領域の内側でない場合（ステップＳ２００３：ＮＯ）、位置判定部１３５は撮像位置が悪いと判定し（ステップＳ２００４）、位置判定処理を終了する。

一方、マーカーの位置が輪郭形状の領域の内側である場合（ステップＳ２００３：ＹＥＳ）、位置判定部１３５は全てのマーカーについて処理が終了したか否か判断する（ステップＳ２００５）。具体的には、位置判定部１３５が予めマーカーの数を記憶しており、ステップＳ２００２の処理を行う度にカウンタをインクリメントし、マーカーの数とカウンタの数とが一致するか否かに基づいて位置判定部１３５が判断する。未処理のマーカーが残っている場合には（ステップＳ２００５：ＮＯ）、位置判定部１３５が新たなマーカーの位置を検出し（ステップＳ２００６）、ステップＳ２００２以降の処理を行う。一方、全てのマーカーについて処理が終了した場合は（ステップＳ２００５：ＹＥＳ）、位置判定部１３５は撮像位置が良いと判定し（ステップＳ２００７）、位置判定処理を終了する。

位置判定処理が終了すると、図１９のステップＳ１９０７において、位置判定処理の判定結果によって処理が分岐する。撮像位置が悪いと判定された場合（ステップＳ１９０７：ＮＯ）、報知部１３６Ａは撮像位置が悪いという内容を、画像表示装置１５０やスピーカーによって使用者に報知する（ステップＳ１９０８）。一方、撮像位置が良いと判定された場合（ステップＳ１９０７：ＹＥＳ）、報知部１３６Ａは撮像位置が良いという内容を、画像表示装置１５０やスピーカーによって使用者に報知する（ステップＳ１９０９）。

このように構成された第二実施形態の撮像位置決定補助システム１００や撮像位置決定補助装置１３０Ａによれば、被写体が輪郭形状を表す領域に収まったか否かについて使用者自身が判断する必要が無い。そのため、使用者の主観によらず客観的に撮像位置を決定することが可能となる。

［第三の実施の形態］
次に、撮像位置決定補助システム１００に含まれる撮像位置決定補助装置１３０の第三実施形態の機能構成について説明する。図２１は、第三実施形態の撮像位置決定補助装置１３０Ｂの機能構成を表す概略ブロック図である。撮像位置決定補助装置１３０Ｂは、第二実施形態の撮像位置決定補助装置１３０Ａと比べて、報知部１３６Ａに代えて報知部１３６Ｂを備える点、閾値管理部１３７と写り込み判定部１３８とをさらに備える点で異なる。以下の説明では、撮像位置決定補助装置１３０Ａと同じ構成には同じ符号（１３１〜１３５）を付すことによってその説明を省略する。

閾値管理部１３７は、閾値算出処理により、写り込み判定部１３８が写り込み発生の有無を判定する際に用いる閾値を算出し、算出された閾値を記憶する。閾値算出処理については後述する。

写り込み判定部１３８は、位置判定部１３５が『撮像位置が良い』と判定した後に、写り込み判定処理を行う。具体的には、写り込み判定部１３８は、撮像画像において輪郭形状の内側の領域の各画素の画素値を算出し、算出された画素値と閾値管理部１３７が記憶する閾値とを比較する。このとき、算出された画素値が閾値よりも高い場合には、写り込み判定部１３８は写り込みが発生していると判定する。一方、算出された画素値が閾値よりも低い場合には、写り込み判定部１３８は写り込みが発生していないと判定する。

報知部１３６Ｂは、報知部１３６Ａが行う報知に加えて、写り込み判定部１３８の判定結果についての報知も行う。具体的には、報知部１３６Ｂは、写り込み判定部１３８によって写り込みが発生していると判定された場合には、現在の撮像装置１１０の位置で写り込みが発生していることを使用者に報知する。一方、報知部１３６Ｂは、写り込み判定部１３８によって写り込みが発生していないと判定された場合には、現在の撮像装置１１０の位置で写り込みが発生していないことを使用者に報知する。具体的には、画像表示装置１５０に「現在の位置で写り込みは発生していません。」というメッセージや、「写り込みが発生しているので、他の対応をとってください。」というメッセージを表示することによって、報知部１３６Ｂは報知を行う。また、報知部１３６Ｂは、不図示のスピーカーを介して上記メッセージを音声出力することによって報知を行っても良い。報知部１３６Ｂが実際に行う報知方法は上記した方法に限定されない。

図２２は、被写体がテレビ２０の画像表示部分である場合の閾値算出処理の手順を表すフローチャートである。図示するように、まず、撮像装置１１０が、レンズ部分が蓋によって覆われた状態で撮像を行うことによって、期待値画像を生成する（ステップＳ２２０１）。次に、閾値管理部１３７が、撮像画像入力部１３１が入力した撮像画像（即ち期待値画像）の各画素の輝度信号（Ｙ０）、青色差信号（Ｃｂ０）、及び赤色差信号（Ｃｒ０）を算出することによって各画素の画素値（Ｙ，Ｃｂ，Ｃｒ）を算出し、期待値画像をＹＵＶ形式にフォーマット変換し、ＹＵＶ期待値画像を生成する（ステップＳ２２０２）。次に、撮像装置１１０が、電源が切られている状態であって写り込みが発生していないテレビ２０の画像表示部分を撮像することによって、黒画面画像を生成する（ステップＳ２２０３）。図２３は、黒画面画像の具体例、即ち電源が切られている状態のテレビ２０の画像表示部分が撮像された画像の概要を示す概要図である。このとき、輪郭形状の領域の内側が、テレビ２０の画像表示部分で満たされるように撮像装置１１０の位置が決定される。

次に、閾値管理部１３７が、黒画面画像の各画素の輝度信号（Ｙ１）、青色差信号（Ｃｂ１）、及び赤色差信号（Ｃｒ１）を算出することによって、黒画面画像をＹＵＶ形式にフォーマット変換し、ＹＵＶ黒画面画像を生成する（ステップＳ２２０４）。そして、閾値管理部１３７が、ＹＵＶ黒画面画像におけるテレビ２０の画像表示部分の各画素の各ＹＵＶ成分と、ＹＵＶ期待値画像において同じ位置の各画素の各ＹＵＶ成分との差分（Ｙ１−Ｙ０，Ｃｂ１−Ｃｂ０，Ｃｒ１−Ｃｒ０）を算出し、算出された値を各画素における閾値として記憶する（ステップＳ２２０５）。閾値は例えば、（１５０，１５０，１５０）である。

図２４は、第三実施形態の撮像位置決定補助装置１３０Ｂ全体の処理手順を表すフローチャートである。なお、図１９と同じ処理については、同じ符号を付して説明を省略する。図示するように、ステップＳ１９０６の位置判定処理において位置が良いと判定された場合（Ｓ１９０７：ＹＥＳ）、写り込み判定部１３８が写り込み判定処理を実行する（ステップＳ２４０１）。

図２５は、ステップＳ２４０１の写り込み判定処理の処理手順を表すフローチャートである。写り込み判定処理が開始すると、まず、写り込み判定部１３８が、輪郭形状の領域を複数のブロックに分割する（ステップＳ２５０１）。図２６は、輪郭形状領域のブロック分割の概要を表す概要図である。ステップＳ２５０１の処理において、写り込み判定部１３８は、予め定められた大きさのブロック（例えば、縦２０ピクセル横２０ピクセルの正方形のブロック、縦１０ピクセル横２０ピクセルの長方形のブロック）に分割する。次に、写り込み判定部１３８が、一番左上のブロックに含まれる各画素のＹＵＶ成分を算出し、各成分の平均値（以下、「ブロックの平均画素値」という。）を算出する（ステップＳ２５０２）。次に、写り込み判定部１３８が、ブロックの平均画素値と、そのブロックにおける閾値の平均値とを、成分毎に比較し、閾値の平均値が平均画素値よりも高いか否か判断する（ステップＳ２５０３）。閾値の平均値が平均画素値よりも低い場合（ステップＳ２５０４：ＮＯ）、写り込み判定部１３８は、写り込みがあると判定し（ステップＳ２５０５）、写り込み判定処理を終了する。

一方、閾値の平均値が平均画素値よりも高い場合（ステップＳ２５０４：ＹＥＳ）、写り込み判定部１３８は、全てのブロックについて処理が終了したか否か判断する（ステップＳ２５０６）。具体的には、写り込み判定部１３８がブロック分割時にブロックの個数を記憶し、ステップＳ２５０３の処理を行う度にカウンタをインクリメントし、ブロックの個数とカウンタの数とが一致するか否かに基づいて写り込み判定部１３８が判断する。未処理のブロックが残っている場合には（ステップＳ２５０６：ＮＯ）、写り込み判定部１３８が新たなブロックの平均画素値を算出し（ステップＳ２５０７）、ステップＳ２５０３以降の処理を行う。一方、全てのブロックについて処理が終了した場合は（ステップＳ２５０６：ＹＥＳ）、写り込み判定部１３８は写り込みがないと判定し（ステップＳ２５０８）、写り込み判定処理を終了する。

写り込み判定処理が終了すると、図２４のステップＳ２４０２において、写り込み判定処理の判定結果によって処理が分岐する。写り込みがあると判定された場合（ステップＳ２４０２：ＮＯ）、報知部１３６Ｂは写り込みがあるという内容を、画像表示装置１５０やスピーカーによって使用者に報知する（ステップＳ２４０３）。一方、写り込みがないと判定された場合（ステップＳ２４０２：ＹＥＳ）、報知部１３６Ｂは写り込みがないという内容を、画像表示装置１５０やスピーカーによって使用者に報知する（ステップＳ２４０４）。

このように構成された第三実施形態の撮像位置決定補助システム１００や撮像位置決定補助装置１３０Ｂによれば、使用者が画像表示装置１５０に表示される合成画像を参照し、輪郭形状を表す領域内に被写体であるテレビ２０の画像表示部分を収めた後に、写り込み判定部１３８による写り込み判定処理が実行され、その結果が報知部１３６Ｂによって報知される。従って、たとえ使用者が画像表示装置１５０に表示される合成画像を参照し、輪郭形状を表す領域内に被写体であるテレビ２０の画像表示部分を収めたとしても写り込みが発生している場合には、その旨を使用者が容易に認識することができる。その後、使用者は、入力装置１４０を操作することによって、合成画像上に表示される輪郭形状を他の輪郭形状に変更させることによって、改めて撮像位置を決定することが可能となる。

＜変形例＞
なお、上述した第三の実施形態では、閾値及び画素値に、ＹＵＶの輝度信号、青色差信号、及び赤色差信号を用いたが、これに代えて輝度信号のみを用いても良い。他にも、閾値及び画素値に、ＲＧＢ、ＣＭＹ、Ｌａｂなどの値を用いても良い。また、上述した第三の実施形態では、各ブロックの平均値を算出したが、他の統計値（例えば、最頻値、最高値、中央値など）を算出して閾値と比較をしても良い。

なお、上述した実施形態における撮像位置決定補助装置１３０、１３０Ａ、及び１３０Ｂの一部又は全部の機能をコンピュータで実現する場合、これらの装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の撮像位置決定補助システムの全体構成を示すシステム構成図である。 テレビの画像表示部分の鏡面反射の概要を表す概要図である。 テレビの画像表示部分の鏡面反射の概要を表す概要図である。 第一実施形態の撮像位置決定補助装置の機能構成を表す概略ブロック図である。 輪郭形状記憶部が記憶する輪郭形状の概要を表す概要図である。 撮像位置決定補助システム全体の処理手順を表すフローチャートである。 画像合成部によって生成され画像表示装置に表示される合成画像の概要を表す概要図である。 テレビの横方向（左方向）に光源が位置する場合のテレビの画像表示部分の鏡面反射の概要を表す概要図である。 テレビの横方向（左方向）に光源が位置する場合のテレビの画像表示部分の鏡面反射の概要を表す概要図である。 撮像装置の位置からテレビを撮像した場合の撮像画像の概要を表す概要図である。 輪郭形状の具体例の概要を表す概要図である。 画像合成部によって生成され画像表示装置に表示される合成画像の概要を表す概要図である。 テレビの横方向（右方向）に光源が位置する場合のテレビの画像表示部分の鏡面反射の概要を表す概要図である。 撮像装置の位置からテレビを撮像した場合の撮像画像の概要を表す概要図である。 輪郭形状の具体例の概要を表す概要図である。 画像合成部によって生成され画像表示装置に表示される合成画像の概要を表す概要図である。 第二実施形態の撮像位置決定補助装置の機能構成を表す概略ブロック図である。 第二実施形態における被写体の概要を表す概要図である。 第二実施形態の撮像位置決定補助装置全体の処理手順を表すフローチャートである。 位置判定処理の処理手順を表すフローチャートである。 第三実施形態の撮像位置決定補助装置の機能構成を表す概略ブロック図である。 被写体がテレビの画像表示部分である場合の閾値算出処理の手順を表すフローチャートである。 黒画面画像の具体例、即ち電源が切られている状態のテレビの画像表示部分が撮像された画像の概要を示す概要図である。 第三実施形態の撮像位置決定補助装置全体の処理手順を表すフローチャートである。 写り込み判定処理の処理手順を表すフローチャートである。 輪郭形状領域のブロック分割の概要を表す概要図である。

符号の説明

２０…テレビ， ３０…室内照明， ４０…窓， １００…撮像位置決定補助システム， １１０…撮像装置， １２０…スタンド， １３０…撮像位置決定補助装置， １４０…入力装置， １５０…画像表示装置， １３１…撮像画像入力部， １３２…輪郭形状記憶部， １３３…画像合成部， １３４…合成画像出力部， １３５…位置判定部， １３６Ａ，１３６Ｂ…報知部， １３７…閾値管理部， １３８…写り込み判定部

Claims (6)

1. 被写体に写り込む光源が位置する方向から前記被写体を撮像した場合に撮像画像上に形成される前記被写体の輪郭の形状を記憶する輪郭形状記憶部と、
   撮像された画像を入力する撮像画像入力部と、
   前記撮像された画像上に、前記輪郭形状記憶部に記憶される前記被写体の輪郭の形状を表す線を合成する画像合成部と、
   前記画像合成部によって合成された画像を表示装置に出力する画像出力部と、
   を備える、撮像位置決定補助装置。
2. 前記被写体はディスプレイ装置の画像表示部分であり、
   前記被写体の輪郭の形状は、対向する二辺が略平行の略台形である、
   請求項１に記載の撮像位置決定補助装置。
3. 前記光源の写り込みの有無を判断するための閾値を記憶する閾値記憶部と、
   前記撮像された画像上の前記被写体の輪郭の内側部分の画素値を算出し、算出された画素値が前記閾値よりも高い場合には写り込みが発生していると判定し、算出された画素値が前記閾値よりも低い場合には写り込みが発生していないと判定する写りこみ判定部と、
   前記写り込み判定部の判定結果を使用者に報知する報知部と、
   をさらに備える、請求項１又は２に記載の撮像位置決定補助装置。
4. 前記写りこみ判定部は、前記被写体の輪郭の内側部分の領域を複数のブロックに分割し、前記ブロックごとに算出された画素値の統計値が前記閾値よりも高い場合には写り込みが発生していると判定し、算出された画素値の統計値が前記閾値よりも低い場合には写り込みが発生していないと判定する、請求項３に記載の撮像位置決定補助装置。
5. 被写体に写り込む光源が位置する方向から前記被写体を撮像した場合に撮像画像上に形成される前記被写体の輪郭の形状を記憶する輪郭形状記憶部を備える撮像位置決定補助装置が、撮像された画像を入力する撮像画像入力ステップと、
   前記撮像位置決定補助装置が、前記撮像された画像上に、前記輪郭形状記憶部に記憶される前記被写体の輪郭の形状を表す線を合成する画像合成ステップと、
   前記撮像位置決定補助装置が、前記画像合成ステップにおいて合成された画像を表示装置に出力する画像出力ステップと、
   を含む撮像位置決定補助方法。
6. 被写体に写り込む光源が位置する方向から前記被写体を撮像した場合に撮像画像上に形成される前記被写体の輪郭の形状を記憶する輪郭形状記憶部を備えるコンピュータに対し、
   撮像された画像を入力する撮像画像入力ステップと、
   前記撮像された画像上に、前記輪郭形状記憶部に記憶される前記被写体の輪郭の形状を表す線を合成する画像合成ステップと、
   前記画像合成ステップにおいて合成された画像を表示装置に出力する画像出力ステップと、
   を実行させるためのコンピュータプログラム。

Images