JP2004325824A - 焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP2004325824A JP2004325824A JP2003120950A JP2003120950A JP2004325824A JP 2004325824 A JP2004325824 A JP 2004325824A JP 2003120950 A JP2003120950 A JP 2003120950A JP 2003120950 A JP2003120950 A JP 2003120950A JP 2004325824 A JP2004325824 A JP 2004325824A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- imaging
- processing
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Circuits (AREA)
Abstract
【課題】正確なフォーカス制御を実現させる。
【解決手段】ユーザがフォーカス位置選択部１３を操作して、光ビーコン２−１乃至２−Ｎを選択する。グループ内要素抽出部１５は、フォーカス選択部１３からの信号に基づいて、選択された光ビーコン２のグループ識別情報を抽出し、同一のグループ識別情報を有する光ビーコンの画像上の位置をグループ情報記憶部１４から抽出し、距離測定位置計算部１６に出力する。距離測定位置計算部１６は、選択された光ビーコン２までの距離を求めるための距離を測定する位置を決定し、距離測定部１７に供給する。距離測定部１７は、測定位置までの距離を計算し、計算結果をフォーカス制御部１９に供給する。フォーカス制御部１９は、この測定位置までの距離に基づいて、光学ユニット１１ａを制御して、フォーカスを制御する。本発明は、画像合成装置に適用することが可能である。
【選択図】 図１
【解決手段】ユーザがフォーカス位置選択部１３を操作して、光ビーコン２−１乃至２−Ｎを選択する。グループ内要素抽出部１５は、フォーカス選択部１３からの信号に基づいて、選択された光ビーコン２のグループ識別情報を抽出し、同一のグループ識別情報を有する光ビーコンの画像上の位置をグループ情報記憶部１４から抽出し、距離測定位置計算部１６に出力する。距離測定位置計算部１６は、選択された光ビーコン２までの距離を求めるための距離を測定する位置を決定し、距離測定部１７に供給する。距離測定部１７は、測定位置までの距離を計算し、計算結果をフォーカス制御部１９に供給する。フォーカス制御部１９は、この測定位置までの距離に基づいて、光学ユニット１１ａを制御して、フォーカスを制御する。本発明は、画像合成装置に適用することが可能である。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、精度の高いフォーカス制御を実現することにより違和感の無い合成画像を生成できるようにした焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、ビデオカメラやスチルカメラなど、オートフォーカス技術が幅広く使われるようになってきている。オートフォーカスは、フォーカスを合わせる画面内の位置（測距点）に対してフォーカスを合わせるもので、オートフォーカス装置の中には、測距点として中央の一点だけではなく、画面内の複数の点を選択できる装置もある。複数の測距点の中から一つを選択する方法としては、オートフォーカス装置が自動で一点を選択する、または、ユーザが指定した測距点を選択する、といったものが一般的であるが、画像上の任意の位置を測距点としてユーザが指定できる技術（例えば、特許文献１参照）、フォーカスを合わせたときに測距点上にあった対象を追跡して、対象にフォーカスを合わせ続ける技術（例えば、特許文献２参照）などもある。
【０００３】
一方、３次元ＣＧを実写映像上に合成して、現実空間と仮想空間との融合を目的とした、いわゆるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する技術が提案されてきている。特に、実空間内の平面上に配置された点滅する光ビーコン（点滅によりＩＤを発する）を３乃至４個観測し、ＩＤとカメラとの位置関係を求め、あたかもＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などの仮想的３次元物体が実世界上に配置されているかのように見せる技術や、２次元映像をあたかも実世界の物体上に表示しているかのように見せる技術などが提案されている。
【０００４】
これらの画像合成技術においては、合成の背景となる実写画像である合成元画像と、ＣＧや別の実写画像である合成元画像とが、いずれも焦点の合った画像であることを前堤としている。従って、もし、片方の合成元画像の焦点が外れているとすると、それらを合成した際に得られる合成結果画像は、不自然な違和感のある画像となってしまうという問題があった。
【０００５】
この問題に対し、焦点が外れてぼけている画像に対しては、上記のオートフォーカス技術やマニュアルフォーカスによってカメラの焦点をあわせることにより、対象をボケない画像にして、実写画像の焦点を合わせることで、合成画像共々焦点の合った画像を合成するという方法や、絞りを絞るなどして、被写界深度（被写体となる空間の奥行き）を深くすることでぼけの少ない実写画像を得るといった方法が一般的である。
【０００６】
また、合成する画像の各画素に対応した距離情報に基づいて、合成画像をぼかすことにより、合成される両方の画像が、ともに同程度ボケることで違和感の無い、なじみの良い合成画像を生成する技術が開示されている（例えば、特許文献３参照）。
【０００７】
また、実世界の画像からステレオ手法による距離画像を取得し、注視点（則距点）付近の画像は輪郭をシャープなまま残し、注視点とは距離の異なる部分は、注視点の距離との差に応じてぼかして提示することにより、立体感のある画像を表示する技術が開示されている（例えば、特許文献４参照）。
【０００８】
【特許文献１】
特許第３２１７１６３号
【０００９】
【特許文献２】
特開平６−１６９４２５号公報
【００１０】
【特許文献３】
特許第３３６６８９４号
【００１１】
【特許文献４】
特開２０００−３５４２５７号公報、
【００１２】
【発明が解決しようとする課題】
しかしながら、既存のオートフォーカス技術においては、中央の１点ないし複数の決まった位置にある測距点にフォーカスを合わせるものが多く、実世界の光ビーコンに対して、フォーカスを合わせるということができなかった。このため、特に、３次元ＣＧや２次元映像を、その光ビーコン上（複数の光ビーコンにより構成される面上）に合成しようとする場合、則距点となる光ビーコンに対して焦点が合っていることが必須となってしまうので、則距点となっていない光ビーコンにフォーカスを合わせた画像を用いて、その他の画像を合成すると違和感のある不自然な画像となってしまうという課題があった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、実世界に配した光ビーコンに対して正確にフォーカスを合わせる事ができるようにすることで、自然な違和感の無い合成画像を生成できるようにするものである。
【００１４】
【課題を解決するための手段】
本発明の焦点制御装置は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像手段と、撮像手段により撮像された複数の送信装置のうちのいずれかを選択する選択手段と、選択手段により選択された送信装置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定する距離測定手段と、距離測定手段で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御手段とを備えることを特徴とする。
【００１５】
前記撮像手段により撮像された複数の送信装置の画像上の位置である撮像位置を検出する検出手段をさらに設けるようにさせることができ、距離測定手段には、選択手段により選択された送信装置の、検出手段により検出された撮像位置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定させるようにすることができる。
【００１６】
前記選択手段により選択された、撮像手段により撮像された複数の送信装置のうちのいずれかの送信装置に対応する２以上の送信装置の、検出手段により検出されたそれぞれの撮像位置に基づいて、画像上の対象までの距離を測定する測定位置を計算する測定位置計算手段とをさらに設けるようにさせることができ、距離測定手段には、測定位置計算手段によって計算された測定位置までの距離を、撮像手段により撮像された画像上の対象までの距離として測定させるようにすることができる。
【００１７】
前記測定位置計算手段には、選択手段により選択された、撮像手段により撮像された複数の送信装置のうちのいずれかの送信装置に対応する２以上の送信装置の、検出手段により検出された複数の送信装置の撮像位置の重心位置を測定位置として計算させるようにすることができる。
【００１８】
前記複数の送信装置の空間内の位置情報を記憶する送信装置位置情報記憶手段をさらに設けるようにさせることができ、測定位置計算手段には、選択手段により選択された送信装置に基づく２以上の送信装置の撮像位置、および、送信装置位置情報記憶手段に記憶された、選択手段により選択された送信装置に基づいた２以上の送信装置の空間内の位置情報に基づいて測定位置を計算させるようにすることができる。
【００１９】
前記複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、データ取得手段により取得されたデータを解析し、それぞれの送信装置の空間内の位置情報を抽出するデータ解析手段とをさらに設けるようにさせることができ、送信装置位置情報記憶手段には、データ解析手段により抽出された複数の送信装置の空間内の位置情報を記憶させるようにすることができる。
【００２０】
前記撮像手段により撮像された送信装置の画像上の撮像位置を、送信装置の属するグループの情報と共に記憶するグループ情報記憶手段と、選択手段によって選択された送信装置のグループに属する送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置をグループ情報記憶手段より抽出するグループ内要素抽出手段とをさらに設けるようにさせることができ、測定位置計算手段には、選択手段によって選択された送信装置のグループに属する複数の送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置、および、送信装置位置情報記憶手段に記憶された、複数の送信装置の空間内の位置情報に基づいて測定位置を計算させるようにすることができる。
【００２１】
前記撮像手段により撮像された、複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、データ取得手段により取得されたデータを解析し、それぞれの送信装置の属するグループの情報を抽出するデータ解析手段とをさらに設けるようにさせることができ、グループ情報記憶手段には、撮像手段により撮像された送信装置の画像上の撮像位置を、データ解析手段により抽出された送信装置の属するグループの情報と共に記憶させるようにすることができる。
【００２２】
本発明の撮像装置は、請求項１に記載の焦点制御装置を備えることを特徴とする。
【００２３】
本発明の焦点制御方法は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する選択ステップと、選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行うフォーカス制御ステップとを含むことを特徴とする。
【００２４】
本発明の第１の記録媒体のプログラムは、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する選択ステップと、選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行うフォーカス制御ステップとを含むことを特徴とする。
【００２５】
本発明の第１のプログラムは、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する選択ステップと、選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行うフォーカス制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２６】
本発明の画像処理装置は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像手段と、撮像手段により撮像された複数の送信装置のうちのいずれかを選択する第１の選択手段と、第１の選択手段により選択された送信装置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定する第１の距離測定手段と、第１の距離測定手段で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御手段と、撮像手段により撮像された画像とは異なる、その他の画像を入力する画像入力手段と、画像入力手段により入力されたその他の画像を加工する加工手段と、加工手段により加工されたその他の画像と、撮像手段により撮像された画像とを合成する合成手段と、合成手段により合成された画像を表示する表示手段とを備えることを特徴とする。
【００２７】
前記合成手段により合成されるその他の画像の合成位置を決定する合成位置決定手段をさらに設けるようにさせることができる。
【００２８】
前記撮像手段により撮像された複数の送信装置の画像上の位置である撮像位置を検出する検出手段をさらに設けるようにさせることができ、第１の距離測定手段には、第１の選択手段により選択された送信装置の、検出手段により検出された撮像位置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定させるようにすることができる。
【００２９】
前記第１の選択手段により選択された送信装置に基づく２以上の送信装置のそれぞれの撮像位置に基づいて、画像上の対象までの距離を測定する測定位置を計算する第１の測定位置計算手段とをさらに設けるようにさせることができ、第１の距離測定手段には、第１の測定位置計算手段によって計算された測定位置までの距離を、撮像手段により撮像された画像上の対象までの距離として測定させるようにすることができる。
【００３０】
前記第１の測定位置計算手段には、複数の送信装置の、検出手段により検出された複数の送信装置の撮像位置の重心位置を測定位置として計算させるようにすることができる。
【００３１】
前記複数の送信装置の空間内の位置情報を記憶する送信装置位置情報記憶手段をさらに設けるようにさせることができ、第１の測定位置計算手段には、２以上の送信装置の、検出手段により検出された複数の送信装置の撮像位置、および、送信装置位置情報記憶手段に記憶された、複数の送信装置の空間内の位置情報に基づいて測定位置を計算させるようにすることができる。
【００３２】
前記撮像手段により撮像された、複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、データ取得手段により取得されたデータを解析し、それぞれの送信装置の空間内の位置情報を抽出するデータ解析手段とをさらに設けるようにさせることができ、送信装置位置情報記憶手段には、データ解析手段により抽出された複数の送信装置の空間内の位置情報を記憶させるようにすることができる。
【００３３】
前記撮像手段により撮像された送信装置の画像上の撮像位置を、送信装置の属するグループの情報と共に記憶するグループ情報記憶手段と、第１の選択手段によって選択された送信装置のグループに属する送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置をグループ情報記憶手段より抽出するグループ内要素抽出手段とをさらに設けるようにさせることができ、第１の測定位置計算手段には、第１の選択手段によって選択された送信装置のグループに属する複数の送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置、および、送信装置位置情報記憶手段に記憶された、複数の送信装置の空間内の位置情報に基づいて測定位置を計算させるようにすることができる。
【００３４】
前記撮像手段により撮像された、複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、データ取得手段により取得されたデータを解析し、それぞれの送信装置の属するグループの情報を抽出するデータ解析手段とをさらに設けるようにさせることができ、グループ情報記憶手段には、撮像手段により撮像された送信装置の画像上の撮像位置を、データ解析手段により抽出された送信装置の属するグループの情報と共に記憶させるようにすることができる。
【００３５】
前記撮像手段により撮像された複数の送信装置のうちのいずれかを選択する第２の選択手段をさらに設けるようにさせることができ、グループ内要素抽出手段には、第２の選択手段によって選択された送信装置のグループに属する送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置もグループ情報記憶手段より抽出させるようにすることができる。
【００３６】
前記第２の選択手段によって選択された送信装置のグループに属する複数の送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置、および、送信装置位置情報記憶手段に記憶された、複数の送信装置の空間内の位置情報に基づいてその他の画像が合成される位置を計算する第２の測定位置計算手段と、その他の画像が合成される位置までの距離を測定する第２の距離測定手段と、第１の距離測定手段により測定された距離と、第２の距離測定手段により測定された距離との差分を計算する差分計算手段とをさらに設けるようにさせることができ、加工手段には、差分計算手段により計算された差分に基づいて、画像入力手段により入力されたその他の画像を加工させるようにすることができる。
【００３７】
前記加工手段には、差分計算手段により計算された差分に基づいて、画像入力手段により入力されたその他の画像をぼかし加工させるようにすることができる。
【００３８】
本発明の画像処理方法は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する第１の選択ステップと、第１の選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、第１の距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御ステップと、撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、画像入力ステップの処理で入力されたその他の画像を加工する加工ステップと、加工ステップの処理で加工されたその他の画像と、撮像ステップの処理で撮像された画像とを合成する合成ステップと、合成ステップの処理で合成された画像を表示する表示ステップとを含むことを特徴とする。
【００３９】
本発明の第２の記録媒体のプログラムは、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する第１の選択ステップと、第１の選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、第１の距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御ステップと、撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、画像入力ステップの処理で入力されたその他の画像を加工する加工ステップと、加工ステップの処理で加工されたその他の画像と、撮像ステップの処理で撮像された画像とを合成する合成ステップと、合成ステップの処理で合成された画像を表示する表示ステップとを含むことを特徴とする。
【００４０】
本発明の第２のプログラムは、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する第１の選択ステップと、第１の選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、第１の距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御ステップと、撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、画像入力ステップの処理で入力されたその他の画像を加工する加工ステップと、加工ステップの処理で加工されたその他の画像と、撮像ステップの処理で撮像された画像とを合成する合成ステップと、合成ステップの処理で合成された画像を表示する表示ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００４１】
本発明の焦点制御装置および方法、並びに第１のプログラムにおいては、所定の点滅パターンで発光し、データを送信する複数の送信装置が撮像され、撮像された複数の送信装置のうちのいずれかが選択され、選択された送信装置に基づいて、撮像された画像上の対象までの距離が測定され、測定された距離に基づいて、焦点を合わせる制御が行われる。
【００４２】
本発明の画像処理装置および方法、並びに第２のプログラムにおいては、所定の点滅パターンで発光し、データを送信する複数の送信装置が撮像され、撮像された複数の送信装置のうちのいずれかが選択され、選択された送信装置に基づいて、撮像された画像上の対象までの距離が測定され、測定された距離に基づいて、焦点を合わせる制御が行われ、撮像された画像とは異なる、その他の画像が入力され、入力されたその他の画像が加工され、加工されたその他の画像と、撮像された画像とが合成され、合成された画像が表示される。
【００４３】
本発明の焦点制御装置、または、画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００４４】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４５】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００４６】
即ち、本発明の焦点制御装置は、所定の点滅パターンで発光し、データを送信する複数の送信装置（例えば、図１の光ビーコン２−１乃至２−Ｎ）を撮像する撮像手段（例えば、図１のＩＤ認識カメラ１１）と、撮像手段により撮像された複数の送信装置のうちのいずれかを選択する選択手段（例えば、図１のフォーカス位置選択部１３）と、選択手段により選択された送信装置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定する距離測定手段（例えば、図１の距離測定部１７）と、距離測定手段で測定された距離に基づいて、焦点を合わせるようにする制御する焦点制御手段（例えば、図１のフォーカス制御部１９）とを備えることを特徴とする。
【００４７】
本発明の焦点制御相方法は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップ（例えば、図１１のステップＳ１の処理）と、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する選択ステップ（例えば、図１１のステップＳ３，Ｓ４の処理）と、選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップ（例えば、図１１のステップＳ７の処理）と、距離測定ステップの処理で測定された距離に基づいて、焦点を合わせるようにする制御するフォーカス制御ステップ（例えば、図１１のステップＳ８の処理）とを含むことを特徴とする。
【００４８】
本発明の画像処理装置は、所定の点滅パターンで発光し、データを送信する複数の送信装置（例えば、図１４の光ビーコン２−１乃至２−８）を撮像する撮像手段（例えば、図１４のＩＤ認識カメラ２２１）と、撮像手段により撮像された複数の送信装置のうちのいずれかを選択する第１の選択手段（例えば、図１４のフォーカス位置選択部２２３）と、第１の選択手段により選択された送信装置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定する第１の距離測定手段（例えば、図１４の距離測定部２２７）と、第１の距離測定手段で測定された距離に基づいて、焦点を合わせるようにする制御する焦点制御手段（例えば、図１４のフォーカス制御部２２９）と、撮像手段により撮像された画像とは異なる、その他の画像を入力する画像入力手段（例えば、図１４の画像入力部２５６）と、画像入力手段により入力されたその他の画像を加工する加工手段（例えば、図１４のぼかし処理部２５７）と、加工手段により加工されたその他の画像を、撮像手段により撮像された画像に合成する合成手段（例えば、図１４の画像合成部２５９）と、合成手段により合成された画像を表示する表示手段とを備えることを特徴とする。
【００４９】
本発明の画像処理方法は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップ（図１１のフローチャートのステップＳ１の処理）と、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する第１の選択ステップ（図１１のフローチャートのステップＳ３，Ｓ４の処理）と、第１の選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップ（図１１のフローチャートのステップＳ７の処理）と、第１の距離測定ステップの処理で測定された距離に基づいて、焦点を合わせるようにする制御する焦点制御ステップ（図１１のフローチャートのステップＳ８の処理）と、撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップ（図１５のフローチャートのステップＳ４２，Ｓ４３の処理）と、画像入力ステップの処理で入力されたその他の画像を加工する加工ステップ（図１５のフローチャートのステップＳ４９の処理）と、加工ステップの処理で加工されたその他の画像を、撮像ステップの処理で撮像された画像に合成する合成ステップ（図１５のフローチャートのステップＳ５１の処理）と、合成ステップの処理で合成された画像を表示する表示ステップ（図１５のフローチャートのステップＳ５２の処理）とを含むことを特徴とする。
【００５０】
図１は、本発明を適用した撮像部１の一実施の形態の構成を示すブロック図である。
【００５１】
撮像部１は、画像を撮像すると共に、撮像した領域に光ビーコン２−１乃至２−Ｎを含む場合、光ビーコン２−１乃至２−Ｎの点滅パターンにより取得されるＩＤデータに基づいて、予め記憶されている光ビーコン２−１乃至２−Ｎの情報からフォーカスを制御する。
【００５２】
光ビーコン２−１乃至２−Ｎは、所定の発光パターンで光を発することによりデータを送信するものであり、データを送信する送信装置として機能する。このデータは、ＩＤデータと呼ばれるものであり、光ビーコン２−１乃至２−Ｎをそれぞれ識別するものであるが、転送可能なデータ量に余裕があるため、その他のデータを含めて送信することも可能である。例えば、ＩＤデータに含められるデータとしては、コンテンツデータ（画像データ、音声データ、または、テキストデータなど）、リンク先データ（ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、アドレス、ホストネームなどのデータ）、および、自らが所属するグループを識別するグループ識別データなどがあるが、これらに限るものではなく、電子データとして管理できるデータであれば含めて送信することが可能である。このように、光ビーコン２−１乃至２−４は、その発光パターンを変化させることによりＩＤデータのみならず、様々なデータを送信することができる。尚、ここでは、ＩＤデータに、各光ビーコン２−１乃至２−Ｎのそれぞれの空間内の位置を示す情報（空間内の位置を示す座標）も含まれている。
【００５３】
また、ここでいう自らが所属するグループを識別するグループ識別データとは次のようなものである。例えば、図１においては、点線で囲まれる、複数の光ビーコン２の群はグループと称され、これらのグループを識別するデータがグループ識別データとなる。したがって、今の場合、光ビーコン２−１乃至２−４は、同一のグループに属しているので、同一のグループ識別データを含んだ点滅パターンで発光する。
【００５４】
光ビーコン２−１乃至２−Ｎは、現実空間内の所定の位置に配置されている。尚、以下の説明において、光ビーコン２−１乃至２−Ｎを特に区別する必要がないとき、単に、光ビーコン２と称する。
【００５５】
撮像部１のＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）認識カメラ１１は、撮像した画像データを表示部３とＩＤ情報解析部１２に出力すると共に、撮像された光ビーコン２から発せられている発光パターンからＩＤデータと位置データを取得し、ＩＤ情報解析部１２に出力する。また、ＩＤ認識カメラ１１の光学ユニット１１ａは、複数のレンズや、それらのレンズを駆動させてフォーカス制御部１９を制御する機構を備えており、フォーカス制御部１９から供給される制御信号に基づいて、焦点位置を制御する（フォーカスを制御する）。
【００５６】
ＩＤ情報解析部１２は、ＩＤ認識カメラ１１より取得されたＩＤデータと位置データを解析して、各光ビーコン２のＩＤデータに含まれているグループ識別情報、および、各光ビーコン２に対応する撮像された画像上の撮像位置情報を、撮像された画像から求め、フォーカス位置選択部１３、および、グループ情報記憶部１４に出力すると共に、ＩＤデータに含まれている各光ビーコン２の空間上の位置情報を光ビーコン位置記憶部１８に出力する。
【００５７】
フォーカス位置選択部１３は、キーボード、マウス、タブレットボタン、または、ジョイスティックなどにより構成され、ユーザが表示部３に表示される画像をみながら、自らが焦点を合わせたい位置に存在する、または、その付近に存在する光ビーコン２を選択するとき操作される。フォーカス位置選択部１３は、ユーザによる操作内容に対応して、選択された光ビーコン２を指定する信号（選択された光ビーコンのＩＤを示す信号）を生成して、グループ内要素抽出部１５に出力する。
【００５８】
グループ情報記憶部１４は、ＩＤ情報解析部１２より供給された光ビーコン２のそれぞれを識別する情報、それぞれの光ビーコン２の所属するグループ識別情報および、撮像された画像上の位置情報を記憶する。
【００５９】
グループ内要素抽出部１５は、フォーカス位置選択部１３より供給されたユーザにより選択されている光ビーコン２のグループ識別情報と同一の全ての光ビーコン２の撮像画像上の位置情報を、グループ情報記憶部１４より抽出し、距離測定位置計算部１６に出力する。
【００６０】
距離測定位置計算部１６は、グループ内要素抽出部１５より供給されてくるユーザにより選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報に基づいて、空間内の焦点を合わせる距離測定位置、すなわち、測距点となる画像上の位置（座標）を計算し、計算により求められた距離測定位置（測距点の画像上の座標）の情報と共に、グループ内要素抽出部１５より供給されてきたユーザにより選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報を距離測定部１７に出力する。尚、距離測定位置の計算方法については後述する。
【００６１】
距離測定部１７は、距離測定位置計算部１６を介して供給されてくるユーザにより選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報（撮像された画像上の座標）と、光ビーコン位置記憶部１８に記憶されている各光ビーコン２の空間内の位置情報（空間内の座標）に基づいて、撮像部１１からフォーカス位置として選択された光ビーコン２と同一グループに属する複数の光ビーコン２から構成される面（の重心位置：距離測定位置）までの距離（フォーカス距離）を求めてフォーカス制御部１９に出力する。
【００６２】
フォーカス制御部１９は、距離測定部１７より供給されてくるフォーカス距離（焦点を合わせる位置までの距離）に基づいて、光学ユニット１１ａを制御する信号を光学ユニット１１ａに供給し、光学ユニット１１ａの焦点距離を制御する（フォーカス制御を実行する）。
【００６３】
ここで、図２を参照して、ＩＤ認識カメラ１１の詳細な構成について説明する。イメージセンサ３１の受光部４１は、撮像される対象となる撮像領域３の光を電気信号に光電変換した後、演算部４２に出力する。また、受光部４１の受光素子５１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子からなり、従来のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子よりも高速に動作することができる。より詳細には、受光素子５１が、撮像される対象となる撮像領域３の光を光電変換し、増幅器５２に出力する。増幅器５２は、受光素子５１より入力される光電変換された電気信号を増幅して、演算部４２に出力する。
【００６４】
演算部４２の記憶部６１は、受光部４１より入力された増幅されている電気信号を記憶し、適宜比較部６２に出力する。比較部６２は、記憶部６１に記憶された電気信号の値に基づいて、演算処理を行い、演算結果を所定のリファレンス値（＝基準信号レベル）と比較して、比較結果を出力部６３に出力する。出力部６３は、比較結果に基づいてセンサ出力信号を生成してデータ生成部３２に出力する。但し、演算部４２の処理内容は、画像モードとＩＤモードの２つの動作モードにより異なる。尚、この２つの異なる動作モードによる演算内容の詳細については後述する。
【００６５】
データ生成部３２の画像デコード処理部７１は、画像モードの場合、センサ出力信号をデコード処理して撮像画像を生成して、画像合成部１４に出力する。また、ＩＤモードの場合、ＩＤデコード処理部７２は、センサ出力信号をデコード処理してＩＤデータと位置データを生成し、表示位置取得部１２、リンク先データ解析部１６、およびＩＤ画像変換部２０に出力する。
【００６６】
次に、図３を参照して、画像デコード処理部７１の詳細な構成について説明する。画像デコード処理部７１の画素値決定部８１は、センサ出力信号に基づいて画素値を決定し、フレームメモリ８２の対応する画素位置に決定した画素値を記憶させる。フレームメモリ８２は、１フレーム分の画素値を記憶するメモリであり、画素位置毎に画素値を記憶する。
【００６７】
出力部８３は、フレームメモリ８２に１フレーム分の画素値が記憶されたとき、順次画像データとして読出し、出力する。
【００６８】
次に、図４を参照して、ＩＤデコード処理部７２の詳細な構成について説明する。ＩＤデコード部１０１のＩＤデコード回路１１１は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのデバイスにより構成されており、イメージセンサ３１から入力されるセンサ出力信号より各画素のＩＤデータを復元する。このＩＤデコード回路１１１は、処理能力が十分であれば、マイクロプロセッサやＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）によってソフトウェアで構成するようにしても良い。
【００６９】
フラグレジスタ１１２は、ＩＤデータをデコードするために必要なフラグ類を記憶するためのレジスタであり、データレジスタ１１３は、デコード途中またはデコードを完了したＩＤを記憶しておくためのレジスタである。
【００７０】
尚、図４においては、ＩＤデコード部１０１は、１個のみが示されているが、処理速度の要求により、例えば、各画素毎に設けるようにしてもよいし、垂直方向、または、水平方向のライン毎に設けるようにしても良い。
【００７１】
タイミング制御部１０２は、ＩＤデコード処理部７２の全体の動作に必要なタイミングを制御するタイミング制御信号を出力する。より具体的には、タイミング制御部１０２は、ＩＤデコード回路１１１とセンサ出力信号のタイミングの同期をとり、所望のセンサ出力信号に対して、対応するフレームメモリ１０３のフラグデータをフラグレジスタ１１２に、ＩＤデータをデータレジスタ１１３に、それぞれロードして、ＩＤデコード処理を進めるためのタイミング制御信号を生成し、ＩＤデコード部１０１（のＩＤデコード回路１１１、フラグレジスタ１１２、および、データレジスタ１１３）に供給する。また、このとき、タイミング制御部１０２は、フレームメモリ１０３へのアドレス信号、リードライトなどのタイミング制御信号を生成し供給する。さらに、タイミング制御部１０２は、重心計算部１０４のＩＤレジスタ１２１、および、ＩＤ重心計算回路１２２、並びに、ＩＤ座標格納メモリ１０５のタイミング制御を行うタイミング制御信号を生成して供給する。
【００７２】
フレームメモリ１０３は、受光素子５１、または演算部４２毎に演算されたセンサ出力信号がデコードされたＩＤデータとフラグデータを格納するメモリであり、イメージセンサ３１が１画素につき１個の演算部４２をもつ場合には、センサの画像サイズであるＭ画素×Ｎ画素と同じサイズとなり、データ幅はフラグレジスタ１１２とデータレジスタ１１３のビット幅の和で構成される。図４においては、各画素の位置に対応する座標が、Ｉ軸とＪ軸により示されており、それぞれの座標位置にＩＤデータとフラグデータが格納される。
【００７３】
重心計算部１０４は、同一のＩＤデータを持つ撮像画像上の画素の重心位置の座標を求め、ＩＤデータに、光ビーコン２の検出位置としての位置データ（＝光ビーコン２の撮像画像上の位置データ）を付して出力する。より詳細には、重心計算部１０４のＩＤレジスタ１２１は、タイミング制御部１０２より入力される所定のＩＤデータがデコード部１０１よりデコードされたことを示すタイミング制御信号によりフレームメモリ１０３に今記憶されたＩＤデータを読出し、ＩＤ重心計算回路１２２に出力する。ＩＤ重心計算回路１２２は、入力されたＩＤデータ毎に、対応する画素の座標位置のＩ座標とＪ座標、並びにデータの個数を順次加算してＩＤ座標格納メモリ１０５に記憶させる。また、ＩＤ重心計算回路１２２は、フレームメモリ１０３に１フレーム分のデータが格納されたとき、ＩＤ座標格納メモリ１０５よりＩＤ毎にＩ座標の和とＪ座標の和を、データの個数で割ることにより重心位置の座標を求めて、ＩＤデータと共に出力する。
【００７４】
次に、図５，図６を参照して、光ビーコン２の構成について説明する。
【００７５】
図５の光ビーコン２は、送信データ保存用メモリ１５１、点滅制御部１５２、発光部１５３から構成される。送信データ保存メモリ１５１は、予め送信するためのデータを記憶しており、適宜読み出して点滅制御部１５２に出力する。点滅制御部１５２は、発信器とＩＣ，ＡＳＩＣ，ＦＰＧＡ、ワンチップマイコンなどのデジタル回路によって構成されており、送信データ保存用メモリ１５１に記憶されたデータの内容に基づいて、点滅パターンを発生させると共に、発生された点滅パターンで発光部１５３を発光させる。発光部１５３は、高速に点滅することができる光源であれば良く、出力波長もセンサが反応する範囲であれば良い。また、発光部１５３が発する光は、可視光だけではなく、赤外域などでもよく、応答速度や、寿命の点から、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）は最適な光源の１つであるといえる。
【００７６】
また、図６は、図示せぬネットワークを介して他の装置と通信することによりデータを可変とすることが可能な光ビーコン２のその他の構成を示している。このため、図６においては、送信データ保存用メモリ１５１に替えて、データ送受信部１６１が設けられている。ここでネットワークとは、有線・無線の通信回線、例えば電話回線、ＩＳＤＮ、ＲＳ−２３２Ｃ、ＲＳ−４２２、Ｅｔｈｅｒｎｅｔ（Ｒ）（１０ｂａｓｅ−Ｔ，１００ｂａｓｅ−Ｔ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＢｌｕｅＴｏｏｔｈなどの通信手段により他の装置とデータ通信ができる環境をいう。また、データ送受信部１６１は、この通信手段に対応するデータ通信用ＩＣ及びドライバから構成されており、ネットワークを介して受信した光ビーコン２の送信データを、点滅制御部１５２に出力する。点滅制御部１５２は、送信データに基づいて、点滅パターンを発生し、データに応じた点滅パターンで発光部１５３を発光させる。
【００７７】
次に、ＩＤ認識カメラ１１の動作について説明する。
【００７８】
受光部４１の受光素子５１は、光を光電変換し、変換した電気信号を増幅部５２に出力する。増幅部５２は、電気信号を増幅して演算部４２に出力する。演算部４２の記憶部６１は、受光部４１より入力された電気信号を順次記憶して、４フレーム分の電気信号を記憶し、いっぱいになると、最も古いフレームの電気信号を消去して、最新のフレームの電気信号を記憶する処理を繰り返して、常に最新の４フレーム分の電気信号を記憶しており、その４フレーム分の電気信号を比較部６２に出力する。
【００７９】
比較部６２の動作は、画像モードとＩＤモードにより異なる。この動作モードは、例えば、図７で示すように図示せぬ制御装置により、所定の時間間隔で交互に切り替えるようにしてもよい。また、画像モードとＩＤモードがそれぞれ３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）や６０ｆｐｓといった従来のフレームレートで切り替えられるようにしても良い。さらに、ＩＤモードには、ＩＤデータをデコードするＩＤデコード処理区間と、デコードされたＩＤデータを持つ画素の座標位置としての位置データを求めるＩＤ重心計算区間がある。
【００８０】
尚、図７においては、画像モードとＩＤモードが同時間の場合を示しているが、それぞれの動作モードの時間は、同時間でも良いし、同時間でなくてもよい。また、図７の下段で示すように、各画像モードの後のタイミングでは、画像デコード処理部７１により、センサ出力信号がデコードされて撮像画像の画像データが出力され、ＩＤモードの後のタイミングで、ＩＤデコード処理部７２により、センサ出力信号がデコードされてＩＤデータと位置データが出力される。
【００８１】
まず、画像モードの場合の動作について説明する。
【００８２】
画像モードの場合、イメージセンサ３１の比較部６２は、各画素の受光部４１で検出した輝度を示す信号レベル（記憶部６１に記憶された電気信号）を、基準信号レベルと比較して、図８で示すように、基準信号レベルよりも低くなったときに、図９で示すようにアクティブになるような信号（図９中の１の信号）を出力する。
【００８３】
ここで、図８は、輝度信号レベルを示しており、図９は、センサ出力信号を示している。輝度信号レベルは、実質的に受光素子５１の充電電圧の変化を示している。受光素子５１は、所定のタイミングで充電される電圧と逆極性の所定のリセットレベルの電圧が印加され、その後のタイミングから受光素子により蓄積される電荷量に対応して電圧レベルが低下する。従って、図８においては、時刻０において蓄積される電荷は０であるので、輝度信号レベルは、リセットレベル（所定のレベル）となっている。この状態から時間が経過するに従って、電荷が蓄積されて、輝度信号レベルが低下する。今の場合、図８中のＨで示す直線が、比較的輝度信号レベルの高い（明るい）画素値として、Ｌで示す直線が、比較的輝度信号レベルの低い（暗い）画素値として示されている。
【００８４】
画素値のレベルが高い輝度信号レベルの変化Ｈは、時刻０から時間Ｔ（Ｈ）だけ経過したタイミングである時刻Ｔ（Ｈ）において、基準信号レベルに達する電荷が蓄積されていることが示されている。一方、画素値のレベルが低い輝度信号レベルの変化Ｌは、時刻０から時間Ｔ（Ｌ）だけ経過したタイミングである時刻Ｔ（Ｌ）において、基準信号レベルに達する電荷が蓄積されていることが示されている。
【００８５】
すなわち、図８で示すように、明るい画素ほど基準信号レベルに達する時間が短く（図中Ｔ（Ｈ））、暗い画素ほど基準信号レベルに達する時間（図中Ｔ（Ｌ））が長くなる（Ｔ（Ｈ）＜Ｔ（Ｌ））。比較部６２は、実際の受光部４１より出力される各画素の電気信号（輝度信号）が、前記基準信号レベルに達したかどうかの比較結果（コンパレータ出力）を図９で示すように２値のセンサ出力信号として出力する。このような処理により、イメージセンサ３１は、画像を高速に撮像して基準信号との比較演算を行い、１画面（フレーム）分の結果をセンサ出力信号として出力する。
【００８６】
さらに、画像デコード処理部７１の画素値決定部８１は、この時間Ｔ（Ｈ），Ｔ（Ｌ）を計測するために、このイメージセンサ３１が１画面単位で出力する結果を、フレーム単位でカウントし、各画素で何番目のフレームでセンサ出力信号が図９で示すようにアクティブになるかを示すセンサ出力信号をエンコードして画像データとして出力する。今の場合、センサ出力信号は、時刻Ｔ（Ｈ）が、フレーム数Ｆ（Ｈ）であり、時刻Ｔ（Ｌ）が、フレーム数Ｆ（Ｌ）である。
【００８７】
すなわち、画像モードの場合、画像デコード処理部７１の画素値決定部８１が、このセンサ出力信号を正しい明るさの値に変換するために、この基準信号に到達するまでの時間（フレーム数）の逆数を各画素毎に計算することで、センサ出力信号を画像データにデコードし、フレームメモリ８２に記憶させる。そして、１フレーム分の画像データが蓄積された時、出力部８３は、フレームメモリ８２に記憶された画素値を画像データとして順次読出して出力する。この動作により、ＩＤ認識カメラ１１は、画像モードにおいて画像データを出力することができる（詳細は、４８Ｋｆｒａｍｅｓ／ｓ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｆｏｒ Ｒｅａｌ−ｔｉｍｅ ３−Ｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｏｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ” ＩＳＳＣＣ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ， ｐｐ．９４−９５， Ｆｅｂ．２００１、または、特開２００１−３２６８５７を参照されたい）。
【００８８】
一方、動作モードがＩＤモードの場合、比較部６２は、記憶部６１に記憶されている時間的に連続する４フレーム分の電気信号を輝度信号として以下の式（１）のような演算処理を実行する。
Ｖ（Ｎ）＝Ｆ（Ｎ）＋Ｆ（Ｎ−１）−Ｆ（Ｎ−２）−Ｆ（Ｎ−３）・・・（１）
【００８９】
ここで、Ｎはフレーム番号を表し、Ｖ（Ｎ）は、Ｎフレーム目の輝度値が入力された時点での比較値を示し、Ｆ（Ｎ）はＮフレーム目の受光部４１に蓄積された輝度を示す。この演算により、光の変化を検出することができるため、その演算結果をセンサ出力信号としてデータ生成部３２に出力する。データ生成部３２は、このセンサ出力信号を用いて、後述するＩＤデコード処理を行うことで、点滅パターンからなるＩＤデータを復元し、光ビーコン２からのＩＤデータを生成することが可能となる。
【００９０】
尚、比較部６２の演算方法は、式（１）に限るものではなく、他の演算（１次微分や２値化画像の比較など）によって実現するようにしてもよいが、以下の説明においては、光変化の検出の安定性の高い、式（１）を用いて説明するものとする。
【００９１】
ここで、ＩＤデコード処理部７２の動作について説明する。
【００９２】
ＩＤデコード部１０１のＩＤデコード回路１１１は、タイミング制御部１０２からのセンサ出力信号のタイミングの同期を図るためのタイミング制御信号に基づいて、イメージセンサ３１から入力されるセンサ出力信号より各画素のＩＤデータを復元する。この際、ＩＤデコード回路１１１は、タイミング制御信号に応じて、フラグレジスタ１１２を制御して、フレームメモリ１０３にロードされたフラグデータを用いて、センサ出力信号からＩＤデータをデコードし、デコード途中またはデコードを完了したＩＤをデータレジスタ１１３に記憶させる。
【００９３】
さらに、フレームメモリ１０３は、これらのデコード処理がなされたフラグデータとＩＤデータを対応する座標位置に格納する。
【００９４】
重心計算部１０４のＩＤレジスタ１２１は、タイミング制御部１０２より入力される所定のＩＤデータがデコード部１０１よりデコードされたことを示すタイミング制御信号により、フレームメモリ１０３に今記憶されたＩＤデータの情報をＩＤ重心計算回路１２２に読み出させる。
【００９５】
ＩＤ重心計算回路１２２は、読み出したＩＤデータに対応する画素の座標位置のＩ座標とＪ座標を順次加算して、これに画素の個数の情報を付してＩＤ座標格納メモリ１０５に記憶させ、この処理を繰り返す。
【００９６】
そして、フレームメモリ１０３に１フレーム分のデータが格納されたとき、ＩＤ重心計算回路１２２は、ＩＤ座標格納メモリ１０５よりＩＤ毎にＩ座標の和とＪ座標の和を、データの個数で割ることにより重心位置の座標を位置データとして求めて、対応するＩＤデータと共に出力する。
【００９７】
以上の動作により、例えば、図１０で示すように、２個の光ビーコン２−１，２−２が、点滅しながら発光してデータを送信する場合、ＩＤ認識カメラ１１には、図１０上部に示すような現実空間上の光ビーコン２−１，２−２の物理的な位置に応じた、撮像画像上の位置の画素で光の信号を受光する。例えば、光ビーコン２−１から発せられた光が座標位置（１０，１０）の受光素子５１で受光されるものとし、光ビーコン２−２から発せられた光が座標位置（９０，９０）の受光素子５１で受光されるものとする。このとき、各受光部４１の座標位置（１０，１０）と（９０，９０）の受光素子５１では、それぞれが光ビーコン２−１と２−２の点滅パターンにより受光強度（明るさ）の時間的変化として信号を受信することができる。今の場合、座標（１０，１０）の位置データに対応する画素は、ＩＤデータとして「３２１」が、座標（９０，９０）の位置データに対応する画素は、ＩＤデータとして１０５がデコード結果として求められている。
【００９８】
結果として、この受光強度の変化を上述の式（１）などにより２値化することにより１／０のビット列からなるＩＤデータを取得する事ができる。
【００９９】
尚、図１で示される光ビーコン２と撮像部１は、相互に機能することにより撮像処理を実現させることになるので、撮像システムを構成しているとも言える。
【０１００】
次に、図１１のフローチャートを参照して、撮像部１によるフォーカス制御処理について説明する。
【０１０１】
ステップＳ１において、ＩＤ認識カメラ１１は、例えば、図１で示すように、撮像領域を撮像し、その中に含まれる光ビーコン２−１乃至２−ＮのＩＤデータとその位置データを取得すると共に、撮像画像の画像データを生成し、ＩＤデータ、および、位置データをＩＤ情報解析部１２に、撮像した画像データを表示部３、および、ＩＤ情報解析部１２にそれぞれ出力する。このとき、表示部３は、入力された画像データに対応する画像を表示する。
【０１０２】
ステップＳ２において、ＩＤ情報解析部１２は、ＩＤ認識カメラ１１より入力されたＩＤデータ、および、位置データ、並びに撮像された画像データに基づいて、各光ビーコン２のＩＤ、空間内の位置情報、撮像された画像上の撮像位置情報、および、グループ識別情報を取得し、取得したＩＤ、撮像された画像上の位置情報、および、各光ビーコン２のグループ識別情報をフォーカス位置選択部１３、および、グループ情報記憶部１４に供給して記憶させると共に、各光ビーコン２の空間内の位置情報を光ビーコン位置情報記憶部１８に供給し、記憶させる。
【０１０３】
ステップＳ３において、フォーカス位置選択部１３は、フォーカス位置が選択されたか否かを判定する。すなわち、フォーカス位置選択部１３は、ユーザが表示部３に表示された画像を見ながら、撮像された光ビーコン２のうちで、自らがフォーカスを合わせたいと思う画像上の位置に最も近い光ビーコン２を、キーボードなどを操作して図示せぬ画像上のポインタなどが操作されることにより選択されたか否かを判定する。
【０１０４】
ステップＳ３において、ユーザが、フォーカス位置選択部１３を操作して、撮像された画面上のいずれかの光ビーコン２が選択されていないと判定された場合、その処理は、ステップＳ１に戻り、いずれかの光ビーコン２が選択されるまで、ステップＳ１乃至Ｓ３の処理が繰り返される。
【０１０５】
ステップＳ３において、ユーザが、フォーカス位置選択部１３を操作して、撮像された画面上のいずれかの光ビーコン２が選択された場合、ステップＳ４において、フォーカス位置選択部１３は、撮像された画像上のいずれかの光ビーコン２が選択されたと判定し、ユーザにより選択されたフォーカス位置に最も近い光ビーコン２のＩＤをグループ内要素抽出部１５に出力し、その処理は、ステップＳ５に進む。
【０１０６】
ステップＳ５において、グループ内要素抽出部１５は、フォーカス位置選択部１３より供給された、選択された光ビーコン２のＩＤ情報に基づいて、フォーカス位置選択部１３がユーザによって操作されて、選択された光ビーコン２のグループと同一のグループに属する全ての光ビーコン２の画像上の撮像位置情報をグループ情報記憶部１４より抽出し、距離測定位置計算部１６に出力する。
【０１０７】
すなわち、例えば、図１で示される光ビーコン２−１乃至２−４が同一のグループであり、その他の光ビーコン２−５乃至２−Ｎがその他のグループである場合、表示部３に表示された光ビーコン２の画像を見ながら、ユーザがフォーカス位置選択部１３を操作して、自らのフォーカスを定めたい位置の最も近い光ビーコン２として、光ビーコン２−１を選択したとき、フォーカス位置選択部１３は、選択された光ビーコン２−１のＩＤの情報をグループ内要素抽出部１５に出力する（ステップＳ４の処理）。
【０１０８】
さらに、グループ内要素抽出部１５は、この選択された光ビーコン２−１を識別するＩＤに基づいて、選択された光ビーコン２−１と同一のグループ識別情報を持つ全ての光ビーコン２、すなわち、今の場合、光ビーコン２−１乃至２−４の撮像画像上の撮像位置情報を読み出して、距離測定位置計算部１６に出力する。
【０１０９】
ステップＳ６において、距離測定位置計算部１６は、グループ内要素抽出部１５より供給された、ユーザにより選択された光ビーコン２と同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報から、距離を測定する位置を計算し、求められた距離測定位置の情報（画像上の位置情報）を距離測定部１７に供給する。
【０１１０】
より詳細には、距離測定位置計算部１６は、グループ内要素抽出部１５より供給された、ユーザにより選択された光ビーコン２のグループに属する全ての光ビーコン２の撮像された画像上の位置情報から、その重心位置を求めて、求められた重心位置を距離測定位置の位置情報として距離測定部１７に供給する。
【０１１１】
すなわち、今の場合、図１で示される光ビーコン２−１が選択されており、同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報として、光ビーコン２−１乃至２−４の撮像された画像上の位置情報が供給されている。光ビーコン２−ｉの画像上の位置情報が座標（Ｘｉ，Ｙｉ）であるとすれば、距離測定位置となる重心位置（ＸＧ，ＹＧ）は、以下の式（２）により求められる。
【数１】
【０１１２】
ステップＳ７において、距離測定部１７は、ユーザにより選択された光ビーコン２付近までの焦点距離、すなわち、ユーザにより選択された光ビーコン２のグループに属する全ての光ビーコン２からなる面上の上述の距離計測位置までの距離（：フォーカス距離）を計算し、計算結果をフォーカス制御部１９に供給する。
【０１１３】
ここで、図１２のフローチャートを参照して、距離測定部１７によるフォーカス距離計算処理について説明する。
【０１１４】
ステップＳ２１において、距離測定部１７は、ＩＤ認識カメラ１１の測定位置を基準とした座標系を、空間位置（光ビーコン２の位置を特定する空間内の位置）を特定する座標系に変換する変換行列と、ＩＤ認識カメラ１１の光学ブロック１１ａに採用されているレンズの持つ焦点距離固有値ｆを求める。尚、以下においては、ＩＤ認識カメラ１１の測定位置を基準とした座標系をカメラ座標と称し、空間位置を特定する座標系をワールド座標と称し、さらに、変換行列を単に行列Ｕと称する。
【０１１５】
従って、距離測定部１７は、ステップＳ２１において、カメラ座標とワールド座標の関係を示す行列Ｕと焦点距離固有値ｆを求める。
【０１１６】
より詳細には、今の場合、距離測定部１７は、空間内の座標が既知である４個の光ビーコン２−１乃至２−４のワールド座標系の位置から、それらのカメラ座標系における重心位置を求め、その重心位置までの距離を求める。
【０１１７】
尚、以下の説明においては、図１３で示されるように、ＩＤ認識カメラ１１を基準としたカメラ座標系を（ｘｃ，ｙｃ，ｚｃ）とし、撮像された画像上の座標系を（Ｘ，Ｙ）、空間内の位置を示すワールド座標系を（ｘｗ，ｙｗ，ｚｗ）とそれぞれ定義する。ここで、これらの座標系の関係は、以下の式（３）で表される。
【０１１８】
【数２】
【０１１９】
ここで、Ｕは上述した行列Ｕであり、ワールド座標系Ｗとカメラ座標系Ｃの変換行列である。そこで、式（３）は、Ｃ，Ｕ，Ｗのそれぞれの詳細を示すと以下の式（４）となる。
【０１２０】
【数３】
【０１２１】
さらに、画像上の座標は、以下のような関係となる。
【数４】
【０１２２】
ここで、ｆは、焦点距離固有値であり、光学ブロック１１ａで採用されている図示せぬレンズに固有の値である。
【０１２３】
従って、４個の光ビーコン２−１乃至２−４のワールド座標系における座標（ｘｗ，ｙｗ，ｚｗ）が既知であるので（今の場合、光ビーコン２の点滅パターンからＩＤ認識カメラ１１により、それぞれの光ビーコン２のワールド座標系の位置が取得されているので）、この行列Ｕを求めることが可能である。
【０１２４】
ここで、光ビーコン２−１乃至２−４が平面上に置かれているとすると、Ｚｗ＝０とすることができる。したがって、上記の式（４）は、以下の式（６）のように変形することが可能となる。
【０１２５】
【数５】
【０１２６】また、行列Ｕはスケールファクタを含んでいるので、式（６）の行列要素であるｕ３４を１とすることで、式（６）における未知数は８個である。ここで、ＩＤ認識カメラ１１で観察された４点の光ビーコン２−ｉの点滅により送信されている個々のワールド座標系の座標ｐｗｉは、ｐｗｉ＝（ｘｗｉ，ｙｗｉ，０）（ｉ＝１・・・４）であり、それぞれに対応する画像上に投影された光ビーコン２−ｉの座標Ｐｉは、Ｐｉ＝（Ｘｉ，Ｙｉ）であり、それぞれ既知であるので、これらを式（６）に代入することで、行列Ｕを求めることが可能になる。以上で、カメラ座標系Ｃとワールド座標系Ｗの位置関係が求めることができる。
【０１２７】
次に、画像上の座標系（Ｘ，Ｙ）とワールド座標系との位置関係を求めるために、焦点距離固有値ｆを求める方法について説明する。ここで、式（６）は、焦点距離固有値ｆを行列Ｕの要素に含めた形とすることにより、以下の式（７）のように変形することができる。
【０１２８】
【数６】
【０１２９】
ここで、式（７）におけるＸ，Ｙは、それぞれ以下の式（８）の関係を有する。
【０１３０】
【数７】
【０１３１】
式（６）と式（７）の関係から、行列Ｖと行列Ｕの関係は、次に示す式（９）のような関係となる。
【０１３２】
【数８】
【０１３３】
さらに、式（７）は、以下の式（１０）のように変形できる。ここで、ｕ１，ｕ２，ｕ４は３次元空間を張る基底直交ベクトルである。
【０１３４】
【数９】
【０１３５】
ｕ１，ｕ２，ｕ３は３次元空間上の直交基底ベクトルであるので、ｕ３を以下の式（１１）のように定義することができる。
【０１３６】
【数１０】
【０１３７】
ｕ１とｕ２は基底ベクトルであるから、次の２式の関係が成り立つ。
【０１３８】
【数１１】
【０１３９】
【数１２】
【０１４０】
したがって、焦点距離固有値ｆは、式（９）と式（１２）の関係から、以下の式（１４）の関係が成立することになる。
【０１４１】
【数１３】
【０１４２】
また、式（９）と式（１３）の関係から、以下の式（１５）の関係が成立することなる。
【０１４３】
【数１４】
【０１４４】
従って、距離測定部１７は、上記の式（１４）、または、式（１５）、並びに、式（９）の関係から、ＩＤ認識カメラ１１の測定位置を基準とした座標系を、空間位置（光ビーコン２の位置を特定する空間内の位置）を特定する座標系に変換する変換行列Ｕと、ＩＤ認識カメラ１１の光学ブロック１１ａに採用されているレンズの持つ焦点距離固有値ｆを求める。
【０１４５】
すなわち、距離測定部１７は、光ビーコン２−ｉの撮像位置をＰｉ＝（Ｘｉ，Ｙｉ）とすると、光ビーコン位置記憶部１８に記憶されている、光ビーコン２−ｉのワールド座標を読み出す。尚、読み出した光ビーコン２−ｉのワールド座標がｐｗｉ＝（ｘｗｉ，ｙｗｉ）と示すものとする。
【０１４６】
さらに、距離測定部１７は、式（３）の行列ＷとＣそれぞれに、上記ワールド座標ｐｗｄと対応する画像上のＰｄとを４点ずつ代入することにより、行列Ｕを求める。
【０１４７】
より詳細には、撮像された画像上にある同一のグループに属する光ビーコン２−１乃至２−４のワールド座標ｐｗｉ＝（ｘｗｉ，ｙｗｉ，０）と、それに対応する光ビーコン２−１乃至２−４の撮像位置Ｐｉ＝（Ｘｉ，Ｙｉ）との関係は、式（７），式（８）で与えられるので、距離測定部１７は、以下の式（１６），式（１７）のように展開する。
【０１４８】
【数１５】
【０１４９】
【数１６】
【０１５０】
ここで、要素ｖ３３はスケールファクタを持つため、ｖ３３＝１と置き、画像上にある光ビーコン２−ｉのワールド座標ｐｗｉ＝（ｘｗｉ，ｙｗｉ，０）と、それに対応する、光ビーコン２−ｉの撮像位置Ｐｉ＝（Ｘｉ，Ｙｉ）を光ビーコン２−１乃至２−４の４点について代入すると、以下の式（１８）が成り立つので、距離測定部１７は、以下の式（１８）の両辺に逆行列を乗じて、式（１９）のようにして展開し、行列要素ｖｉｊを求める。
【０１５１】
【数１７】
【０１５２】
【数１８】
【０１５３】
尚、ここで、Ａ，Ｘは、以下の式（２０）で示されるものである。また、ｉ，ｊは、それぞれ行列の行番号と列番号を示すパラメータである。
【０１５４】
【数１９】
【０１５５】
そして、距離測定部１７は、ここで求めたＡの要素を式（９），式（１０），式（１４），式（１５）にそれぞれ代入することにより、焦点距離固有値ｆと、行列Ｕを求める。
【０１５６】
ステップＳ２２において、距離測定部１７は、距離測定位置計算部１６より供給された全ての光ビーコン２−ｉのワールド座標ｐｗｉ（ｘｗｉ，ｙｗｉ，ｚｗｉ）を、式（３）（実質的には、式（４））に代入し、対応するカメラ座標系におけるｐｃｉ（ｘｃｉ，ｙｃｉ，ｚｃｉ）を求める。
【０１５７】
ステップＳ２３において、距離測定部１７は、以下の式（２１）を用いて、求めた全ての光ビーコン２−ｉのカメラ座標系における重心位置ｐｃｇ＝（ｘｃｇ，ｙｃｇ，ｚｃｇ）を計算する
【０１５８】
【数２０】
【０１５９】
ここで、Ｎは求めたカメラ座標の個数を示す。
【０１６０】
ステップＳ２４において、距離計算部１７は、求められた重心位置ｐｃｇと原点の距離を求め、焦点距離を決定してフォーカス制御部１９に出力する。すなわち、カメラ座標系における原点は、ＩＤ認識カメラ１１の位置となるので、距離計算部１７は、√（（ｘｃｇ）２＋（ｙｃｇ）２＋（ｚｃｇ）２）を焦点距離としてフォーカス制御部１９に出力する。
【０１６１】
尚、この計算方法については、例えば、中沢、中野、小松、斎藤共著「画像中の特徴点に基づく実写画像とＣＧ画像との動画合成システム」（映像情報メディア学会誌、Ｖｏｌ．５１， Ｎｏ．７， ｐｐ．１０８６−１０９５， １９９７）に開示されている。
【０１６２】
また、式（１４）と式（１５）から求められる焦点距離固有値ｆは、光ビーコン２の検出誤差から必ずしも一致しないが、中沢外著の論文（前述）には、式（１４）、および、式（１５）を利用した評価関数を最小にするような、検出誤差を抑制する手法も開示されている。
【０１６３】
さらに、３点の光ビーコン２の座標が既知である場合も、対象物体上の３点の位置から３次元位置及び姿勢を計測することが可能である。例えば、Ｒｏｂｅｒｔ Ｍ． Ｈａｒａｌｉｃｋ、 Ｃｈｕｎｇ−ｎａｎ Ｌｅｅ、 Ｋａｒｓｔｅｎ Ｏｔｔｅｎｂｅｒｇ、Ｍｉｃｈａｅｌ Ｎｏｌｌｅ共著の論文“Ａｎａｌｙｓｉｓ ａｎｄ Ｓｏｌｕｔｉｏｎｓ ｏｆ Ｔｈｅ Ｔｈｒｅｅ Ｐｏｉｎｔ Ｐｅｒｓｐｅｃｔｉｖｅ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ Ｐｒｏｂｌｅｍ”（Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｍａｕｉ， Ｈａｗａｉｉ， ＵＳＡ， ｐｐ．５９２−５９８， １９９１）を参照されたい。
【０１６４】
なお、ここでは、ＩＤ認識カメラ５から光ビーコン１までの距離を、光ビーコン１（送信装置）が発する（自身の）の空間上での位置情報に基づいて計測した例を示したが、光ビーコンまでの距離を別の測距手段で測距することも当然考えられる。
【０１６５】
また、ここでは、認識したＩＤが属するグループのカメラ座標の重心を距離測定位置として採用したが、任意の１つないし複数のＩＤ、あるいは、それらの情報に基づいて計算された位置を測距点として採用するようにしてもよい。
【０１６６】
ここで、図１１のフローチャートの説明に戻る。
【０１６７】
ステップＳ８において、フォーカス制御部１９は、距離測定部１７より供給された焦点距離情報に基づき、ＩＤ認識カメラ１１の光学ユニット１１ａを制御する。
【０１６８】
以上の処理により、撮像部１のＩＤ認識カメラ１１により撮像される画像は、ユーザの所望とする画像上の位置に焦点を合わせた画像を撮像することが可能となる。また、既知の光ビーコン２を用いてフォーカス制御を行うため、被写体がはっきりと撮像できる状態ではないような場合、すなわち、撮像位置と被写体の間に霞がかかった状態や、完全に光の無い暗闇を撮像するような場合、被写体を捕らえた上でしか、フォーカス制御ができなかった従来の手法とは異なり、光ビーコン２の発光パターンと、発光位置さえ確認できれば、ユーザの所望とする位置に正確にフォーカスを合わせることが可能となる。
【０１６９】
さらに、以上においては、撮像部１は上述の処置によりフォーカス制御をより正確なものとするため、撮像部１は、フォーカス制御装置（焦点制御装置）として機能している。
【０１７０】
また、以上においては、ユーザが所望とする画像内の位置までの空間的な距離を測定することで、その位置に正確にフォーカスを合わせる手法について説明してきたが、この光ビーコン２を用いた所定の位置までの距離を求める技術を応用して違和感の無い合成画像を生成することも可能である。
【０１７１】
すなわち、画像内の位置を複数に設定し、設定された複数の位置までの空間的な距離をそれぞれ求め、求められた位置までの距離に応じて、例えば、第１の位置までの空間的な距離に基づいて、フォーカスを合わせ、第２の位置までの空間的な距離に基づいて、撮像している画像上に合成させようとする画像をぼかすなどして、通常の撮像状態で発生する現象を再現した上で、ぼかし処理がなされた画像を撮像している画像上に合成するようにしてもよい。
【０１７２】
図１４は、光ビーコン２を用いてフォーカス制御を行い、さらに、撮像している画像上に、それとは異なるその他の画像を合成させようとする所望の位置までの空間的な距離に応じて、合成画像をぼかした上で合成する画像合成部２０１の構成を示すブロック図である。
【０１７３】
図１４の画像合成部２０１の撮像部２１１は、基本的に、図１を参照して説明した撮像部１と同一のものであり、図１４の撮像部２１１のＩＤ認識カメラ２２１、光学ユニット２２１ａ、ＩＤ情報解析部２２２、選択部２２３、グループ情報記憶部２２４、グループ内要素抽出部２２５、距離測定位置計算部２２６、距離測定部２２７、光ビーコン位置記憶部２２８、フォーカス制御部２２９は、図１の撮像部１のＩＤ認識カメラ１１、光学ユニット１１ａ、ＩＤ情報解析部１２、選択部１３、グループ情報記憶部１４、グループ内要素抽出部１５、距離測定位置計算部１６、距離測定部１７、光ビーコン位置記憶部１８、フォーカス制御部１９に対応するもので基本的に同様に機能を有する。
【０１７４】
ただし、ＩＤ認識カメラ２２１は、撮像した画像データを、画像合成部２５９を介して画像表示部２６０に供給している。尚、画像合成部２５９は、合成位置調整部２５８から合成しようとする画像のデータが供給されていない状態の場合、ＩＤ認識カメラ２２１で撮像された画像をそのまま画像表示部２６０に出力し表示させる。
【０１７５】
また、ＩＤ情報解析部２２２は、各光ビーコン２のＩＤデータに含まれているグループ識別情報、各光ビーコン２に対応する撮像された画像上の撮像位置情報を、撮像された画像から求め、フォーカス位置選択部２２３に加えて、合成位置選択部２５１にも出力する。
【０１７６】
さらに、グループ情報記憶部２２４は、グループ内要素抽出部２２５に加えて、グループ内要素抽出部２５２にもグループ識別情報に対応した情報を提供する。また、光ビーコン位置記憶部２２８は、距離測定部２２７のみならず、距離測定部２５４にも光ビーコン２のそれぞれの空間的な位置情報を供給する。さらに、距離測定部２２７は、測定した距離の情報をフォーカス制御部２２９のみならず、差分計算部２５５にも供給する。
【０１７７】
合成位置選択部２５１は、図１のフォーカス位置選択部１３と基本的に同様の機能を有するものであるが、ユーザが画像表示部２６０に表示される画像をみながら、自らが撮像している画像上に、それとは異なる画像を合成させたい位置に存在する、または、その付近に存在する光ビーコン２を選択するとき操作される。フォーカス位置選択部２５１は、ユーザによる操作内容に対応して、選択された光ビーコン２を指定する信号（選択された光ビーコンのＩＤを示す信号）を生成して、グループ内要素抽出部２５２に出力する。
【０１７８】
グループ内要素抽出部２５２は、図１のグループ内要素抽出部１５と同様のものであり、合成位置選択部２５１より供給されたユーザにより選択されている光ビーコン２のグループ識別情報と同一の全ての光ビーコン２の撮像画像上の位置情報を、グループ情報記憶部２２４より抽出し、距離測定位置計算部２５３に出力する。
【０１７９】
距離測定位置計算部２５３は、図１の距離測定位置計算部１６と同様のものであり、グループ内要素抽出部２５２より供給されてくるユーザにより選択された合成位置の光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報に基づいて、空間内の画像を合成する位置までの距離を測定する距離測定位置、すなわち、画像上の位置（座標）を計算し、計算により求められた距離測定位置（画像上の画像を合成させる位置の座標）の情報と共に、グループ内要素抽出部２５２より供給されてきたユーザにより選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報を距離測定部２５４、および、合成位置調整部２５８に出力する。
【０１８０】
距離測定部２５４は、図１の距離測定部１７と同様のものであり、距離測定位置計算部２５３を介して供給されてくるユーザにより合成位置として選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報（撮像された画像上の座標）と、光ビーコン位置記憶部２２８に記憶されている各光ビーコン２の空間内の位置情報（空間内の座標）に基づいて、撮像部２１１から同一グループに属する複数の光ビーコン２から構成される面（の重心位置：距離測定位置）までの距離を求めて差分計算部２５５に出力する。
【０１８１】
差分計算部２５５は、距離測定部２２７により測定されたフォーカスを合わせるために選択された位置から撮像部２１１までの距離（現実空間の距離）と、画像を合成するために選択された位置から撮像部２１１までの距離（現実空間の距離）との差分を求め、求められた差分をぼかし処理部２５７に出力する。
【０１８２】
画像入力部２５６は、今現在撮像されている画像に、合成しようとする画像を入力するために使用するものであり、例えば、記録媒体を装着するドライブであったり、または、合成しようとする画像を供給するパーソナルコンピュータなどとのインタフェース、すなわち、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子や、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４端子などである。
【０１８３】
ぼかし処理部２５７は、差分計算部２５５より供給される、フォーカスを合わせるために選択された位置から撮像部２１１までの距離と、画像を合成するために選択された位置から撮像部２１１までの距離との差分に基づいて、画像入力部２５６より供給された、撮像している画像上に、合成しようとする画像に、ぼかし処理を施して合成位置調整部２５８に出力する。
【０１８４】
合成位置調整部２５８は、ぼかし処理部２５７より供給された、ぼかし処理がなされた合成しようとする画像を、距離測定位置計算部２５３より供給された、画像を合成しようとするために選択された光ビーコン２のグループと、同一のグループに属する複数の光ビーコン２の重心位置となる画像上の位置情報に基づいて合成する画像の位置を調整して、画像合成部２５９に出力する。
【０１８５】
画像合成部２５９は、ＩＤ認識カメラ２２１より供給されてくる、今現在撮像している画像と、合成位置調整部２５８より供給されてくるぼかし処理がなされた画像を合成し、画像表示部２６０に出力して、表示させる。
【０１８６】
尚、図１４で示される光ビーコン２と画像合成部２０１は、相互に機能することにより画像合成処理を実現させることになるので、画像合成システムを構成しているとも言える。
【０１８７】
次に、図１５を参照して、図１４の画像合成部２０１による画像合成処理について説明する。
【０１８８】
ステップＳ４１において、フォーカス制御処理が実行される。すなわち、今撮像されている画像上の、ユーザの所望とする位置にフォーカスが調整された画像が撮像される。
【０１８９】
すなわち、例えば、図１４で示される壁５上に光ビーコン２−１乃至２−８が配置され、そのうち光ビーコン２−１乃至２−４が第１のグループに属し、光ビーコン２−５乃至２−８が第２のグループに属するものとした場合、ユーザが、フォーカス位置選択部２２３を制御して、フォーカスを合わせたい位置、または、その近傍の位置に存在する光ビーコン２として、光ビーコン２−１を選択したとき、撮像される画像は、図１４中の光ビーコン２−１乃至２−４で形成される形状の重心位置にフォーカス位置が設定されて、その位置にフォーカスの合った画像が撮像される。今の場合、図１４で示されるように距離ｄ１が焦点距離として求められ、対応するフォーカス制御がなされることになる。
【０１９０】
尚、ステップＳ４１の処理は、図１１を参照して説明したフォーカス制御処理と同様の処理であるので、その説明は省略する。また、図１４においては、壁５は、段差５ａによりそれぞれの画像合成部２０１からの距離が領域により異なっており、段差５ａを境界として、光ビーコン２−１乃至２−４が存在する領域（面）の方が、光ビーコン２−５乃至２−８が存在する領域（面）よりも画像合成部２０１に接近している。
【０１９１】
ステップＳ４２において、合成位置選択部２５１は、合成位置が選択されたか否かを判定する。すなわち、合成位置選択部２５１は、ユーザが画像表示部２６０に表示された画像を見ながら、撮像された光ビーコン２のうちで、自らが画像を合成したいと思う画像上の位置に最も近い光ビーコン２を、キーボードなどを操作して図示せぬ画像上のポインタなどにより選択されたか否かを判定する。
【０１９２】
ステップＳ４２において、ユーザが、合成位置選択部２５１を操作して、撮像された画面上のいずれかの光ビーコン２を選択していないと判定された場合、その処理は、ステップＳ４１に戻り、いずれかの光ビーコン２が選択されるまで、ステップＳ４１，Ｓ４２の処理が繰り返される。
【０１９３】
ステップＳ４２において、ユーザが、合成位置選択部２５１を操作して、撮像された画面上のいずれかの光ビーコン２が選択された場合、ステップＳ４３において、合成位置選択部２５１は、撮像された画像上のいずれかの光ビーコン２が選択されたとみなし、ユーザにより選択されたフォーカス位置に最も近い光ビーコン２のＩＤ情報をグループ内要素抽出部２５２に出力し、その処理は、ステップＳ４４に進む。
【０１９４】
ステップＳ４４において、グループ内要素抽出部２５２は、合成位置選択部２５１より供給された、選択された光ビーコン２のＩＤ情報に基づいて、合成位置選択部２５１がユーザによって操作されて、選択された光ビーコン２のグループに属する全ての光ビーコン２のグループ識別情報に分類される光ビーコン２の画像上の撮像位置情報をグループ情報記憶部２２４より抽出し、距離測定位置計算部２５３に出力する。
【０１９５】
すなわち、例えば、図１４で示される光ビーコン２−５乃至２−８が同一のグループである場合、画像表示部２６０に表示された光ビーコン２の画像を見ながら、ユーザが合成位置選択部２５１を操作して、自らの画像を合成したい位置に最も近い光ビーコンとして光ビーコン２−５を選択したとき、合成位置選択部２５１は、選択された光ビーコン２−５のＩＤの情報をグループ内要素抽出部２５２に出力する（ステップＳ４３の処理）。
【０１９６】
さらに、グループ内要素抽出部２５２は、この選択された光ビーコン２−５を識別するＩＤに基づいて、選択された光ビーコン２−５と同一のグループ識別情報を持つ全ての光ビーコン２、すなわち、今の場合、光ビーコン２−５乃至２−８の撮像画像上の撮像位置情報を抽出して、距離測定位置計算部２５３に出力する。
【０１９７】
ステップＳ４５において、距離測定位置計算部２５３は、グループ内要素抽出部２５２より供給された、ユーザにより選択された光ビーコン２のグループに属する全ての光ビーコン２の撮像された画像上の位置情報から、距離を測定する位置を計算し、求められた距離測定位置の情報（画像上の位置情報）を距離測定部２５４、および、合成位置調整部２５８に供給する。
【０１９８】
より詳細には、距離測定位置計算部２５３は、グループ内要素抽出部２５２より供給された、ユーザにより選択された光ビーコン２のグループに属する全ての光ビーコン２の撮像された画像上の位置情報から、その重心位置を求めて、求められた重心位置を距離測定位置の位置情報として距離測定部２５４、および、合成位置調整部２５８に供給する。
【０１９９】
すなわち、今の場合、図１４で示される光ビーコン２−５が選択されており、同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報として、光ビーコン２−５乃至２−８の撮像された画像上の位置情報が供給されている。光ビーコン２−ｉ（５≦ｉ≦８）の画像上の位置情報、すなわち、座標が（Ｘｉ，Ｙｉ）であるとすると、距離測定位置となる重心位置（ＸＧ，ＹＧ）は、上述した式（２）により求められる。
【０２００】
ステップＳ４６において、距離測定部２５４は、ユーザにより選択された光ビーコン２付近までの距離、すなわち、ユーザにより画像を合成する位置として選択された光ビーコン２−５のグループに属する全ての光ビーコン２−５乃至２−８からなる面上の上述の距離計測位置までの距離を演算し、演算結果を差分計算部２５５に供給する。すなわち、今の場合、図１４で示される、距離ｄ２の値が、画像が合成される位置までの距離として求められることになる。尚、この処理は、図１１のステップＳ７の処理（図１２のフローチャートを参照して説明した処理）において説明した焦点距離を求める処理と実施的に同様の処理であるので、その説明は省略する。
【０２０１】
ステップＳ４７において、差分計算部２５５は、距離計算部２２７から供給された撮像部２２１からフォーカス位置（焦点距離）までの距離ｄ１と、距離計算部２５４から供給された画像が合成される位置までの距離ｄ２との差分ｄ３（＝｜ｄ２−ｄ１｜）を求めてぼかし処理部２５７に出力する。
【０２０２】
ステップＳ４８において、画像入力部２５６は、合成される画像が入力されているか否かを判定し、入力されるまでその処理を繰り返し、合成されるべき画像が入力されたと判定された場合、その処理は、ステップＳ４９に進む、
【０２０３】
ステップＳ４９において、ぼかし処理部２５７は、差分計算部２５５より供給された差分ｄ３に基づいて、画像入力部２５６に入力された画像にぼかし処理を施し、ぼかした画像を合成位置調整部２５８に供給する。
【０２０４】
ここで、図１６のフローチャートを参照して、ぼかし処理について説明する。
【０２０５】
ステップＳ７１において、ぼかし処理部２５７は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、合成される画像の垂直方向の画素位置を特定するカウンタである。
【０２０６】
ステップＳ７２において、ぼかし処理部２５７は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、合成される画像の水平方向の画素位置を特定するカウンタである。
【０２０７】
ステップＳ７３において、ぼかし処理部２５７は、合成される画像上の画素位置（ｘ，ｙ）の、差分ｄ３に対応した所定の近傍の範囲に存在する画素を抽出する。すなわち、例えば、ぼかし処理部２５７は、合成される画像上の画素位置（ｘ，ｙ）を中心として、半径が差分ｄ３となる範囲内に存在する画素を、合成される画像（画像入力部２５６より供給された画像）より抽出する。
【０２０８】
ステップＳ７４において、ぼかし処理部２５７は、抽出した合成される画像上の画素位置（ｘ，ｙ）を中心として、半径が差分ｄ３となる範囲内に存在する画素の画素値の平均値を求めて、求められた平均画素値をぼかした画像の画素位置（ｘ，ｙ）の画素値とする。
【０２０９】
すなわち、入力画像をＩとし、その（ｘ，ｙ）の位置における画素値をＩ（ｘ，ｙ）とし、ぼかし処理がなされて出力される画像をＯとし、その（ｘ，ｙ）の位置における画素値をＯ（ｘ，ｙ）とすると、入力画像Ｉ上の画素値Ｉ（ｘ，ｙ）に対する差分ｄ３を用いて、（ｘ，ｙ）の位置の出力画像Ｏ上の画素値Ｏ（ｘ，ｙ）を求める式は、例えば、次の式（２２）のように表される。
【０２１０】
【数２１】
【０２１１】
ここで、（ｉ，ｊ）は、画素（ｘ，ｙ）を中心とした半径ｄ３（差分）の領域Ｗに含まれる画素で、Ｎは領域Ｗに含まれる画素数を示す。
【０２１２】
ステップＳ７５において、ぼかし処理部２５７は、カウンタｘを１インクリメントさせる。ステップＳ７６において、ぼかし処理部２５７は、カウンタｘが合成される画像の水平方向の画素数以上であるか否かを判定し、水平方向の画素数以上ではないと判定された場合、その処理は、ステップＳ７３に戻る。すなわち、水平方向の画素数以上であると判定されるまで、ステップＳ７３乃至Ｓ７６の処理が繰り返される。そして、水平方向の画素数以上であると判定された場合、その処理は、ステップＳ７７に進む。
【０２１３】
ステップＳ７７において、ぼかし処理部２５７は、カウンタｙを１インクリメントさせる。ステップＳ７８において、ぼかし処理部２５７は、カウンタｙが合成される画像の垂直方向の画素数以上であるか否かを判定し、垂直方向の画素数以上ではないと判定された場合、その処理は、ステップＳ７２に戻る。すなわち、垂直方向の画素数以上であると判定されるまで、ステップＳ７２乃至Ｓ７８の処理が繰り返される。そして、垂直方向の画素数以上であると判定された場合、その処理は、ステップＳ７９に進む。
【０２１４】
ステップＳ７９において、ぼかし処理部２５７は、合成される画像を合成位置調整部２５８に出力する。すなわち、合成される画像上の全ての画素にぼかし処理が施された後、ぼかし処理がなされた、合成される画像は、合成位置調整部２５８に出力されて、処理は終了する。
【０２１５】
すなわち、画像を合成する位置は、フォーカスを合わせる位置とは異なる位置であることが多く、そのような場合、フォーカスが合っていない状態、すなわち、画像が新たに合成される位置では本来撮像されるべき光が、焦点が合っていないことにより分散することになるので、式（２２）による演算により画素値を求めることで、焦点距離からの差分に応じた、ぼけた画素値を生成することが可能となる。
【０２１６】
尚、以上の例においては、合成しようとする画像Ｉ上の注目画素（ｘ，ｙ）を中心として差分ｄ３を半径とした範囲内に存在する画素値の平均値をぼかした画像の画素値とする例について説明してきたが、これに限るものではなく、例えば、注目画素を中心とした、差分ｄ３×ｄ３の範囲に存在する画素の平均画素値などであってもよい。
【０２１７】
ここで、図１５のフローチャートの説明に戻る。
【０２１８】
ステップＳ５０において、合成画像調整部２５８は、距離測定位置計算部２５３より供給された、距離測定位置の情報、すなわち、画像が合成される位置の情報に基づいて、合成される画像の位置を調整し、画像合成部２５９に出力する。
【０２１９】
ステップＳ５１において、画像合成部２５９は、ＩＤ認識カメラ２２１より供給された、今撮像されている画像と、ぼかし処理がなされ、所定の合成位置に調整された画像を合成し、ステップＳ５２において、合成画像を画像表示部２６０に表示する。
【０２２０】
以上の処理により、例えば、今の場合、図１７で示されるように、ステップＳ４１の処理により、光ビーコン２−１乃至２−４からなる面の領域Ａの重心位置までの距離として距離ｄ１が求められ、その距離でフォーカスが設定される。そして、ステップＳ４６の処理により、画像を合成する位置となる光ビーコン２−５乃至２−８からなる面の領域Ｂまでの距離ｄ２が計算される。
【０２２１】
尚、図１７において、上部が壁５をＩＤ認識カメラ２２１で撮像したときの正面図であり、下部が壁５の上面図である。
【０２２２】
従って、ＩＤ認識カメラ２２１で撮像される画像においては、領域Ａ近傍では焦点が合った画像となるが、領域Ｂ近傍では、焦点がぼけた画像となるはずである。
【０２２３】
そこで、ステップＳ４９の処理で、図１７の領域Ｂ近傍に、撮像されている画像とは異なる画像を合成する場合、ＩＤ認識カメラ２２１からの距離の差分ｄ３（＝｜ｄ２−ｄ１｜）に対応するぼかし処理を、合成しようとする画像に施してから、今撮像されている画像の領域Ｂに合成することにより、合成画像における焦点のぼけた状態までも正確に再現することで、奥行きのある違和感の無い合成画像を生成することが可能となる。
【０２２４】
尚、以上の例においては、合成しようとする画像が１枚である場合について説明してきたが、合成される画像は、それ以上の数であってもよい。
【０２２５】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０２２６】
図１８は、図１の撮像部１、または、図１４の画像合成部２０１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ１００１は、パーソナルコンピュータの全体の動作を制御する。また、ＣＰＵ１００１は、バス１００４および入出力インタフェース１００５を介してユーザからキーボードやマウスなどからなる入力部１００６から指令が入力されると、それに対応してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ１００１は、ドライブ１０１０に接続された磁気ディスク１０２１、光ディスク１０２２、光磁気ディスク１０２３、または半導体メモリ１０２４から読み出され、記憶部１００８にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３にロードして実行する。これにより、上述した図１の撮像部１、または、図１４の画像合成部２０１の機能が、ソフトウェアにより実現されている。さらに、ＣＰＵ１００１は、通信部１００９を制御して、外部と通信し、データの授受を実行する。
【０２２７】
プログラムが記録されている記録媒体は、図１８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１０２１（フレキシブルディスクを含む）、光ディスク１０２２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）、光磁気ディスク１０２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ１０２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１００２や、記憶部１００８に含まれるハードディスクなどで構成される。
【０２２８】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０２２９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２３０】
【発明の効果】
本発明によれば、撮像しようとする画像内の位置に対応した被写体までの距離を測定することができるので、正確なフォーカス制御を実現させることが可能になると共に、違和感の無い合成画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像部を示すブロック図である。
【図２】図１のＩＤ認識カメラのブロック図である。
【図３】図２の画像デコード処理部のブロック図である。
【図４】図２のＩＤデコード処理部のブロック図である。
【図５】図１の光ビーコンのブロック図である。
【図６】図１の光ビーコンのブロック図である。
【図７】ＩＤ認識カメラの動作を説明する図である。
【図８】ＩＤ認識カメラが画像信号を生成する動作を説明する図である。
【図９】ＩＤ認識カメラが画像信号を生成する動作を説明する図である。
【図１０】ＩＤ認識カメラが点滅パターンをデコードする動作を説明する図である。
【図１１】図１の撮像部によるフォーカス制御処理を説明するフローチャートである。
【図１２】図１１のフローチャートのステップＳ７の処理であるフォーカス距離計算処理を説明するフローチャートである。
【図１３】フォーカス距離計算処理を説明する図である。
【図１４】本発明を適用した画像合成部の構成を示すブロック図である。
【図１５】図１４の画像合成部による画像合成処理を説明するフローチャートである。
【図１６】図１５のフローチャートのステップＳ４９の処理である画像のぼかし処理を説明するフローチャートである。
【図１７】画像のぼかし処理を説明する図である。
【図１８】媒体を説明する図である。
【符号の説明】
１ 撮像部， ２，２−１乃至２−Ｎ 光ビーコン， ３ 表示部， １１ ＩＤ認識カメラ， １１ａ 光学ユニット， １２ ＩＤ情報解析部， １３ フォーカス位置選択部， １４ グループ情報記憶部， １５ グループ内要素抽出部， １６ 距離測定位置計算部， １７ 距離測定部， １８ 光ビーコン位置記憶部， １９ フォーカス制御部， ２０１ 合成画像部， ２１１ 撮像部， ２２１ ＩＤ認識カメラ， ２２１ａ 光学ユニット， ２２２ ＩＤ情報解析部， ２２３ フォーカス位置選択部， ２２４ グループ情報記憶部， ２２５ グループ内要素抽出部， ２２６ 距離測定位置計算部， ２２７ 距離測定部， ２２８ 光ビーコン位置記憶部， ２２９ フォーカス制御部， ２５１ 合成位置選択部， ２５２ グループ内要素抽出部， ２５３ 距離測定位置計算部， ２５４ 距離測定部， ２５５ 差分計算部， ２５６ 画像入力部， ２５７ ぼかし処理部， ２５８ 合成位置調整部， ２５９ 画像合成部， ２６０ 画像表示部
【発明の属する技術分野】
本発明は、焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、精度の高いフォーカス制御を実現することにより違和感の無い合成画像を生成できるようにした焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、ビデオカメラやスチルカメラなど、オートフォーカス技術が幅広く使われるようになってきている。オートフォーカスは、フォーカスを合わせる画面内の位置（測距点）に対してフォーカスを合わせるもので、オートフォーカス装置の中には、測距点として中央の一点だけではなく、画面内の複数の点を選択できる装置もある。複数の測距点の中から一つを選択する方法としては、オートフォーカス装置が自動で一点を選択する、または、ユーザが指定した測距点を選択する、といったものが一般的であるが、画像上の任意の位置を測距点としてユーザが指定できる技術（例えば、特許文献１参照）、フォーカスを合わせたときに測距点上にあった対象を追跡して、対象にフォーカスを合わせ続ける技術（例えば、特許文献２参照）などもある。
【０００３】
一方、３次元ＣＧを実写映像上に合成して、現実空間と仮想空間との融合を目的とした、いわゆるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する技術が提案されてきている。特に、実空間内の平面上に配置された点滅する光ビーコン（点滅によりＩＤを発する）を３乃至４個観測し、ＩＤとカメラとの位置関係を求め、あたかもＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などの仮想的３次元物体が実世界上に配置されているかのように見せる技術や、２次元映像をあたかも実世界の物体上に表示しているかのように見せる技術などが提案されている。
【０００４】
これらの画像合成技術においては、合成の背景となる実写画像である合成元画像と、ＣＧや別の実写画像である合成元画像とが、いずれも焦点の合った画像であることを前堤としている。従って、もし、片方の合成元画像の焦点が外れているとすると、それらを合成した際に得られる合成結果画像は、不自然な違和感のある画像となってしまうという問題があった。
【０００５】
この問題に対し、焦点が外れてぼけている画像に対しては、上記のオートフォーカス技術やマニュアルフォーカスによってカメラの焦点をあわせることにより、対象をボケない画像にして、実写画像の焦点を合わせることで、合成画像共々焦点の合った画像を合成するという方法や、絞りを絞るなどして、被写界深度（被写体となる空間の奥行き）を深くすることでぼけの少ない実写画像を得るといった方法が一般的である。
【０００６】
また、合成する画像の各画素に対応した距離情報に基づいて、合成画像をぼかすことにより、合成される両方の画像が、ともに同程度ボケることで違和感の無い、なじみの良い合成画像を生成する技術が開示されている（例えば、特許文献３参照）。
【０００７】
また、実世界の画像からステレオ手法による距離画像を取得し、注視点（則距点）付近の画像は輪郭をシャープなまま残し、注視点とは距離の異なる部分は、注視点の距離との差に応じてぼかして提示することにより、立体感のある画像を表示する技術が開示されている（例えば、特許文献４参照）。
【０００８】
【特許文献１】
特許第３２１７１６３号
【０００９】
【特許文献２】
特開平６−１６９４２５号公報
【００１０】
【特許文献３】
特許第３３６６８９４号
【００１１】
【特許文献４】
特開２０００−３５４２５７号公報、
【００１２】
【発明が解決しようとする課題】
しかしながら、既存のオートフォーカス技術においては、中央の１点ないし複数の決まった位置にある測距点にフォーカスを合わせるものが多く、実世界の光ビーコンに対して、フォーカスを合わせるということができなかった。このため、特に、３次元ＣＧや２次元映像を、その光ビーコン上（複数の光ビーコンにより構成される面上）に合成しようとする場合、則距点となる光ビーコンに対して焦点が合っていることが必須となってしまうので、則距点となっていない光ビーコンにフォーカスを合わせた画像を用いて、その他の画像を合成すると違和感のある不自然な画像となってしまうという課題があった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、実世界に配した光ビーコンに対して正確にフォーカスを合わせる事ができるようにすることで、自然な違和感の無い合成画像を生成できるようにするものである。
【００１４】
【課題を解決するための手段】
本発明の焦点制御装置は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像手段と、撮像手段により撮像された複数の送信装置のうちのいずれかを選択する選択手段と、選択手段により選択された送信装置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定する距離測定手段と、距離測定手段で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御手段とを備えることを特徴とする。
【００１５】
前記撮像手段により撮像された複数の送信装置の画像上の位置である撮像位置を検出する検出手段をさらに設けるようにさせることができ、距離測定手段には、選択手段により選択された送信装置の、検出手段により検出された撮像位置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定させるようにすることができる。
【００１６】
前記選択手段により選択された、撮像手段により撮像された複数の送信装置のうちのいずれかの送信装置に対応する２以上の送信装置の、検出手段により検出されたそれぞれの撮像位置に基づいて、画像上の対象までの距離を測定する測定位置を計算する測定位置計算手段とをさらに設けるようにさせることができ、距離測定手段には、測定位置計算手段によって計算された測定位置までの距離を、撮像手段により撮像された画像上の対象までの距離として測定させるようにすることができる。
【００１７】
前記測定位置計算手段には、選択手段により選択された、撮像手段により撮像された複数の送信装置のうちのいずれかの送信装置に対応する２以上の送信装置の、検出手段により検出された複数の送信装置の撮像位置の重心位置を測定位置として計算させるようにすることができる。
【００１８】
前記複数の送信装置の空間内の位置情報を記憶する送信装置位置情報記憶手段をさらに設けるようにさせることができ、測定位置計算手段には、選択手段により選択された送信装置に基づく２以上の送信装置の撮像位置、および、送信装置位置情報記憶手段に記憶された、選択手段により選択された送信装置に基づいた２以上の送信装置の空間内の位置情報に基づいて測定位置を計算させるようにすることができる。
【００１９】
前記複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、データ取得手段により取得されたデータを解析し、それぞれの送信装置の空間内の位置情報を抽出するデータ解析手段とをさらに設けるようにさせることができ、送信装置位置情報記憶手段には、データ解析手段により抽出された複数の送信装置の空間内の位置情報を記憶させるようにすることができる。
【００２０】
前記撮像手段により撮像された送信装置の画像上の撮像位置を、送信装置の属するグループの情報と共に記憶するグループ情報記憶手段と、選択手段によって選択された送信装置のグループに属する送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置をグループ情報記憶手段より抽出するグループ内要素抽出手段とをさらに設けるようにさせることができ、測定位置計算手段には、選択手段によって選択された送信装置のグループに属する複数の送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置、および、送信装置位置情報記憶手段に記憶された、複数の送信装置の空間内の位置情報に基づいて測定位置を計算させるようにすることができる。
【００２１】
前記撮像手段により撮像された、複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、データ取得手段により取得されたデータを解析し、それぞれの送信装置の属するグループの情報を抽出するデータ解析手段とをさらに設けるようにさせることができ、グループ情報記憶手段には、撮像手段により撮像された送信装置の画像上の撮像位置を、データ解析手段により抽出された送信装置の属するグループの情報と共に記憶させるようにすることができる。
【００２２】
本発明の撮像装置は、請求項１に記載の焦点制御装置を備えることを特徴とする。
【００２３】
本発明の焦点制御方法は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する選択ステップと、選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行うフォーカス制御ステップとを含むことを特徴とする。
【００２４】
本発明の第１の記録媒体のプログラムは、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する選択ステップと、選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行うフォーカス制御ステップとを含むことを特徴とする。
【００２５】
本発明の第１のプログラムは、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する選択ステップと、選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行うフォーカス制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２６】
本発明の画像処理装置は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像手段と、撮像手段により撮像された複数の送信装置のうちのいずれかを選択する第１の選択手段と、第１の選択手段により選択された送信装置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定する第１の距離測定手段と、第１の距離測定手段で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御手段と、撮像手段により撮像された画像とは異なる、その他の画像を入力する画像入力手段と、画像入力手段により入力されたその他の画像を加工する加工手段と、加工手段により加工されたその他の画像と、撮像手段により撮像された画像とを合成する合成手段と、合成手段により合成された画像を表示する表示手段とを備えることを特徴とする。
【００２７】
前記合成手段により合成されるその他の画像の合成位置を決定する合成位置決定手段をさらに設けるようにさせることができる。
【００２８】
前記撮像手段により撮像された複数の送信装置の画像上の位置である撮像位置を検出する検出手段をさらに設けるようにさせることができ、第１の距離測定手段には、第１の選択手段により選択された送信装置の、検出手段により検出された撮像位置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定させるようにすることができる。
【００２９】
前記第１の選択手段により選択された送信装置に基づく２以上の送信装置のそれぞれの撮像位置に基づいて、画像上の対象までの距離を測定する測定位置を計算する第１の測定位置計算手段とをさらに設けるようにさせることができ、第１の距離測定手段には、第１の測定位置計算手段によって計算された測定位置までの距離を、撮像手段により撮像された画像上の対象までの距離として測定させるようにすることができる。
【００３０】
前記第１の測定位置計算手段には、複数の送信装置の、検出手段により検出された複数の送信装置の撮像位置の重心位置を測定位置として計算させるようにすることができる。
【００３１】
前記複数の送信装置の空間内の位置情報を記憶する送信装置位置情報記憶手段をさらに設けるようにさせることができ、第１の測定位置計算手段には、２以上の送信装置の、検出手段により検出された複数の送信装置の撮像位置、および、送信装置位置情報記憶手段に記憶された、複数の送信装置の空間内の位置情報に基づいて測定位置を計算させるようにすることができる。
【００３２】
前記撮像手段により撮像された、複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、データ取得手段により取得されたデータを解析し、それぞれの送信装置の空間内の位置情報を抽出するデータ解析手段とをさらに設けるようにさせることができ、送信装置位置情報記憶手段には、データ解析手段により抽出された複数の送信装置の空間内の位置情報を記憶させるようにすることができる。
【００３３】
前記撮像手段により撮像された送信装置の画像上の撮像位置を、送信装置の属するグループの情報と共に記憶するグループ情報記憶手段と、第１の選択手段によって選択された送信装置のグループに属する送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置をグループ情報記憶手段より抽出するグループ内要素抽出手段とをさらに設けるようにさせることができ、第１の測定位置計算手段には、第１の選択手段によって選択された送信装置のグループに属する複数の送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置、および、送信装置位置情報記憶手段に記憶された、複数の送信装置の空間内の位置情報に基づいて測定位置を計算させるようにすることができる。
【００３４】
前記撮像手段により撮像された、複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、データ取得手段により取得されたデータを解析し、それぞれの送信装置の属するグループの情報を抽出するデータ解析手段とをさらに設けるようにさせることができ、グループ情報記憶手段には、撮像手段により撮像された送信装置の画像上の撮像位置を、データ解析手段により抽出された送信装置の属するグループの情報と共に記憶させるようにすることができる。
【００３５】
前記撮像手段により撮像された複数の送信装置のうちのいずれかを選択する第２の選択手段をさらに設けるようにさせることができ、グループ内要素抽出手段には、第２の選択手段によって選択された送信装置のグループに属する送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置もグループ情報記憶手段より抽出させるようにすることができる。
【００３６】
前記第２の選択手段によって選択された送信装置のグループに属する複数の送信装置の、撮像装置により撮像された画像上のそれぞれの撮像位置、および、送信装置位置情報記憶手段に記憶された、複数の送信装置の空間内の位置情報に基づいてその他の画像が合成される位置を計算する第２の測定位置計算手段と、その他の画像が合成される位置までの距離を測定する第２の距離測定手段と、第１の距離測定手段により測定された距離と、第２の距離測定手段により測定された距離との差分を計算する差分計算手段とをさらに設けるようにさせることができ、加工手段には、差分計算手段により計算された差分に基づいて、画像入力手段により入力されたその他の画像を加工させるようにすることができる。
【００３７】
前記加工手段には、差分計算手段により計算された差分に基づいて、画像入力手段により入力されたその他の画像をぼかし加工させるようにすることができる。
【００３８】
本発明の画像処理方法は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する第１の選択ステップと、第１の選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、第１の距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御ステップと、撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、画像入力ステップの処理で入力されたその他の画像を加工する加工ステップと、加工ステップの処理で加工されたその他の画像と、撮像ステップの処理で撮像された画像とを合成する合成ステップと、合成ステップの処理で合成された画像を表示する表示ステップとを含むことを特徴とする。
【００３９】
本発明の第２の記録媒体のプログラムは、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する第１の選択ステップと、第１の選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、第１の距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御ステップと、撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、画像入力ステップの処理で入力されたその他の画像を加工する加工ステップと、加工ステップの処理で加工されたその他の画像と、撮像ステップの処理で撮像された画像とを合成する合成ステップと、合成ステップの処理で合成された画像を表示する表示ステップとを含むことを特徴とする。
【００４０】
本発明の第２のプログラムは、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する第１の選択ステップと、第１の選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、第１の距離測定ステップの処理で測定された距離に基づいて、撮像手段の焦点を合わせる制御を行う焦点制御ステップと、撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、画像入力ステップの処理で入力されたその他の画像を加工する加工ステップと、加工ステップの処理で加工されたその他の画像と、撮像ステップの処理で撮像された画像とを合成する合成ステップと、合成ステップの処理で合成された画像を表示する表示ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００４１】
本発明の焦点制御装置および方法、並びに第１のプログラムにおいては、所定の点滅パターンで発光し、データを送信する複数の送信装置が撮像され、撮像された複数の送信装置のうちのいずれかが選択され、選択された送信装置に基づいて、撮像された画像上の対象までの距離が測定され、測定された距離に基づいて、焦点を合わせる制御が行われる。
【００４２】
本発明の画像処理装置および方法、並びに第２のプログラムにおいては、所定の点滅パターンで発光し、データを送信する複数の送信装置が撮像され、撮像された複数の送信装置のうちのいずれかが選択され、選択された送信装置に基づいて、撮像された画像上の対象までの距離が測定され、測定された距離に基づいて、焦点を合わせる制御が行われ、撮像された画像とは異なる、その他の画像が入力され、入力されたその他の画像が加工され、加工されたその他の画像と、撮像された画像とが合成され、合成された画像が表示される。
【００４３】
本発明の焦点制御装置、または、画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００４４】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４５】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００４６】
即ち、本発明の焦点制御装置は、所定の点滅パターンで発光し、データを送信する複数の送信装置（例えば、図１の光ビーコン２−１乃至２−Ｎ）を撮像する撮像手段（例えば、図１のＩＤ認識カメラ１１）と、撮像手段により撮像された複数の送信装置のうちのいずれかを選択する選択手段（例えば、図１のフォーカス位置選択部１３）と、選択手段により選択された送信装置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定する距離測定手段（例えば、図１の距離測定部１７）と、距離測定手段で測定された距離に基づいて、焦点を合わせるようにする制御する焦点制御手段（例えば、図１のフォーカス制御部１９）とを備えることを特徴とする。
【００４７】
本発明の焦点制御相方法は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップ（例えば、図１１のステップＳ１の処理）と、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する選択ステップ（例えば、図１１のステップＳ３，Ｓ４の処理）と、選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップ（例えば、図１１のステップＳ７の処理）と、距離測定ステップの処理で測定された距離に基づいて、焦点を合わせるようにする制御するフォーカス制御ステップ（例えば、図１１のステップＳ８の処理）とを含むことを特徴とする。
【００４８】
本発明の画像処理装置は、所定の点滅パターンで発光し、データを送信する複数の送信装置（例えば、図１４の光ビーコン２−１乃至２−８）を撮像する撮像手段（例えば、図１４のＩＤ認識カメラ２２１）と、撮像手段により撮像された複数の送信装置のうちのいずれかを選択する第１の選択手段（例えば、図１４のフォーカス位置選択部２２３）と、第１の選択手段により選択された送信装置に基づいて、撮像手段により撮像された画像上の対象までの距離を測定する第１の距離測定手段（例えば、図１４の距離測定部２２７）と、第１の距離測定手段で測定された距離に基づいて、焦点を合わせるようにする制御する焦点制御手段（例えば、図１４のフォーカス制御部２２９）と、撮像手段により撮像された画像とは異なる、その他の画像を入力する画像入力手段（例えば、図１４の画像入力部２５６）と、画像入力手段により入力されたその他の画像を加工する加工手段（例えば、図１４のぼかし処理部２５７）と、加工手段により加工されたその他の画像を、撮像手段により撮像された画像に合成する合成手段（例えば、図１４の画像合成部２５９）と、合成手段により合成された画像を表示する表示手段とを備えることを特徴とする。
【００４９】
本発明の画像処理方法は、所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップ（図１１のフローチャートのステップＳ１の処理）と、撮像ステップの処理で撮像された複数の送信装置のうちのいずれかを選択する第１の選択ステップ（図１１のフローチャートのステップＳ３，Ｓ４の処理）と、第１の選択ステップの処理で選択された送信装置に基づいて、撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップ（図１１のフローチャートのステップＳ７の処理）と、第１の距離測定ステップの処理で測定された距離に基づいて、焦点を合わせるようにする制御する焦点制御ステップ（図１１のフローチャートのステップＳ８の処理）と、撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップ（図１５のフローチャートのステップＳ４２，Ｓ４３の処理）と、画像入力ステップの処理で入力されたその他の画像を加工する加工ステップ（図１５のフローチャートのステップＳ４９の処理）と、加工ステップの処理で加工されたその他の画像を、撮像ステップの処理で撮像された画像に合成する合成ステップ（図１５のフローチャートのステップＳ５１の処理）と、合成ステップの処理で合成された画像を表示する表示ステップ（図１５のフローチャートのステップＳ５２の処理）とを含むことを特徴とする。
【００５０】
図１は、本発明を適用した撮像部１の一実施の形態の構成を示すブロック図である。
【００５１】
撮像部１は、画像を撮像すると共に、撮像した領域に光ビーコン２−１乃至２−Ｎを含む場合、光ビーコン２−１乃至２−Ｎの点滅パターンにより取得されるＩＤデータに基づいて、予め記憶されている光ビーコン２−１乃至２−Ｎの情報からフォーカスを制御する。
【００５２】
光ビーコン２−１乃至２−Ｎは、所定の発光パターンで光を発することによりデータを送信するものであり、データを送信する送信装置として機能する。このデータは、ＩＤデータと呼ばれるものであり、光ビーコン２−１乃至２−Ｎをそれぞれ識別するものであるが、転送可能なデータ量に余裕があるため、その他のデータを含めて送信することも可能である。例えば、ＩＤデータに含められるデータとしては、コンテンツデータ（画像データ、音声データ、または、テキストデータなど）、リンク先データ（ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、アドレス、ホストネームなどのデータ）、および、自らが所属するグループを識別するグループ識別データなどがあるが、これらに限るものではなく、電子データとして管理できるデータであれば含めて送信することが可能である。このように、光ビーコン２−１乃至２−４は、その発光パターンを変化させることによりＩＤデータのみならず、様々なデータを送信することができる。尚、ここでは、ＩＤデータに、各光ビーコン２−１乃至２−Ｎのそれぞれの空間内の位置を示す情報（空間内の位置を示す座標）も含まれている。
【００５３】
また、ここでいう自らが所属するグループを識別するグループ識別データとは次のようなものである。例えば、図１においては、点線で囲まれる、複数の光ビーコン２の群はグループと称され、これらのグループを識別するデータがグループ識別データとなる。したがって、今の場合、光ビーコン２−１乃至２−４は、同一のグループに属しているので、同一のグループ識別データを含んだ点滅パターンで発光する。
【００５４】
光ビーコン２−１乃至２−Ｎは、現実空間内の所定の位置に配置されている。尚、以下の説明において、光ビーコン２−１乃至２−Ｎを特に区別する必要がないとき、単に、光ビーコン２と称する。
【００５５】
撮像部１のＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）認識カメラ１１は、撮像した画像データを表示部３とＩＤ情報解析部１２に出力すると共に、撮像された光ビーコン２から発せられている発光パターンからＩＤデータと位置データを取得し、ＩＤ情報解析部１２に出力する。また、ＩＤ認識カメラ１１の光学ユニット１１ａは、複数のレンズや、それらのレンズを駆動させてフォーカス制御部１９を制御する機構を備えており、フォーカス制御部１９から供給される制御信号に基づいて、焦点位置を制御する（フォーカスを制御する）。
【００５６】
ＩＤ情報解析部１２は、ＩＤ認識カメラ１１より取得されたＩＤデータと位置データを解析して、各光ビーコン２のＩＤデータに含まれているグループ識別情報、および、各光ビーコン２に対応する撮像された画像上の撮像位置情報を、撮像された画像から求め、フォーカス位置選択部１３、および、グループ情報記憶部１４に出力すると共に、ＩＤデータに含まれている各光ビーコン２の空間上の位置情報を光ビーコン位置記憶部１８に出力する。
【００５７】
フォーカス位置選択部１３は、キーボード、マウス、タブレットボタン、または、ジョイスティックなどにより構成され、ユーザが表示部３に表示される画像をみながら、自らが焦点を合わせたい位置に存在する、または、その付近に存在する光ビーコン２を選択するとき操作される。フォーカス位置選択部１３は、ユーザによる操作内容に対応して、選択された光ビーコン２を指定する信号（選択された光ビーコンのＩＤを示す信号）を生成して、グループ内要素抽出部１５に出力する。
【００５８】
グループ情報記憶部１４は、ＩＤ情報解析部１２より供給された光ビーコン２のそれぞれを識別する情報、それぞれの光ビーコン２の所属するグループ識別情報および、撮像された画像上の位置情報を記憶する。
【００５９】
グループ内要素抽出部１５は、フォーカス位置選択部１３より供給されたユーザにより選択されている光ビーコン２のグループ識別情報と同一の全ての光ビーコン２の撮像画像上の位置情報を、グループ情報記憶部１４より抽出し、距離測定位置計算部１６に出力する。
【００６０】
距離測定位置計算部１６は、グループ内要素抽出部１５より供給されてくるユーザにより選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報に基づいて、空間内の焦点を合わせる距離測定位置、すなわち、測距点となる画像上の位置（座標）を計算し、計算により求められた距離測定位置（測距点の画像上の座標）の情報と共に、グループ内要素抽出部１５より供給されてきたユーザにより選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報を距離測定部１７に出力する。尚、距離測定位置の計算方法については後述する。
【００６１】
距離測定部１７は、距離測定位置計算部１６を介して供給されてくるユーザにより選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報（撮像された画像上の座標）と、光ビーコン位置記憶部１８に記憶されている各光ビーコン２の空間内の位置情報（空間内の座標）に基づいて、撮像部１１からフォーカス位置として選択された光ビーコン２と同一グループに属する複数の光ビーコン２から構成される面（の重心位置：距離測定位置）までの距離（フォーカス距離）を求めてフォーカス制御部１９に出力する。
【００６２】
フォーカス制御部１９は、距離測定部１７より供給されてくるフォーカス距離（焦点を合わせる位置までの距離）に基づいて、光学ユニット１１ａを制御する信号を光学ユニット１１ａに供給し、光学ユニット１１ａの焦点距離を制御する（フォーカス制御を実行する）。
【００６３】
ここで、図２を参照して、ＩＤ認識カメラ１１の詳細な構成について説明する。イメージセンサ３１の受光部４１は、撮像される対象となる撮像領域３の光を電気信号に光電変換した後、演算部４２に出力する。また、受光部４１の受光素子５１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子からなり、従来のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子よりも高速に動作することができる。より詳細には、受光素子５１が、撮像される対象となる撮像領域３の光を光電変換し、増幅器５２に出力する。増幅器５２は、受光素子５１より入力される光電変換された電気信号を増幅して、演算部４２に出力する。
【００６４】
演算部４２の記憶部６１は、受光部４１より入力された増幅されている電気信号を記憶し、適宜比較部６２に出力する。比較部６２は、記憶部６１に記憶された電気信号の値に基づいて、演算処理を行い、演算結果を所定のリファレンス値（＝基準信号レベル）と比較して、比較結果を出力部６３に出力する。出力部６３は、比較結果に基づいてセンサ出力信号を生成してデータ生成部３２に出力する。但し、演算部４２の処理内容は、画像モードとＩＤモードの２つの動作モードにより異なる。尚、この２つの異なる動作モードによる演算内容の詳細については後述する。
【００６５】
データ生成部３２の画像デコード処理部７１は、画像モードの場合、センサ出力信号をデコード処理して撮像画像を生成して、画像合成部１４に出力する。また、ＩＤモードの場合、ＩＤデコード処理部７２は、センサ出力信号をデコード処理してＩＤデータと位置データを生成し、表示位置取得部１２、リンク先データ解析部１６、およびＩＤ画像変換部２０に出力する。
【００６６】
次に、図３を参照して、画像デコード処理部７１の詳細な構成について説明する。画像デコード処理部７１の画素値決定部８１は、センサ出力信号に基づいて画素値を決定し、フレームメモリ８２の対応する画素位置に決定した画素値を記憶させる。フレームメモリ８２は、１フレーム分の画素値を記憶するメモリであり、画素位置毎に画素値を記憶する。
【００６７】
出力部８３は、フレームメモリ８２に１フレーム分の画素値が記憶されたとき、順次画像データとして読出し、出力する。
【００６８】
次に、図４を参照して、ＩＤデコード処理部７２の詳細な構成について説明する。ＩＤデコード部１０１のＩＤデコード回路１１１は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのデバイスにより構成されており、イメージセンサ３１から入力されるセンサ出力信号より各画素のＩＤデータを復元する。このＩＤデコード回路１１１は、処理能力が十分であれば、マイクロプロセッサやＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）によってソフトウェアで構成するようにしても良い。
【００６９】
フラグレジスタ１１２は、ＩＤデータをデコードするために必要なフラグ類を記憶するためのレジスタであり、データレジスタ１１３は、デコード途中またはデコードを完了したＩＤを記憶しておくためのレジスタである。
【００７０】
尚、図４においては、ＩＤデコード部１０１は、１個のみが示されているが、処理速度の要求により、例えば、各画素毎に設けるようにしてもよいし、垂直方向、または、水平方向のライン毎に設けるようにしても良い。
【００７１】
タイミング制御部１０２は、ＩＤデコード処理部７２の全体の動作に必要なタイミングを制御するタイミング制御信号を出力する。より具体的には、タイミング制御部１０２は、ＩＤデコード回路１１１とセンサ出力信号のタイミングの同期をとり、所望のセンサ出力信号に対して、対応するフレームメモリ１０３のフラグデータをフラグレジスタ１１２に、ＩＤデータをデータレジスタ１１３に、それぞれロードして、ＩＤデコード処理を進めるためのタイミング制御信号を生成し、ＩＤデコード部１０１（のＩＤデコード回路１１１、フラグレジスタ１１２、および、データレジスタ１１３）に供給する。また、このとき、タイミング制御部１０２は、フレームメモリ１０３へのアドレス信号、リードライトなどのタイミング制御信号を生成し供給する。さらに、タイミング制御部１０２は、重心計算部１０４のＩＤレジスタ１２１、および、ＩＤ重心計算回路１２２、並びに、ＩＤ座標格納メモリ１０５のタイミング制御を行うタイミング制御信号を生成して供給する。
【００７２】
フレームメモリ１０３は、受光素子５１、または演算部４２毎に演算されたセンサ出力信号がデコードされたＩＤデータとフラグデータを格納するメモリであり、イメージセンサ３１が１画素につき１個の演算部４２をもつ場合には、センサの画像サイズであるＭ画素×Ｎ画素と同じサイズとなり、データ幅はフラグレジスタ１１２とデータレジスタ１１３のビット幅の和で構成される。図４においては、各画素の位置に対応する座標が、Ｉ軸とＪ軸により示されており、それぞれの座標位置にＩＤデータとフラグデータが格納される。
【００７３】
重心計算部１０４は、同一のＩＤデータを持つ撮像画像上の画素の重心位置の座標を求め、ＩＤデータに、光ビーコン２の検出位置としての位置データ（＝光ビーコン２の撮像画像上の位置データ）を付して出力する。より詳細には、重心計算部１０４のＩＤレジスタ１２１は、タイミング制御部１０２より入力される所定のＩＤデータがデコード部１０１よりデコードされたことを示すタイミング制御信号によりフレームメモリ１０３に今記憶されたＩＤデータを読出し、ＩＤ重心計算回路１２２に出力する。ＩＤ重心計算回路１２２は、入力されたＩＤデータ毎に、対応する画素の座標位置のＩ座標とＪ座標、並びにデータの個数を順次加算してＩＤ座標格納メモリ１０５に記憶させる。また、ＩＤ重心計算回路１２２は、フレームメモリ１０３に１フレーム分のデータが格納されたとき、ＩＤ座標格納メモリ１０５よりＩＤ毎にＩ座標の和とＪ座標の和を、データの個数で割ることにより重心位置の座標を求めて、ＩＤデータと共に出力する。
【００７４】
次に、図５，図６を参照して、光ビーコン２の構成について説明する。
【００７５】
図５の光ビーコン２は、送信データ保存用メモリ１５１、点滅制御部１５２、発光部１５３から構成される。送信データ保存メモリ１５１は、予め送信するためのデータを記憶しており、適宜読み出して点滅制御部１５２に出力する。点滅制御部１５２は、発信器とＩＣ，ＡＳＩＣ，ＦＰＧＡ、ワンチップマイコンなどのデジタル回路によって構成されており、送信データ保存用メモリ１５１に記憶されたデータの内容に基づいて、点滅パターンを発生させると共に、発生された点滅パターンで発光部１５３を発光させる。発光部１５３は、高速に点滅することができる光源であれば良く、出力波長もセンサが反応する範囲であれば良い。また、発光部１５３が発する光は、可視光だけではなく、赤外域などでもよく、応答速度や、寿命の点から、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）は最適な光源の１つであるといえる。
【００７６】
また、図６は、図示せぬネットワークを介して他の装置と通信することによりデータを可変とすることが可能な光ビーコン２のその他の構成を示している。このため、図６においては、送信データ保存用メモリ１５１に替えて、データ送受信部１６１が設けられている。ここでネットワークとは、有線・無線の通信回線、例えば電話回線、ＩＳＤＮ、ＲＳ−２３２Ｃ、ＲＳ−４２２、Ｅｔｈｅｒｎｅｔ（Ｒ）（１０ｂａｓｅ−Ｔ，１００ｂａｓｅ−Ｔ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＢｌｕｅＴｏｏｔｈなどの通信手段により他の装置とデータ通信ができる環境をいう。また、データ送受信部１６１は、この通信手段に対応するデータ通信用ＩＣ及びドライバから構成されており、ネットワークを介して受信した光ビーコン２の送信データを、点滅制御部１５２に出力する。点滅制御部１５２は、送信データに基づいて、点滅パターンを発生し、データに応じた点滅パターンで発光部１５３を発光させる。
【００７７】
次に、ＩＤ認識カメラ１１の動作について説明する。
【００７８】
受光部４１の受光素子５１は、光を光電変換し、変換した電気信号を増幅部５２に出力する。増幅部５２は、電気信号を増幅して演算部４２に出力する。演算部４２の記憶部６１は、受光部４１より入力された電気信号を順次記憶して、４フレーム分の電気信号を記憶し、いっぱいになると、最も古いフレームの電気信号を消去して、最新のフレームの電気信号を記憶する処理を繰り返して、常に最新の４フレーム分の電気信号を記憶しており、その４フレーム分の電気信号を比較部６２に出力する。
【００７９】
比較部６２の動作は、画像モードとＩＤモードにより異なる。この動作モードは、例えば、図７で示すように図示せぬ制御装置により、所定の時間間隔で交互に切り替えるようにしてもよい。また、画像モードとＩＤモードがそれぞれ３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）や６０ｆｐｓといった従来のフレームレートで切り替えられるようにしても良い。さらに、ＩＤモードには、ＩＤデータをデコードするＩＤデコード処理区間と、デコードされたＩＤデータを持つ画素の座標位置としての位置データを求めるＩＤ重心計算区間がある。
【００８０】
尚、図７においては、画像モードとＩＤモードが同時間の場合を示しているが、それぞれの動作モードの時間は、同時間でも良いし、同時間でなくてもよい。また、図７の下段で示すように、各画像モードの後のタイミングでは、画像デコード処理部７１により、センサ出力信号がデコードされて撮像画像の画像データが出力され、ＩＤモードの後のタイミングで、ＩＤデコード処理部７２により、センサ出力信号がデコードされてＩＤデータと位置データが出力される。
【００８１】
まず、画像モードの場合の動作について説明する。
【００８２】
画像モードの場合、イメージセンサ３１の比較部６２は、各画素の受光部４１で検出した輝度を示す信号レベル（記憶部６１に記憶された電気信号）を、基準信号レベルと比較して、図８で示すように、基準信号レベルよりも低くなったときに、図９で示すようにアクティブになるような信号（図９中の１の信号）を出力する。
【００８３】
ここで、図８は、輝度信号レベルを示しており、図９は、センサ出力信号を示している。輝度信号レベルは、実質的に受光素子５１の充電電圧の変化を示している。受光素子５１は、所定のタイミングで充電される電圧と逆極性の所定のリセットレベルの電圧が印加され、その後のタイミングから受光素子により蓄積される電荷量に対応して電圧レベルが低下する。従って、図８においては、時刻０において蓄積される電荷は０であるので、輝度信号レベルは、リセットレベル（所定のレベル）となっている。この状態から時間が経過するに従って、電荷が蓄積されて、輝度信号レベルが低下する。今の場合、図８中のＨで示す直線が、比較的輝度信号レベルの高い（明るい）画素値として、Ｌで示す直線が、比較的輝度信号レベルの低い（暗い）画素値として示されている。
【００８４】
画素値のレベルが高い輝度信号レベルの変化Ｈは、時刻０から時間Ｔ（Ｈ）だけ経過したタイミングである時刻Ｔ（Ｈ）において、基準信号レベルに達する電荷が蓄積されていることが示されている。一方、画素値のレベルが低い輝度信号レベルの変化Ｌは、時刻０から時間Ｔ（Ｌ）だけ経過したタイミングである時刻Ｔ（Ｌ）において、基準信号レベルに達する電荷が蓄積されていることが示されている。
【００８５】
すなわち、図８で示すように、明るい画素ほど基準信号レベルに達する時間が短く（図中Ｔ（Ｈ））、暗い画素ほど基準信号レベルに達する時間（図中Ｔ（Ｌ））が長くなる（Ｔ（Ｈ）＜Ｔ（Ｌ））。比較部６２は、実際の受光部４１より出力される各画素の電気信号（輝度信号）が、前記基準信号レベルに達したかどうかの比較結果（コンパレータ出力）を図９で示すように２値のセンサ出力信号として出力する。このような処理により、イメージセンサ３１は、画像を高速に撮像して基準信号との比較演算を行い、１画面（フレーム）分の結果をセンサ出力信号として出力する。
【００８６】
さらに、画像デコード処理部７１の画素値決定部８１は、この時間Ｔ（Ｈ），Ｔ（Ｌ）を計測するために、このイメージセンサ３１が１画面単位で出力する結果を、フレーム単位でカウントし、各画素で何番目のフレームでセンサ出力信号が図９で示すようにアクティブになるかを示すセンサ出力信号をエンコードして画像データとして出力する。今の場合、センサ出力信号は、時刻Ｔ（Ｈ）が、フレーム数Ｆ（Ｈ）であり、時刻Ｔ（Ｌ）が、フレーム数Ｆ（Ｌ）である。
【００８７】
すなわち、画像モードの場合、画像デコード処理部７１の画素値決定部８１が、このセンサ出力信号を正しい明るさの値に変換するために、この基準信号に到達するまでの時間（フレーム数）の逆数を各画素毎に計算することで、センサ出力信号を画像データにデコードし、フレームメモリ８２に記憶させる。そして、１フレーム分の画像データが蓄積された時、出力部８３は、フレームメモリ８２に記憶された画素値を画像データとして順次読出して出力する。この動作により、ＩＤ認識カメラ１１は、画像モードにおいて画像データを出力することができる（詳細は、４８Ｋｆｒａｍｅｓ／ｓ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｆｏｒ Ｒｅａｌ−ｔｉｍｅ ３−Ｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｏｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ” ＩＳＳＣＣ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ， ｐｐ．９４−９５， Ｆｅｂ．２００１、または、特開２００１−３２６８５７を参照されたい）。
【００８８】
一方、動作モードがＩＤモードの場合、比較部６２は、記憶部６１に記憶されている時間的に連続する４フレーム分の電気信号を輝度信号として以下の式（１）のような演算処理を実行する。
Ｖ（Ｎ）＝Ｆ（Ｎ）＋Ｆ（Ｎ−１）−Ｆ（Ｎ−２）−Ｆ（Ｎ−３）・・・（１）
【００８９】
ここで、Ｎはフレーム番号を表し、Ｖ（Ｎ）は、Ｎフレーム目の輝度値が入力された時点での比較値を示し、Ｆ（Ｎ）はＮフレーム目の受光部４１に蓄積された輝度を示す。この演算により、光の変化を検出することができるため、その演算結果をセンサ出力信号としてデータ生成部３２に出力する。データ生成部３２は、このセンサ出力信号を用いて、後述するＩＤデコード処理を行うことで、点滅パターンからなるＩＤデータを復元し、光ビーコン２からのＩＤデータを生成することが可能となる。
【００９０】
尚、比較部６２の演算方法は、式（１）に限るものではなく、他の演算（１次微分や２値化画像の比較など）によって実現するようにしてもよいが、以下の説明においては、光変化の検出の安定性の高い、式（１）を用いて説明するものとする。
【００９１】
ここで、ＩＤデコード処理部７２の動作について説明する。
【００９２】
ＩＤデコード部１０１のＩＤデコード回路１１１は、タイミング制御部１０２からのセンサ出力信号のタイミングの同期を図るためのタイミング制御信号に基づいて、イメージセンサ３１から入力されるセンサ出力信号より各画素のＩＤデータを復元する。この際、ＩＤデコード回路１１１は、タイミング制御信号に応じて、フラグレジスタ１１２を制御して、フレームメモリ１０３にロードされたフラグデータを用いて、センサ出力信号からＩＤデータをデコードし、デコード途中またはデコードを完了したＩＤをデータレジスタ１１３に記憶させる。
【００９３】
さらに、フレームメモリ１０３は、これらのデコード処理がなされたフラグデータとＩＤデータを対応する座標位置に格納する。
【００９４】
重心計算部１０４のＩＤレジスタ１２１は、タイミング制御部１０２より入力される所定のＩＤデータがデコード部１０１よりデコードされたことを示すタイミング制御信号により、フレームメモリ１０３に今記憶されたＩＤデータの情報をＩＤ重心計算回路１２２に読み出させる。
【００９５】
ＩＤ重心計算回路１２２は、読み出したＩＤデータに対応する画素の座標位置のＩ座標とＪ座標を順次加算して、これに画素の個数の情報を付してＩＤ座標格納メモリ１０５に記憶させ、この処理を繰り返す。
【００９６】
そして、フレームメモリ１０３に１フレーム分のデータが格納されたとき、ＩＤ重心計算回路１２２は、ＩＤ座標格納メモリ１０５よりＩＤ毎にＩ座標の和とＪ座標の和を、データの個数で割ることにより重心位置の座標を位置データとして求めて、対応するＩＤデータと共に出力する。
【００９７】
以上の動作により、例えば、図１０で示すように、２個の光ビーコン２−１，２−２が、点滅しながら発光してデータを送信する場合、ＩＤ認識カメラ１１には、図１０上部に示すような現実空間上の光ビーコン２−１，２−２の物理的な位置に応じた、撮像画像上の位置の画素で光の信号を受光する。例えば、光ビーコン２−１から発せられた光が座標位置（１０，１０）の受光素子５１で受光されるものとし、光ビーコン２−２から発せられた光が座標位置（９０，９０）の受光素子５１で受光されるものとする。このとき、各受光部４１の座標位置（１０，１０）と（９０，９０）の受光素子５１では、それぞれが光ビーコン２−１と２−２の点滅パターンにより受光強度（明るさ）の時間的変化として信号を受信することができる。今の場合、座標（１０，１０）の位置データに対応する画素は、ＩＤデータとして「３２１」が、座標（９０，９０）の位置データに対応する画素は、ＩＤデータとして１０５がデコード結果として求められている。
【００９８】
結果として、この受光強度の変化を上述の式（１）などにより２値化することにより１／０のビット列からなるＩＤデータを取得する事ができる。
【００９９】
尚、図１で示される光ビーコン２と撮像部１は、相互に機能することにより撮像処理を実現させることになるので、撮像システムを構成しているとも言える。
【０１００】
次に、図１１のフローチャートを参照して、撮像部１によるフォーカス制御処理について説明する。
【０１０１】
ステップＳ１において、ＩＤ認識カメラ１１は、例えば、図１で示すように、撮像領域を撮像し、その中に含まれる光ビーコン２−１乃至２−ＮのＩＤデータとその位置データを取得すると共に、撮像画像の画像データを生成し、ＩＤデータ、および、位置データをＩＤ情報解析部１２に、撮像した画像データを表示部３、および、ＩＤ情報解析部１２にそれぞれ出力する。このとき、表示部３は、入力された画像データに対応する画像を表示する。
【０１０２】
ステップＳ２において、ＩＤ情報解析部１２は、ＩＤ認識カメラ１１より入力されたＩＤデータ、および、位置データ、並びに撮像された画像データに基づいて、各光ビーコン２のＩＤ、空間内の位置情報、撮像された画像上の撮像位置情報、および、グループ識別情報を取得し、取得したＩＤ、撮像された画像上の位置情報、および、各光ビーコン２のグループ識別情報をフォーカス位置選択部１３、および、グループ情報記憶部１４に供給して記憶させると共に、各光ビーコン２の空間内の位置情報を光ビーコン位置情報記憶部１８に供給し、記憶させる。
【０１０３】
ステップＳ３において、フォーカス位置選択部１３は、フォーカス位置が選択されたか否かを判定する。すなわち、フォーカス位置選択部１３は、ユーザが表示部３に表示された画像を見ながら、撮像された光ビーコン２のうちで、自らがフォーカスを合わせたいと思う画像上の位置に最も近い光ビーコン２を、キーボードなどを操作して図示せぬ画像上のポインタなどが操作されることにより選択されたか否かを判定する。
【０１０４】
ステップＳ３において、ユーザが、フォーカス位置選択部１３を操作して、撮像された画面上のいずれかの光ビーコン２が選択されていないと判定された場合、その処理は、ステップＳ１に戻り、いずれかの光ビーコン２が選択されるまで、ステップＳ１乃至Ｓ３の処理が繰り返される。
【０１０５】
ステップＳ３において、ユーザが、フォーカス位置選択部１３を操作して、撮像された画面上のいずれかの光ビーコン２が選択された場合、ステップＳ４において、フォーカス位置選択部１３は、撮像された画像上のいずれかの光ビーコン２が選択されたと判定し、ユーザにより選択されたフォーカス位置に最も近い光ビーコン２のＩＤをグループ内要素抽出部１５に出力し、その処理は、ステップＳ５に進む。
【０１０６】
ステップＳ５において、グループ内要素抽出部１５は、フォーカス位置選択部１３より供給された、選択された光ビーコン２のＩＤ情報に基づいて、フォーカス位置選択部１３がユーザによって操作されて、選択された光ビーコン２のグループと同一のグループに属する全ての光ビーコン２の画像上の撮像位置情報をグループ情報記憶部１４より抽出し、距離測定位置計算部１６に出力する。
【０１０７】
すなわち、例えば、図１で示される光ビーコン２−１乃至２−４が同一のグループであり、その他の光ビーコン２−５乃至２−Ｎがその他のグループである場合、表示部３に表示された光ビーコン２の画像を見ながら、ユーザがフォーカス位置選択部１３を操作して、自らのフォーカスを定めたい位置の最も近い光ビーコン２として、光ビーコン２−１を選択したとき、フォーカス位置選択部１３は、選択された光ビーコン２−１のＩＤの情報をグループ内要素抽出部１５に出力する（ステップＳ４の処理）。
【０１０８】
さらに、グループ内要素抽出部１５は、この選択された光ビーコン２−１を識別するＩＤに基づいて、選択された光ビーコン２−１と同一のグループ識別情報を持つ全ての光ビーコン２、すなわち、今の場合、光ビーコン２−１乃至２−４の撮像画像上の撮像位置情報を読み出して、距離測定位置計算部１６に出力する。
【０１０９】
ステップＳ６において、距離測定位置計算部１６は、グループ内要素抽出部１５より供給された、ユーザにより選択された光ビーコン２と同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報から、距離を測定する位置を計算し、求められた距離測定位置の情報（画像上の位置情報）を距離測定部１７に供給する。
【０１１０】
より詳細には、距離測定位置計算部１６は、グループ内要素抽出部１５より供給された、ユーザにより選択された光ビーコン２のグループに属する全ての光ビーコン２の撮像された画像上の位置情報から、その重心位置を求めて、求められた重心位置を距離測定位置の位置情報として距離測定部１７に供給する。
【０１１１】
すなわち、今の場合、図１で示される光ビーコン２−１が選択されており、同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報として、光ビーコン２−１乃至２−４の撮像された画像上の位置情報が供給されている。光ビーコン２−ｉの画像上の位置情報が座標（Ｘｉ，Ｙｉ）であるとすれば、距離測定位置となる重心位置（ＸＧ，ＹＧ）は、以下の式（２）により求められる。
【数１】
ステップＳ７において、距離測定部１７は、ユーザにより選択された光ビーコン２付近までの焦点距離、すなわち、ユーザにより選択された光ビーコン２のグループに属する全ての光ビーコン２からなる面上の上述の距離計測位置までの距離（：フォーカス距離）を計算し、計算結果をフォーカス制御部１９に供給する。
【０１１３】
ここで、図１２のフローチャートを参照して、距離測定部１７によるフォーカス距離計算処理について説明する。
【０１１４】
ステップＳ２１において、距離測定部１７は、ＩＤ認識カメラ１１の測定位置を基準とした座標系を、空間位置（光ビーコン２の位置を特定する空間内の位置）を特定する座標系に変換する変換行列と、ＩＤ認識カメラ１１の光学ブロック１１ａに採用されているレンズの持つ焦点距離固有値ｆを求める。尚、以下においては、ＩＤ認識カメラ１１の測定位置を基準とした座標系をカメラ座標と称し、空間位置を特定する座標系をワールド座標と称し、さらに、変換行列を単に行列Ｕと称する。
【０１１５】
従って、距離測定部１７は、ステップＳ２１において、カメラ座標とワールド座標の関係を示す行列Ｕと焦点距離固有値ｆを求める。
【０１１６】
より詳細には、今の場合、距離測定部１７は、空間内の座標が既知である４個の光ビーコン２−１乃至２−４のワールド座標系の位置から、それらのカメラ座標系における重心位置を求め、その重心位置までの距離を求める。
【０１１７】
尚、以下の説明においては、図１３で示されるように、ＩＤ認識カメラ１１を基準としたカメラ座標系を（ｘｃ，ｙｃ，ｚｃ）とし、撮像された画像上の座標系を（Ｘ，Ｙ）、空間内の位置を示すワールド座標系を（ｘｗ，ｙｗ，ｚｗ）とそれぞれ定義する。ここで、これらの座標系の関係は、以下の式（３）で表される。
【０１１８】
【数２】
ここで、Ｕは上述した行列Ｕであり、ワールド座標系Ｗとカメラ座標系Ｃの変換行列である。そこで、式（３）は、Ｃ，Ｕ，Ｗのそれぞれの詳細を示すと以下の式（４）となる。
【０１２０】
【数３】
さらに、画像上の座標は、以下のような関係となる。
【数４】
ここで、ｆは、焦点距離固有値であり、光学ブロック１１ａで採用されている図示せぬレンズに固有の値である。
【０１２３】
従って、４個の光ビーコン２−１乃至２−４のワールド座標系における座標（ｘｗ，ｙｗ，ｚｗ）が既知であるので（今の場合、光ビーコン２の点滅パターンからＩＤ認識カメラ１１により、それぞれの光ビーコン２のワールド座標系の位置が取得されているので）、この行列Ｕを求めることが可能である。
【０１２４】
ここで、光ビーコン２−１乃至２−４が平面上に置かれているとすると、Ｚｗ＝０とすることができる。したがって、上記の式（４）は、以下の式（６）のように変形することが可能となる。
【０１２５】
【数５】
【０１２７】
次に、画像上の座標系（Ｘ，Ｙ）とワールド座標系との位置関係を求めるために、焦点距離固有値ｆを求める方法について説明する。ここで、式（６）は、焦点距離固有値ｆを行列Ｕの要素に含めた形とすることにより、以下の式（７）のように変形することができる。
【０１２８】
【数６】
ここで、式（７）におけるＸ，Ｙは、それぞれ以下の式（８）の関係を有する。
【０１３０】
【数７】
式（６）と式（７）の関係から、行列Ｖと行列Ｕの関係は、次に示す式（９）のような関係となる。
【０１３２】
【数８】
さらに、式（７）は、以下の式（１０）のように変形できる。ここで、ｕ１，ｕ２，ｕ４は３次元空間を張る基底直交ベクトルである。
【０１３４】
【数９】
ｕ１，ｕ２，ｕ３は３次元空間上の直交基底ベクトルであるので、ｕ３を以下の式（１１）のように定義することができる。
【０１３６】
【数１０】
ｕ１とｕ２は基底ベクトルであるから、次の２式の関係が成り立つ。
【０１３８】
【数１１】
【数１２】
したがって、焦点距離固有値ｆは、式（９）と式（１２）の関係から、以下の式（１４）の関係が成立することになる。
【０１４１】
【数１３】
また、式（９）と式（１３）の関係から、以下の式（１５）の関係が成立することなる。
【０１４３】
【数１４】
従って、距離測定部１７は、上記の式（１４）、または、式（１５）、並びに、式（９）の関係から、ＩＤ認識カメラ１１の測定位置を基準とした座標系を、空間位置（光ビーコン２の位置を特定する空間内の位置）を特定する座標系に変換する変換行列Ｕと、ＩＤ認識カメラ１１の光学ブロック１１ａに採用されているレンズの持つ焦点距離固有値ｆを求める。
【０１４５】
すなわち、距離測定部１７は、光ビーコン２−ｉの撮像位置をＰｉ＝（Ｘｉ，Ｙｉ）とすると、光ビーコン位置記憶部１８に記憶されている、光ビーコン２−ｉのワールド座標を読み出す。尚、読み出した光ビーコン２−ｉのワールド座標がｐｗｉ＝（ｘｗｉ，ｙｗｉ）と示すものとする。
【０１４６】
さらに、距離測定部１７は、式（３）の行列ＷとＣそれぞれに、上記ワールド座標ｐｗｄと対応する画像上のＰｄとを４点ずつ代入することにより、行列Ｕを求める。
【０１４７】
より詳細には、撮像された画像上にある同一のグループに属する光ビーコン２−１乃至２−４のワールド座標ｐｗｉ＝（ｘｗｉ，ｙｗｉ，０）と、それに対応する光ビーコン２−１乃至２−４の撮像位置Ｐｉ＝（Ｘｉ，Ｙｉ）との関係は、式（７），式（８）で与えられるので、距離測定部１７は、以下の式（１６），式（１７）のように展開する。
【０１４８】
【数１５】
【数１６】
ここで、要素ｖ３３はスケールファクタを持つため、ｖ３３＝１と置き、画像上にある光ビーコン２−ｉのワールド座標ｐｗｉ＝（ｘｗｉ，ｙｗｉ，０）と、それに対応する、光ビーコン２−ｉの撮像位置Ｐｉ＝（Ｘｉ，Ｙｉ）を光ビーコン２−１乃至２−４の４点について代入すると、以下の式（１８）が成り立つので、距離測定部１７は、以下の式（１８）の両辺に逆行列を乗じて、式（１９）のようにして展開し、行列要素ｖｉｊを求める。
【０１５１】
【数１７】
【数１８】
尚、ここで、Ａ，Ｘは、以下の式（２０）で示されるものである。また、ｉ，ｊは、それぞれ行列の行番号と列番号を示すパラメータである。
【０１５４】
【数１９】
そして、距離測定部１７は、ここで求めたＡの要素を式（９），式（１０），式（１４），式（１５）にそれぞれ代入することにより、焦点距離固有値ｆと、行列Ｕを求める。
【０１５６】
ステップＳ２２において、距離測定部１７は、距離測定位置計算部１６より供給された全ての光ビーコン２−ｉのワールド座標ｐｗｉ（ｘｗｉ，ｙｗｉ，ｚｗｉ）を、式（３）（実質的には、式（４））に代入し、対応するカメラ座標系におけるｐｃｉ（ｘｃｉ，ｙｃｉ，ｚｃｉ）を求める。
【０１５７】
ステップＳ２３において、距離測定部１７は、以下の式（２１）を用いて、求めた全ての光ビーコン２−ｉのカメラ座標系における重心位置ｐｃｇ＝（ｘｃｇ，ｙｃｇ，ｚｃｇ）を計算する
【０１５８】
【数２０】
ここで、Ｎは求めたカメラ座標の個数を示す。
【０１６０】
ステップＳ２４において、距離計算部１７は、求められた重心位置ｐｃｇと原点の距離を求め、焦点距離を決定してフォーカス制御部１９に出力する。すなわち、カメラ座標系における原点は、ＩＤ認識カメラ１１の位置となるので、距離計算部１７は、√（（ｘｃｇ）２＋（ｙｃｇ）２＋（ｚｃｇ）２）を焦点距離としてフォーカス制御部１９に出力する。
【０１６１】
尚、この計算方法については、例えば、中沢、中野、小松、斎藤共著「画像中の特徴点に基づく実写画像とＣＧ画像との動画合成システム」（映像情報メディア学会誌、Ｖｏｌ．５１， Ｎｏ．７， ｐｐ．１０８６−１０９５， １９９７）に開示されている。
【０１６２】
また、式（１４）と式（１５）から求められる焦点距離固有値ｆは、光ビーコン２の検出誤差から必ずしも一致しないが、中沢外著の論文（前述）には、式（１４）、および、式（１５）を利用した評価関数を最小にするような、検出誤差を抑制する手法も開示されている。
【０１６３】
さらに、３点の光ビーコン２の座標が既知である場合も、対象物体上の３点の位置から３次元位置及び姿勢を計測することが可能である。例えば、Ｒｏｂｅｒｔ Ｍ． Ｈａｒａｌｉｃｋ、 Ｃｈｕｎｇ−ｎａｎ Ｌｅｅ、 Ｋａｒｓｔｅｎ Ｏｔｔｅｎｂｅｒｇ、Ｍｉｃｈａｅｌ Ｎｏｌｌｅ共著の論文“Ａｎａｌｙｓｉｓ ａｎｄ Ｓｏｌｕｔｉｏｎｓ ｏｆ Ｔｈｅ Ｔｈｒｅｅ Ｐｏｉｎｔ Ｐｅｒｓｐｅｃｔｉｖｅ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ Ｐｒｏｂｌｅｍ”（Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｍａｕｉ， Ｈａｗａｉｉ， ＵＳＡ， ｐｐ．５９２−５９８， １９９１）を参照されたい。
【０１６４】
なお、ここでは、ＩＤ認識カメラ５から光ビーコン１までの距離を、光ビーコン１（送信装置）が発する（自身の）の空間上での位置情報に基づいて計測した例を示したが、光ビーコンまでの距離を別の測距手段で測距することも当然考えられる。
【０１６５】
また、ここでは、認識したＩＤが属するグループのカメラ座標の重心を距離測定位置として採用したが、任意の１つないし複数のＩＤ、あるいは、それらの情報に基づいて計算された位置を測距点として採用するようにしてもよい。
【０１６６】
ここで、図１１のフローチャートの説明に戻る。
【０１６７】
ステップＳ８において、フォーカス制御部１９は、距離測定部１７より供給された焦点距離情報に基づき、ＩＤ認識カメラ１１の光学ユニット１１ａを制御する。
【０１６８】
以上の処理により、撮像部１のＩＤ認識カメラ１１により撮像される画像は、ユーザの所望とする画像上の位置に焦点を合わせた画像を撮像することが可能となる。また、既知の光ビーコン２を用いてフォーカス制御を行うため、被写体がはっきりと撮像できる状態ではないような場合、すなわち、撮像位置と被写体の間に霞がかかった状態や、完全に光の無い暗闇を撮像するような場合、被写体を捕らえた上でしか、フォーカス制御ができなかった従来の手法とは異なり、光ビーコン２の発光パターンと、発光位置さえ確認できれば、ユーザの所望とする位置に正確にフォーカスを合わせることが可能となる。
【０１６９】
さらに、以上においては、撮像部１は上述の処置によりフォーカス制御をより正確なものとするため、撮像部１は、フォーカス制御装置（焦点制御装置）として機能している。
【０１７０】
また、以上においては、ユーザが所望とする画像内の位置までの空間的な距離を測定することで、その位置に正確にフォーカスを合わせる手法について説明してきたが、この光ビーコン２を用いた所定の位置までの距離を求める技術を応用して違和感の無い合成画像を生成することも可能である。
【０１７１】
すなわち、画像内の位置を複数に設定し、設定された複数の位置までの空間的な距離をそれぞれ求め、求められた位置までの距離に応じて、例えば、第１の位置までの空間的な距離に基づいて、フォーカスを合わせ、第２の位置までの空間的な距離に基づいて、撮像している画像上に合成させようとする画像をぼかすなどして、通常の撮像状態で発生する現象を再現した上で、ぼかし処理がなされた画像を撮像している画像上に合成するようにしてもよい。
【０１７２】
図１４は、光ビーコン２を用いてフォーカス制御を行い、さらに、撮像している画像上に、それとは異なるその他の画像を合成させようとする所望の位置までの空間的な距離に応じて、合成画像をぼかした上で合成する画像合成部２０１の構成を示すブロック図である。
【０１７３】
図１４の画像合成部２０１の撮像部２１１は、基本的に、図１を参照して説明した撮像部１と同一のものであり、図１４の撮像部２１１のＩＤ認識カメラ２２１、光学ユニット２２１ａ、ＩＤ情報解析部２２２、選択部２２３、グループ情報記憶部２２４、グループ内要素抽出部２２５、距離測定位置計算部２２６、距離測定部２２７、光ビーコン位置記憶部２２８、フォーカス制御部２２９は、図１の撮像部１のＩＤ認識カメラ１１、光学ユニット１１ａ、ＩＤ情報解析部１２、選択部１３、グループ情報記憶部１４、グループ内要素抽出部１５、距離測定位置計算部１６、距離測定部１７、光ビーコン位置記憶部１８、フォーカス制御部１９に対応するもので基本的に同様に機能を有する。
【０１７４】
ただし、ＩＤ認識カメラ２２１は、撮像した画像データを、画像合成部２５９を介して画像表示部２６０に供給している。尚、画像合成部２５９は、合成位置調整部２５８から合成しようとする画像のデータが供給されていない状態の場合、ＩＤ認識カメラ２２１で撮像された画像をそのまま画像表示部２６０に出力し表示させる。
【０１７５】
また、ＩＤ情報解析部２２２は、各光ビーコン２のＩＤデータに含まれているグループ識別情報、各光ビーコン２に対応する撮像された画像上の撮像位置情報を、撮像された画像から求め、フォーカス位置選択部２２３に加えて、合成位置選択部２５１にも出力する。
【０１７６】
さらに、グループ情報記憶部２２４は、グループ内要素抽出部２２５に加えて、グループ内要素抽出部２５２にもグループ識別情報に対応した情報を提供する。また、光ビーコン位置記憶部２２８は、距離測定部２２７のみならず、距離測定部２５４にも光ビーコン２のそれぞれの空間的な位置情報を供給する。さらに、距離測定部２２７は、測定した距離の情報をフォーカス制御部２２９のみならず、差分計算部２５５にも供給する。
【０１７７】
合成位置選択部２５１は、図１のフォーカス位置選択部１３と基本的に同様の機能を有するものであるが、ユーザが画像表示部２６０に表示される画像をみながら、自らが撮像している画像上に、それとは異なる画像を合成させたい位置に存在する、または、その付近に存在する光ビーコン２を選択するとき操作される。フォーカス位置選択部２５１は、ユーザによる操作内容に対応して、選択された光ビーコン２を指定する信号（選択された光ビーコンのＩＤを示す信号）を生成して、グループ内要素抽出部２５２に出力する。
【０１７８】
グループ内要素抽出部２５２は、図１のグループ内要素抽出部１５と同様のものであり、合成位置選択部２５１より供給されたユーザにより選択されている光ビーコン２のグループ識別情報と同一の全ての光ビーコン２の撮像画像上の位置情報を、グループ情報記憶部２２４より抽出し、距離測定位置計算部２５３に出力する。
【０１７９】
距離測定位置計算部２５３は、図１の距離測定位置計算部１６と同様のものであり、グループ内要素抽出部２５２より供給されてくるユーザにより選択された合成位置の光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報に基づいて、空間内の画像を合成する位置までの距離を測定する距離測定位置、すなわち、画像上の位置（座標）を計算し、計算により求められた距離測定位置（画像上の画像を合成させる位置の座標）の情報と共に、グループ内要素抽出部２５２より供給されてきたユーザにより選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報を距離測定部２５４、および、合成位置調整部２５８に出力する。
【０１８０】
距離測定部２５４は、図１の距離測定部１７と同様のものであり、距離測定位置計算部２５３を介して供給されてくるユーザにより合成位置として選択された光ビーコン２の属するグループと同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報（撮像された画像上の座標）と、光ビーコン位置記憶部２２８に記憶されている各光ビーコン２の空間内の位置情報（空間内の座標）に基づいて、撮像部２１１から同一グループに属する複数の光ビーコン２から構成される面（の重心位置：距離測定位置）までの距離を求めて差分計算部２５５に出力する。
【０１８１】
差分計算部２５５は、距離測定部２２７により測定されたフォーカスを合わせるために選択された位置から撮像部２１１までの距離（現実空間の距離）と、画像を合成するために選択された位置から撮像部２１１までの距離（現実空間の距離）との差分を求め、求められた差分をぼかし処理部２５７に出力する。
【０１８２】
画像入力部２５６は、今現在撮像されている画像に、合成しようとする画像を入力するために使用するものであり、例えば、記録媒体を装着するドライブであったり、または、合成しようとする画像を供給するパーソナルコンピュータなどとのインタフェース、すなわち、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子や、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４端子などである。
【０１８３】
ぼかし処理部２５７は、差分計算部２５５より供給される、フォーカスを合わせるために選択された位置から撮像部２１１までの距離と、画像を合成するために選択された位置から撮像部２１１までの距離との差分に基づいて、画像入力部２５６より供給された、撮像している画像上に、合成しようとする画像に、ぼかし処理を施して合成位置調整部２５８に出力する。
【０１８４】
合成位置調整部２５８は、ぼかし処理部２５７より供給された、ぼかし処理がなされた合成しようとする画像を、距離測定位置計算部２５３より供給された、画像を合成しようとするために選択された光ビーコン２のグループと、同一のグループに属する複数の光ビーコン２の重心位置となる画像上の位置情報に基づいて合成する画像の位置を調整して、画像合成部２５９に出力する。
【０１８５】
画像合成部２５９は、ＩＤ認識カメラ２２１より供給されてくる、今現在撮像している画像と、合成位置調整部２５８より供給されてくるぼかし処理がなされた画像を合成し、画像表示部２６０に出力して、表示させる。
【０１８６】
尚、図１４で示される光ビーコン２と画像合成部２０１は、相互に機能することにより画像合成処理を実現させることになるので、画像合成システムを構成しているとも言える。
【０１８７】
次に、図１５を参照して、図１４の画像合成部２０１による画像合成処理について説明する。
【０１８８】
ステップＳ４１において、フォーカス制御処理が実行される。すなわち、今撮像されている画像上の、ユーザの所望とする位置にフォーカスが調整された画像が撮像される。
【０１８９】
すなわち、例えば、図１４で示される壁５上に光ビーコン２−１乃至２−８が配置され、そのうち光ビーコン２−１乃至２−４が第１のグループに属し、光ビーコン２−５乃至２−８が第２のグループに属するものとした場合、ユーザが、フォーカス位置選択部２２３を制御して、フォーカスを合わせたい位置、または、その近傍の位置に存在する光ビーコン２として、光ビーコン２−１を選択したとき、撮像される画像は、図１４中の光ビーコン２−１乃至２−４で形成される形状の重心位置にフォーカス位置が設定されて、その位置にフォーカスの合った画像が撮像される。今の場合、図１４で示されるように距離ｄ１が焦点距離として求められ、対応するフォーカス制御がなされることになる。
【０１９０】
尚、ステップＳ４１の処理は、図１１を参照して説明したフォーカス制御処理と同様の処理であるので、その説明は省略する。また、図１４においては、壁５は、段差５ａによりそれぞれの画像合成部２０１からの距離が領域により異なっており、段差５ａを境界として、光ビーコン２−１乃至２−４が存在する領域（面）の方が、光ビーコン２−５乃至２−８が存在する領域（面）よりも画像合成部２０１に接近している。
【０１９１】
ステップＳ４２において、合成位置選択部２５１は、合成位置が選択されたか否かを判定する。すなわち、合成位置選択部２５１は、ユーザが画像表示部２６０に表示された画像を見ながら、撮像された光ビーコン２のうちで、自らが画像を合成したいと思う画像上の位置に最も近い光ビーコン２を、キーボードなどを操作して図示せぬ画像上のポインタなどにより選択されたか否かを判定する。
【０１９２】
ステップＳ４２において、ユーザが、合成位置選択部２５１を操作して、撮像された画面上のいずれかの光ビーコン２を選択していないと判定された場合、その処理は、ステップＳ４１に戻り、いずれかの光ビーコン２が選択されるまで、ステップＳ４１，Ｓ４２の処理が繰り返される。
【０１９３】
ステップＳ４２において、ユーザが、合成位置選択部２５１を操作して、撮像された画面上のいずれかの光ビーコン２が選択された場合、ステップＳ４３において、合成位置選択部２５１は、撮像された画像上のいずれかの光ビーコン２が選択されたとみなし、ユーザにより選択されたフォーカス位置に最も近い光ビーコン２のＩＤ情報をグループ内要素抽出部２５２に出力し、その処理は、ステップＳ４４に進む。
【０１９４】
ステップＳ４４において、グループ内要素抽出部２５２は、合成位置選択部２５１より供給された、選択された光ビーコン２のＩＤ情報に基づいて、合成位置選択部２５１がユーザによって操作されて、選択された光ビーコン２のグループに属する全ての光ビーコン２のグループ識別情報に分類される光ビーコン２の画像上の撮像位置情報をグループ情報記憶部２２４より抽出し、距離測定位置計算部２５３に出力する。
【０１９５】
すなわち、例えば、図１４で示される光ビーコン２−５乃至２−８が同一のグループである場合、画像表示部２６０に表示された光ビーコン２の画像を見ながら、ユーザが合成位置選択部２５１を操作して、自らの画像を合成したい位置に最も近い光ビーコンとして光ビーコン２−５を選択したとき、合成位置選択部２５１は、選択された光ビーコン２−５のＩＤの情報をグループ内要素抽出部２５２に出力する（ステップＳ４３の処理）。
【０１９６】
さらに、グループ内要素抽出部２５２は、この選択された光ビーコン２−５を識別するＩＤに基づいて、選択された光ビーコン２−５と同一のグループ識別情報を持つ全ての光ビーコン２、すなわち、今の場合、光ビーコン２−５乃至２−８の撮像画像上の撮像位置情報を抽出して、距離測定位置計算部２５３に出力する。
【０１９７】
ステップＳ４５において、距離測定位置計算部２５３は、グループ内要素抽出部２５２より供給された、ユーザにより選択された光ビーコン２のグループに属する全ての光ビーコン２の撮像された画像上の位置情報から、距離を測定する位置を計算し、求められた距離測定位置の情報（画像上の位置情報）を距離測定部２５４、および、合成位置調整部２５８に供給する。
【０１９８】
より詳細には、距離測定位置計算部２５３は、グループ内要素抽出部２５２より供給された、ユーザにより選択された光ビーコン２のグループに属する全ての光ビーコン２の撮像された画像上の位置情報から、その重心位置を求めて、求められた重心位置を距離測定位置の位置情報として距離測定部２５４、および、合成位置調整部２５８に供給する。
【０１９９】
すなわち、今の場合、図１４で示される光ビーコン２−５が選択されており、同一のグループに属する全ての光ビーコン２の撮像された画像上の位置情報として、光ビーコン２−５乃至２−８の撮像された画像上の位置情報が供給されている。光ビーコン２−ｉ（５≦ｉ≦８）の画像上の位置情報、すなわち、座標が（Ｘｉ，Ｙｉ）であるとすると、距離測定位置となる重心位置（ＸＧ，ＹＧ）は、上述した式（２）により求められる。
【０２００】
ステップＳ４６において、距離測定部２５４は、ユーザにより選択された光ビーコン２付近までの距離、すなわち、ユーザにより画像を合成する位置として選択された光ビーコン２−５のグループに属する全ての光ビーコン２−５乃至２−８からなる面上の上述の距離計測位置までの距離を演算し、演算結果を差分計算部２５５に供給する。すなわち、今の場合、図１４で示される、距離ｄ２の値が、画像が合成される位置までの距離として求められることになる。尚、この処理は、図１１のステップＳ７の処理（図１２のフローチャートを参照して説明した処理）において説明した焦点距離を求める処理と実施的に同様の処理であるので、その説明は省略する。
【０２０１】
ステップＳ４７において、差分計算部２５５は、距離計算部２２７から供給された撮像部２２１からフォーカス位置（焦点距離）までの距離ｄ１と、距離計算部２５４から供給された画像が合成される位置までの距離ｄ２との差分ｄ３（＝｜ｄ２−ｄ１｜）を求めてぼかし処理部２５７に出力する。
【０２０２】
ステップＳ４８において、画像入力部２５６は、合成される画像が入力されているか否かを判定し、入力されるまでその処理を繰り返し、合成されるべき画像が入力されたと判定された場合、その処理は、ステップＳ４９に進む、
【０２０３】
ステップＳ４９において、ぼかし処理部２５７は、差分計算部２５５より供給された差分ｄ３に基づいて、画像入力部２５６に入力された画像にぼかし処理を施し、ぼかした画像を合成位置調整部２５８に供給する。
【０２０４】
ここで、図１６のフローチャートを参照して、ぼかし処理について説明する。
【０２０５】
ステップＳ７１において、ぼかし処理部２５７は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、合成される画像の垂直方向の画素位置を特定するカウンタである。
【０２０６】
ステップＳ７２において、ぼかし処理部２５７は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、合成される画像の水平方向の画素位置を特定するカウンタである。
【０２０７】
ステップＳ７３において、ぼかし処理部２５７は、合成される画像上の画素位置（ｘ，ｙ）の、差分ｄ３に対応した所定の近傍の範囲に存在する画素を抽出する。すなわち、例えば、ぼかし処理部２５７は、合成される画像上の画素位置（ｘ，ｙ）を中心として、半径が差分ｄ３となる範囲内に存在する画素を、合成される画像（画像入力部２５６より供給された画像）より抽出する。
【０２０８】
ステップＳ７４において、ぼかし処理部２５７は、抽出した合成される画像上の画素位置（ｘ，ｙ）を中心として、半径が差分ｄ３となる範囲内に存在する画素の画素値の平均値を求めて、求められた平均画素値をぼかした画像の画素位置（ｘ，ｙ）の画素値とする。
【０２０９】
すなわち、入力画像をＩとし、その（ｘ，ｙ）の位置における画素値をＩ（ｘ，ｙ）とし、ぼかし処理がなされて出力される画像をＯとし、その（ｘ，ｙ）の位置における画素値をＯ（ｘ，ｙ）とすると、入力画像Ｉ上の画素値Ｉ（ｘ，ｙ）に対する差分ｄ３を用いて、（ｘ，ｙ）の位置の出力画像Ｏ上の画素値Ｏ（ｘ，ｙ）を求める式は、例えば、次の式（２２）のように表される。
【０２１０】
【数２１】
ここで、（ｉ，ｊ）は、画素（ｘ，ｙ）を中心とした半径ｄ３（差分）の領域Ｗに含まれる画素で、Ｎは領域Ｗに含まれる画素数を示す。
【０２１２】
ステップＳ７５において、ぼかし処理部２５７は、カウンタｘを１インクリメントさせる。ステップＳ７６において、ぼかし処理部２５７は、カウンタｘが合成される画像の水平方向の画素数以上であるか否かを判定し、水平方向の画素数以上ではないと判定された場合、その処理は、ステップＳ７３に戻る。すなわち、水平方向の画素数以上であると判定されるまで、ステップＳ７３乃至Ｓ７６の処理が繰り返される。そして、水平方向の画素数以上であると判定された場合、その処理は、ステップＳ７７に進む。
【０２１３】
ステップＳ７７において、ぼかし処理部２５７は、カウンタｙを１インクリメントさせる。ステップＳ７８において、ぼかし処理部２５７は、カウンタｙが合成される画像の垂直方向の画素数以上であるか否かを判定し、垂直方向の画素数以上ではないと判定された場合、その処理は、ステップＳ７２に戻る。すなわち、垂直方向の画素数以上であると判定されるまで、ステップＳ７２乃至Ｓ７８の処理が繰り返される。そして、垂直方向の画素数以上であると判定された場合、その処理は、ステップＳ７９に進む。
【０２１４】
ステップＳ７９において、ぼかし処理部２５７は、合成される画像を合成位置調整部２５８に出力する。すなわち、合成される画像上の全ての画素にぼかし処理が施された後、ぼかし処理がなされた、合成される画像は、合成位置調整部２５８に出力されて、処理は終了する。
【０２１５】
すなわち、画像を合成する位置は、フォーカスを合わせる位置とは異なる位置であることが多く、そのような場合、フォーカスが合っていない状態、すなわち、画像が新たに合成される位置では本来撮像されるべき光が、焦点が合っていないことにより分散することになるので、式（２２）による演算により画素値を求めることで、焦点距離からの差分に応じた、ぼけた画素値を生成することが可能となる。
【０２１６】
尚、以上の例においては、合成しようとする画像Ｉ上の注目画素（ｘ，ｙ）を中心として差分ｄ３を半径とした範囲内に存在する画素値の平均値をぼかした画像の画素値とする例について説明してきたが、これに限るものではなく、例えば、注目画素を中心とした、差分ｄ３×ｄ３の範囲に存在する画素の平均画素値などであってもよい。
【０２１７】
ここで、図１５のフローチャートの説明に戻る。
【０２１８】
ステップＳ５０において、合成画像調整部２５８は、距離測定位置計算部２５３より供給された、距離測定位置の情報、すなわち、画像が合成される位置の情報に基づいて、合成される画像の位置を調整し、画像合成部２５９に出力する。
【０２１９】
ステップＳ５１において、画像合成部２５９は、ＩＤ認識カメラ２２１より供給された、今撮像されている画像と、ぼかし処理がなされ、所定の合成位置に調整された画像を合成し、ステップＳ５２において、合成画像を画像表示部２６０に表示する。
【０２２０】
以上の処理により、例えば、今の場合、図１７で示されるように、ステップＳ４１の処理により、光ビーコン２−１乃至２−４からなる面の領域Ａの重心位置までの距離として距離ｄ１が求められ、その距離でフォーカスが設定される。そして、ステップＳ４６の処理により、画像を合成する位置となる光ビーコン２−５乃至２−８からなる面の領域Ｂまでの距離ｄ２が計算される。
【０２２１】
尚、図１７において、上部が壁５をＩＤ認識カメラ２２１で撮像したときの正面図であり、下部が壁５の上面図である。
【０２２２】
従って、ＩＤ認識カメラ２２１で撮像される画像においては、領域Ａ近傍では焦点が合った画像となるが、領域Ｂ近傍では、焦点がぼけた画像となるはずである。
【０２２３】
そこで、ステップＳ４９の処理で、図１７の領域Ｂ近傍に、撮像されている画像とは異なる画像を合成する場合、ＩＤ認識カメラ２２１からの距離の差分ｄ３（＝｜ｄ２−ｄ１｜）に対応するぼかし処理を、合成しようとする画像に施してから、今撮像されている画像の領域Ｂに合成することにより、合成画像における焦点のぼけた状態までも正確に再現することで、奥行きのある違和感の無い合成画像を生成することが可能となる。
【０２２４】
尚、以上の例においては、合成しようとする画像が１枚である場合について説明してきたが、合成される画像は、それ以上の数であってもよい。
【０２２５】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０２２６】
図１８は、図１の撮像部１、または、図１４の画像合成部２０１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ１００１は、パーソナルコンピュータの全体の動作を制御する。また、ＣＰＵ１００１は、バス１００４および入出力インタフェース１００５を介してユーザからキーボードやマウスなどからなる入力部１００６から指令が入力されると、それに対応してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ１００１は、ドライブ１０１０に接続された磁気ディスク１０２１、光ディスク１０２２、光磁気ディスク１０２３、または半導体メモリ１０２４から読み出され、記憶部１００８にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３にロードして実行する。これにより、上述した図１の撮像部１、または、図１４の画像合成部２０１の機能が、ソフトウェアにより実現されている。さらに、ＣＰＵ１００１は、通信部１００９を制御して、外部と通信し、データの授受を実行する。
【０２２７】
プログラムが記録されている記録媒体は、図１８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１０２１（フレキシブルディスクを含む）、光ディスク１０２２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）、光磁気ディスク１０２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ１０２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１００２や、記憶部１００８に含まれるハードディスクなどで構成される。
【０２２８】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０２２９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２３０】
【発明の効果】
本発明によれば、撮像しようとする画像内の位置に対応した被写体までの距離を測定することができるので、正確なフォーカス制御を実現させることが可能になると共に、違和感の無い合成画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像部を示すブロック図である。
【図２】図１のＩＤ認識カメラのブロック図である。
【図３】図２の画像デコード処理部のブロック図である。
【図４】図２のＩＤデコード処理部のブロック図である。
【図５】図１の光ビーコンのブロック図である。
【図６】図１の光ビーコンのブロック図である。
【図７】ＩＤ認識カメラの動作を説明する図である。
【図８】ＩＤ認識カメラが画像信号を生成する動作を説明する図である。
【図９】ＩＤ認識カメラが画像信号を生成する動作を説明する図である。
【図１０】ＩＤ認識カメラが点滅パターンをデコードする動作を説明する図である。
【図１１】図１の撮像部によるフォーカス制御処理を説明するフローチャートである。
【図１２】図１１のフローチャートのステップＳ７の処理であるフォーカス距離計算処理を説明するフローチャートである。
【図１３】フォーカス距離計算処理を説明する図である。
【図１４】本発明を適用した画像合成部の構成を示すブロック図である。
【図１５】図１４の画像合成部による画像合成処理を説明するフローチャートである。
【図１６】図１５のフローチャートのステップＳ４９の処理である画像のぼかし処理を説明するフローチャートである。
【図１７】画像のぼかし処理を説明する図である。
【図１８】媒体を説明する図である。
【符号の説明】
１ 撮像部， ２，２−１乃至２−Ｎ 光ビーコン， ３ 表示部， １１ ＩＤ認識カメラ， １１ａ 光学ユニット， １２ ＩＤ情報解析部， １３ フォーカス位置選択部， １４ グループ情報記憶部， １５ グループ内要素抽出部， １６ 距離測定位置計算部， １７ 距離測定部， １８ 光ビーコン位置記憶部， １９ フォーカス制御部， ２０１ 合成画像部， ２１１ 撮像部， ２２１ ＩＤ認識カメラ， ２２１ａ 光学ユニット， ２２２ ＩＤ情報解析部， ２２３ フォーカス位置選択部， ２２４ グループ情報記憶部， ２２５ グループ内要素抽出部， ２２６ 距離測定位置計算部， ２２７ 距離測定部， ２２８ 光ビーコン位置記憶部， ２２９ フォーカス制御部， ２５１ 合成位置選択部， ２５２ グループ内要素抽出部， ２５３ 距離測定位置計算部， ２５４ 距離測定部， ２５５ 差分計算部， ２５６ 画像入力部， ２５７ ぼかし処理部， ２５８ 合成位置調整部， ２５９ 画像合成部， ２６０ 画像表示部
Claims (27)
- 所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像手段と、
前記撮像手段により撮像された前記複数の送信装置のうちのいずれかを選択する選択手段と、
前記選択手段により選択された送信装置に基づいて、前記撮像手段により撮像された画像上の対象までの距離を測定する距離測定手段と、
前記距離測定手段で測定された距離に基づいて、前記撮像手段の焦点を合わせる制御を行う焦点制御手段と
を備えることを特徴とする焦点制御装置。 - 前記撮像手段により撮像された前記複数の送信装置の画像上の位置である撮像位置を検出する検出手段をさらに備え、
前記距離測定手段は、前記選択手段により選択された前記送信装置の、前記検出手段により検出された撮像位置に基づいて、前記撮像手段により撮像された画像上の対象までの距離を測定する
ことを特徴とする請求項１に記載の焦点制御装置。 - 前記選択手段により選択された、前記撮像手段により撮像された前記複数の送信装置のうちのいずれかの送信装置に対応する２以上の送信装置の、前記検出手段により検出されたそれぞれの撮像位置に基づいて、前記画像上の対象までの距離を測定する測定位置を計算する測定位置計算手段とをさらに備え、
前記距離測定手段は、前記測定位置計算手段によって計算された測定位置までの距離を、前記撮像手段により撮像された前記画像上の対象までの距離として測定する
ことを特徴とする請求項２に記載の焦点制御装置。 - 前記測定位置計算手段は、前記選択手段により選択された、前記撮像手段により撮像された前記複数の送信装置のうちのいずれかの送信装置に対応する前記２以上の送信装置の、前記検出手段により検出された複数の送信装置の撮像位置の重心位置を測定位置として計算する
ことを特徴とする請求項３に記載の焦点制御装置。 - 前記複数の送信装置の空間内の位置情報を記憶する送信装置位置情報記憶手段をさらに備え、
前記測定位置計算手段は、前記選択手段により選択された送信装置に基づく前記２以上の送信装置の撮像位置、および、前記送信装置位置情報記憶手段に記憶された、前記選択手段により選択された送信装置に基づいた前記２以上の送信装置の空間内の位置情報に基づいて測定位置を計算する
ことを特徴とする請求項３に記載の焦点制御装置。 - 前記複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、
前記データ取得手段により取得されたデータを解析し、それぞれの前記送信装置の前記空間内の位置情報を抽出するデータ解析手段とをさらに備え、
送信装置位置情報記憶手段は、前記データ解析手段により抽出された前記複数の送信装置の空間内の位置情報を記憶する
ことを特徴とする請求項５に記載の焦点制御装置。 - 前記撮像手段により撮像された送信装置の画像上の撮像位置を、前記送信装置の属するグループの情報と共に記憶するグループ情報記憶手段と、
前記選択手段によって選択された前記送信装置のグループに属する送信装置の、前記撮像装置により撮像された画像上のそれぞれの撮像位置を前記グループ情報記憶手段より抽出するグループ内要素抽出手段とをさらに備え、
前記測定位置計算手段は、前記選択手段によって選択された前記送信装置のグループに属する複数の送信装置の、前記撮像装置により撮像された画像上のそれぞれの撮像位置、および、前記送信装置位置情報記憶手段に記憶された、前記複数の送信装置の空間内の位置情報に基づいて測定位置を計算する
ことを特徴とする請求項５に記載の焦点制御装置。 - 前記撮像手段により撮像された、前記複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、
前記データ取得手段により取得されたデータを解析し、それぞれの前記送信装置の属するグループの情報を抽出するデータ解析手段とをさらに備え、
前記グループ情報記憶手段は、前記撮像手段により撮像された送信装置の画像上の撮像位置を、前記データ解析手段により抽出された前記送信装置の属するグループの情報と共に記憶する
ことを特徴とする請求項７に記載の焦点制御装置。 - 請求項１に記載の焦点制御装置を備えることを特徴とする撮像装置。
- 所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、
前記撮像ステップの処理で撮像された前記複数の送信装置のうちのいずれかを選択する選択ステップと、
前記選択ステップの処理で選択された送信装置に基づいて、前記撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、
前記距離測定ステップの処理で測定された距離に基づいて、前記撮像手段の焦点を合わせる制御を行うフォーカス制御ステップと
を含むことを特徴とする焦点制御方法。 - 所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、
前記撮像ステップの処理で撮像された前記複数の送信装置のうちのいずれかを選択する選択ステップと、
前記選択ステップの処理で選択された送信装置に基づいて、前記撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、
前記距離測定ステップの処理で測定された距離に基づいて、前記撮像手段の焦点を合わせる制御を行うフォーカス制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、
前記撮像ステップの処理で撮像された前記複数の送信装置のうちのいずれかを選択する選択ステップと、
前記選択ステップの処理で選択された送信装置に基づいて、前記撮像ステップの処理で撮像された画像上の対象までの距離を測定する距離測定ステップと、
前記距離測定ステップの処理で測定された距離に基づいて、前記撮像手段の焦点を合わせる制御を行うフォーカス制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。 - 所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像手段と、
前記撮像手段により撮像された前記複数の送信装置のうちのいずれかを選択する第１の選択手段と、
前記第１の選択手段により選択された送信装置に基づいて、前記撮像手段により撮像された画像上の対象までの距離を測定する第１の距離測定手段と、
前記第１の距離測定手段で測定された距離に基づいて、前記撮像手段の焦点を合わせる制御を行う焦点制御手段と、
前記撮像手段により撮像された画像とは異なる、その他の画像を入力する画像入力手段と、
前記画像入力手段により入力された前記その他の画像を加工する加工手段と、
前記加工手段により加工された前記その他の画像と、前記撮像手段により撮像された画像とを合成する合成手段と、
前記合成手段により合成された画像を表示する表示手段と
を備えることを特徴とする画像処理装置。 - 前記合成手段により合成される前記その他の画像の合成位置を決定する合成位置決定手段をさらに備える
ことを特徴とする請求項１３に記載の画像処理装置。 - 前記撮像手段により撮像された前記複数の送信装置の画像上の位置である撮像位置を検出する検出手段をさらに備え、
前記第１の距離測定手段は、前記第１の選択手段により選択された前記送信装置の、前記検出手段により検出された撮像位置に基づいて、前記撮像手段により撮像された画像上の対象までの距離を測定する
ことを特徴とする請求項１３に記載の画像処理装置。 - 前記第１の選択手段により選択された送信装置に基づく２以上の送信装置のそれぞれの撮像位置に基づいて、前記画像上の対象までの距離を測定する測定位置を計算する第１の測定位置計算手段とをさらに備え、
前記第１の距離測定手段は、前記第１の測定位置計算手段によって計算された測定位置までの距離を、前記撮像手段により撮像された前記画像上の対象までの距離として測定する
ことを特徴とする請求項１５に記載の画像処理装置。 - 前記第１の測定位置計算手段は、前記複数の送信装置の、前記検出手段により検出された複数の送信装置の撮像位置の重心位置を測定位置として計算する
ことを特徴とする請求項１６に記載の画像処理装置。 - 前記複数の送信装置の空間内の位置情報を記憶する送信装置位置情報記憶手段をさらに備え、
前記第１の測定位置計算手段は、前記２以上の送信装置の、前記検出手段により検出された複数の送信装置の撮像位置、および、前記送信装置位置情報記憶手段に記憶された、前記複数の送信装置の空間内の位置情報に基づいて測定位置を計算する
ことを特徴とする請求項１６に記載の画像処理装置。 - 前記撮像手段により撮像された、前記複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、
前記データ取得手段により取得されたデータを解析し、それぞれの前記送信装置の前記空間内の位置情報を抽出するデータ解析手段とをさらに備え、
前記送信装置位置情報記憶手段は、前記データ解析手段により抽出された前記複数の送信装置の空間内の位置情報を記憶する
ことを特徴とする請求項１８に記載の画像処理装置。 - 前記撮像手段により撮像された送信装置の画像上の撮像位置を、前記送信装置の属するグループの情報と共に記憶するグループ情報記憶手段と、
前記第１の選択手段によって選択された前記送信装置のグループに属する送信装置の、前記撮像装置により撮像された画像上のそれぞれの撮像位置を前記グループ情報記憶手段より抽出するグループ内要素抽出手段とをさらに備え、
前記第１の測定位置計算手段は、前記第１の選択手段によって選択された前記送信装置のグループに属する複数の送信装置の、前記撮像装置により撮像された画像上のそれぞれの撮像位置、および、前記送信装置位置情報記憶手段に記憶された、前記複数の送信装置の空間内の位置情報に基づいて測定位置を計算する
ことを特徴とする請求項１８に記載の画像処理装置。 - 前記撮像手段により撮像された、前記複数の送信装置が所定の点滅パターンで発光することにより送信するデータを取得するデータ取得手段と、
前記データ取得手段により取得されたデータを解析し、それぞれの前記送信装置の属するグループの情報を抽出するデータ解析手段とをさらに備え、
前記グループ情報記憶手段は、前記撮像手段により撮像された送信装置の画像上の撮像位置を、前記データ解析手段により抽出された前記送信装置の属するグループの情報と共に記憶する
ことを特徴とする請求項２０に記載の画像処理装置。 - 前記撮像手段により撮像された前記複数の送信装置のうちのいずれかを選択する第２の選択手段をさらに備え、
前記グループ内要素抽出手段は、前記第２の選択手段によって選択された前記送信装置のグループに属する送信装置の、前記撮像装置により撮像された画像上のそれぞれの撮像位置も前記グループ情報記憶手段より抽出する
ことを特徴とする請求項２１に記載の画像処理装置。 - 前記第２の選択手段によって選択された前記送信装置のグループに属する複数の送信装置の、前記撮像装置により撮像された画像上のそれぞれの撮像位置、および、前記送信装置位置情報記憶手段に記憶された、前記複数の送信装置の空間内の位置情報に基づいて前記その他の画像が合成される位置を計算する第２の測定位置計算手段と、
前記その他の画像が合成される位置までの距離を測定する第２の距離測定手段と、
前記第１の距離測定手段により測定された距離と、前記第２の距離測定手段により測定された距離との差分を計算する差分計算手段とをさらに備え、
前記加工手段は、前記差分計算手段により計算された差分に基づいて、前記画像入力手段により入力された前記その他の画像を加工する
ことを特徴とする請求項２２に記載の画像処理装置。 - 前記加工手段は、前記差分計算手段により計算された差分に基づいて、前記画像入力手段により入力された前記その他の画像をぼかし加工する
ことを特徴とする請求項２３に記載の画像処理装置。 - 所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、
前記撮像ステップの処理で撮像された前記複数の送信装置のうちのいずれかを選択する第１の選択ステップと、
前記第１の選択ステップの処理で選択された送信装置に基づいて、前記撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、
前記第１の距離測定ステップの処理で測定された距離に基づいて、前記撮像手段の焦点を合わせる制御を行う焦点制御ステップと、
前記撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、
前記画像入力ステップの処理で入力された前記その他の画像を加工する加工ステップと、
前記加工ステップの処理で加工された前記その他の画像と、前記撮像ステップの処理で撮像された画像とを合成する合成ステップと、
前記合成ステップの処理で合成された画像を表示する表示ステップと
を含むことを特徴とする画像処理方法。 - 所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、
前記撮像ステップの処理で撮像された前記複数の送信装置のうちのいずれかを選択する第１の選択ステップと、
前記第１の選択ステップの処理で選択された送信装置に基づいて、前記撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、
前記第１の距離測定ステップの処理で測定された距離に基づいて、前記撮像手段の焦点を合わせる制御を行う焦点制御ステップと、
前記撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、
前記画像入力ステップの処理で入力された前記その他の画像を加工する加工ステップと、
前記加工ステップの処理で加工された前記その他の画像と、前記撮像ステップの処理で撮像された画像とを合成する合成ステップと、
前記合成ステップの処理で合成された画像を表示する表示ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、
前記撮像ステップの処理で撮像された前記複数の送信装置のうちのいずれかを選択する第１の選択ステップと、
前記第１の選択ステップの処理で選択された送信装置に基づいて、前記撮像ステップの処理で撮像された画像上の対象までの距離を測定する第１の距離測定ステップと、
前記第１の距離測定ステップの処理で測定された距離に基づいて、前記撮像手段の焦点を合わせる制御を行う焦点制御ステップと、
前記撮像ステップの処理で撮像された画像とは異なる、その他の画像を入力する画像入力ステップと、
前記画像入力ステップの処理で入力された前記その他の画像を加工する加工ステップと、
前記加工ステップの処理で加工された前記その他の画像と、前記撮像ステップの処理で撮像された画像とを合成する合成ステップと、
前記合成ステップの処理で合成された画像を表示する表示ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003120950A JP2004325824A (ja) | 2003-04-25 | 2003-04-25 | 焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003120950A JP2004325824A (ja) | 2003-04-25 | 2003-04-25 | 焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004325824A true JP2004325824A (ja) | 2004-11-18 |
Family
ID=33499643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003120950A Withdrawn JP2004325824A (ja) | 2003-04-25 | 2003-04-25 | 焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004325824A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012247356A (ja) * | 2011-05-30 | 2012-12-13 | Canon Inc | 撮像モジュール、撮像装置、画像処理装置及び画像処理方法。 |
-
2003
- 2003-04-25 JP JP2003120950A patent/JP2004325824A/ja not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012247356A (ja) * | 2011-05-30 | 2012-12-13 | Canon Inc | 撮像モジュール、撮像装置、画像処理装置及び画像処理方法。 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10293252B2 (en) | Image processing device, system and method based on position detection | |
| WO2014064870A1 (ja) | 画像処理装置および画像処理方法 | |
| US20130100255A1 (en) | Information processing system using captured image, information processing device, and information processing method | |
| CN107507243A (zh) | 一种摄像机参数调整方法、导播摄像机及系统 | |
| EP2343685B1 (en) | Information processing device, information processing method, program, and information storage medium | |
| JP5725953B2 (ja) | 撮像装置及びその制御方法、並びに情報処理装置 | |
| CN109453517B (zh) | 虚拟角色控制方法和装置、存储介质、移动终端 | |
| JP2012216006A (ja) | 情報処理システム、情報処理装置、撮像装置、および情報処理方法 | |
| CN1758720A (zh) | 图像处理方法和图像处理装置 | |
| JP2014106732A (ja) | 情報処理装置および情報処理方法 | |
| JP2014023159A (ja) | 撮影装置、その撮影制御方法及び眼球認識装置 | |
| JPWO2019050038A1 (ja) | 画像生成方法および画像生成装置 | |
| WO2015156149A1 (ja) | 画像処理装置および画像処理方法 | |
| JP2004334269A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP3637226B2 (ja) | 動き検出方法、動き検出装置及び記録媒体 | |
| JP5874626B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
| JP5892060B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
| JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
| JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
| JPWO2018189880A1 (ja) | 情報処理装置、情報処理システム、および画像処理方法 | |
| JP5356036B2 (ja) | モーションキャプチャにおけるグループトラッキング | |
| JPWO2016158119A1 (ja) | 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置 | |
| JP2004054890A (ja) | 画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラム | |
| JP6633140B2 (ja) | 常時キャリブレーションシステム及びその方法 | |
| JPWO2016158184A1 (ja) | 医療用観察装置、レンズ駆動制御装置、レンズ駆動制御方法、プログラム、及びビデオ顕微鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060704 |