JP2010268127A

JP2010268127A - 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム

Info

Publication number: JP2010268127A
Application number: JP2009116633A
Authority: JP
Inventors: Satoshi Arai; 敏荒井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2009-05-13
Filing date: 2009-05-13
Publication date: 2010-11-25

Abstract

【課題】撮像装置に関する情報を他の撮像装置により取得可能にする制御装置等の提供。
【解決手段】互いに独立に移動可能な第１の撮像装置と第２の撮像装置のうちの第２の撮像装置の制御装置は、撮像部により撮像された撮像画像を取得する画像取得部と、第１の撮像装置からの情報送信要求を受信する受信部と、第２の撮像装置の前記撮像画像に基づいて第１の撮像装置に関する情報である第１撮像装置情報を取得する情報取得部と、第１撮像装置情報を、情報送信要求に対する返信情報として第１の撮像装置に送信する送信部を含む。
【選択図】図９

Description

本発明は、制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム等に関係する。

近年、身体に装着可能なカメラ（以下、適宜、ウェアラブルカメラと呼ぶ）により、使用者が遭遇する日常風景を自動的に撮影して記録するライフログが注目されている。例えば特許文献１には、ウェアラブルカメラにより所定の時間間隔で自動的に撮影を行って、ライフログ画像を記録する技術が開示されている。

しかしながら、ウェアラブルカメラを用いた場合、日常風景を撮影する事はできるが、使用者自身を撮影する事ができないという課題がある。このため、使用者がどのような反応を見せたかといった、後でログ（記録）を振り返る際に重要な情報が欠落してしまうという問題点がある。

使用者の様子を記録するという点では、例えば特許文献２には、２台の車載カメラを用いて運転者の様子を記録する技術が開示されている。

この従来技術では、２台のカメラのうちの１台のカメラで周囲の風景を撮影する。そして、もう一台のカメラで運転者を撮影し、運転者が視線を向けた対象を認識して記録しておく。こうすることで、運転者が注視した対象を後から表示できるようになる。

しかしながら、この従来技術では、車両の運転席という限られた環境であるからこそ、運転者を撮影するためのカメラを固定的に設置できるのであり、日常風景の撮影を目的とするライフログでは、使用者撮影用のカメラを別途用意することは現実的ではない。例えば使用者撮影用のカメラとして、固定的に設置されたカメラを用いると、固定的に設置されたカメラの視野範囲内の場所でしか使用者の反応等を撮影できない。このため、使用者がその場所を離れると、結局、特許文献１の従来技術と同様に、後でログを振り返る際の重要な情報が欠落してしまう。

特開２００４−３５６９７０号公報特開２００６−１７２２１５号公報

本発明の幾つかの態様によれば、撮像装置に関する情報を他の撮像装置により取得可能にする制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム等を提供できる。

本発明の一態様は、互いに独立に移動可能な第１の撮像装置と第２の撮像装置のうちの前記第２の撮像装置の制御装置であって、撮像部により撮像された撮像画像を取得する画像取得部と、前記第１の撮像装置からの情報送信要求を受信する受信部と、前記第２の撮像装置の前記撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得する情報取得部と、取得された前記第１撮像装置情報を、前記情報送信要求に対する返信情報として前記第１の撮像装置に送信する送信部とを含む制御装置に関係する。また本発明の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、第１の撮像装置からの情報送信要求を受信すると、第２の撮像装置の撮像画像に基づいて第１撮像装置情報が取得される。そして取得された第１撮像装置情報が、情報送信要求に対する返信情報として第１の撮像装置に送信される。これにより、第１の撮像装置に関する情報である第１撮像装置情報を第２の撮像装置により取得して、第１の撮像装置に送信できるようになる。

また本発明の一態様では、前記情報取得部は、前記第１撮像装置情報を取得可能か否かを判断し、前記第１撮像装置情報を取得可能であると判断した場合に、前記第１撮像装置情報を取得してもよい。

このようにすれば、第２の撮像装置により第１撮像装置情報を取得可能である場合にだけ、第１撮像装置情報が取得されて第１の撮像装置に送信されるようになる。従って、無駄な情報が送信される事態等を防止できる。

また本発明の一態様では、前記情報取得部は、前記撮像画像に基づいて前記第２の撮像装置の視野内に前記第１の撮像装置が含まれるか否かを判断することで、前記第１撮像装置情報を取得可能か否かを判断してもよい。

このようにすれば、第２の撮像装置の撮像画像を利用して、第１撮像装置情報を取得可能か否かを判断できるようになる。

また本発明の一態様では、前記受信部は、前記第１の撮像装置の個体識別情報を受信し、前記情報取得部は、前記視野内に含まれる撮像装置が、受信した前記個体識別情報により識別される前記第１の撮像装置であるか否かを検出し、前記第１の撮像装置であることが検出された場合に、前記第１撮像装置情報を取得可能であると判断してもよい。

このようにすれば、受信した第１の撮像装置の個体識別情報を利用して、視野内に含まれる撮像装置が第１の撮像装置か否かを検出することで、第１撮像装置情報を取得可能か否かを判断できるようになる。

また本発明の一態様では、前記第１の撮像装置には、前記第１の撮像装置を識別するための識別情報が設定され、前記情報取得部は、前記視野内に含まれる撮像装置に設定される識別情報が、前記個体識別情報により識別される前記第１の撮像装置の識別情報と一致するか否かを判断し、一致した場合に、前記第１撮像装置情報を取得可能であると判断してもよい。

このようにすれば、視野内に含まれる撮像装置に設定される識別情報と、個体識別情報を比較することで、第１撮像装置情報を取得可能か否かを判断できる。そして、例えば識別情報としてカメラ識別マークを用いた場合には、光学的に視認可能な識別マークを用いて第１の撮像装置を識別できるようになり、第１の撮像装置が視野内に含まれるか否かを、識別マークの検出問題に置き換えて判断できる。

また本発明の一態様では、前記情報取得部は、前記第１の撮像装置と前記第２の撮像装置の位置関係情報を取得し、前記位置関係情報に基づいて、前記第１撮像装置情報を取得可能か否かを判断してもよい。

このようにすれば、例えば第２の撮像装置の撮像画像を用いなくても、第１、第２の撮像装置の位置関係情報により、第１撮像装置情報を取得可能か否かを判断できるようになる。

また本発明の一態様では、前記情報取得部は、前記第１の撮像装置の位置情報と、前記第２の撮像装置の位置情報と、前記第２の撮像装置の向き情報に基づいて、前記第１撮像装置情報を取得可能か否かを判断してもよい。

このようにすれば、第１、第２の撮像装置の位置情報と第２の撮像装置の向き情報に基づいて、例えば第２の撮像装置の視野内に第１の撮像装置が含まれるか否かを判断して、第１撮像装置情報を取得可能か否かを判断できるようになる。

また本発明の一態様では、前記情報取得部は、前記第１撮像装置情報として、前記第１の撮像装置の使用者情報を取得してもよい。

このようにすれば、例えば第１の撮像装置の死角等にある使用者の情報も取得できるようになる。

また本発明の一態様では、前記情報取得部は、使用者の表情情報、視線方向情報の少なくとも１つを、前記使用者情報として取得してもよい。

このようにすれば、使用者の反応や興味の対象が反映されている使用者の表情や視線方向の情報を取得できるようになり、例えば撮像画像に対する使用者の反応や興味の情報を併せて記録等することが可能になる。

また本発明の一態様では、前記情報取得部は、使用者の前記視線方向情報の補正処理のための前記第１の撮像装置の向き情報を取得してもよい。

このようにすれば、使用者の視線方向情報を第１の撮像装置の向き情報により補正することが可能になる。

また本発明の一態様では、前記情報取得部は、前記第２の撮像装置の視野内の人物顔を検出し、検出された１つ以上の人物顔のうち、前記第１の撮像装置に最も近い位置にある人物顔を、前記第１の撮像装置の使用者の人物顔であると判断してもよい。

このようにすれば、第１の撮像装置の使用態様から考えて妥当な位置の人物顔を検出できる。従って、例えば第２の撮像装置の視野内に複数の人物顔が検出された場合にも、第１の撮像装置の使用者を特定できるようになる。

また本発明の他の態様は、互いに独立に移動可能な第１の撮像装置と第２の撮像装置のうちの前記第１の撮像装置の制御装置であって、撮像部により撮像された撮像画像を取得する画像取得部と、情報送信要求を送信する送信部と、前記情報送信要求を受信した前記第２の撮像装置が、前記第２の撮像装置の撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得し、取得された前記第１撮像装置情報を、前記情報送信要求に対する返信情報として送信した場合に、前記第１撮像装置情報を受信する受信部とを含む制御装置に関係する。また本発明の他の態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の他の態様によれば、情報送信要求が送信され、この情報送信要求を受信した第２の撮像装置が、撮像画像に基づいて第１撮像装置情報を取得して送信すると、この第１撮像装置情報が受信される。このようにすれば、情報送信要求により第１撮像装置情報を第２の撮像装置に取得させ、取得された第１撮像装置情報を、情報送信要求の返信情報として受信できるようになる。

また本発明の他の態様では、受信した前記第１撮像装置情報を、前記第１の撮像装置の前記撮像画像に関連づけて記憶部に書き込む書き込み部を含んでもよい。

このようにすれば、例えば第１の撮像装置の死角にある情報等を、撮像画像に関連づけて記憶部に記憶できるようになる。

また本発明の他の態様では、前記書き込み部は、前記情報送信要求を送信した後、所定期間内に前記第１撮像装置情報を受信しなかった場合には、前記第１撮像装置情報が関連づけられていない前記撮像画像を前記記憶部に書き込んでもよい。

このようにすれば、所定期間内に第１撮像装置情報を受信できなかった場合に、無駄な処理等が行われてしまう事態を防止できる。

また本発明の他の態様では、前記受信部は、前記第１撮像装置情報として、前記第１の撮像装置の使用者情報を受信し、前記書き込み部は、受信した前記使用者情報を、前記第１の撮像装置の前記撮像画像に関連づけて前記記憶部に書き込んでもよい。

このようにすれば、例えば第１の撮像装置の死角等にある使用者の情報を取得して、撮像画像のみならず、使用者の情報も併せて記憶部に記憶することが可能になる。

また本発明の他の態様では、前記第１の撮像装置の前記撮像画像は、前記第１の撮像装置の使用者のライフログ画像であってもよい。

このようにすれば、ライフログ画像に対して使用者情報を併せて記憶することが可能になる。

また本発明の他の態様では、前記送信部は、前記情報送信要求をブロードキャストで送信してもよい。

このようにすれば、第１の撮像装置の周りの複数の撮像装置に対して情報送信要求をブロードキャストで送信して、第１撮像装置情報を取得することが可能になる。

また本発明の他の態様では、前記送信部は、前記第１の撮像装置の個体識別情報を送信してもよい。

このようにすれば、第２の撮像装置において、個体識別情報により第１の撮像装置を識別して、識別された第１の撮像装置の第１撮像装置情報を取得可能か否かを判断できるようになる。

また本発明の他の態様では、前記第１の撮像装置には、前記第１の撮像装置を識別するための識別情報が設定され、前記送信部は、前記識別情報に対応する前記個体識別情報を送信してもよい。

このようにすれば、第１の撮像装置に設定される識別情報と個体識別情報を第２の撮像装置に比較させて、第１撮像装置情報が取得可能か否かを判断させることが可能になる。

また本発明の他の態様は、上記のいずれかに記載の制御装置を含む撮像装置に関係する。

また本発明の他の態様は、互いに独立に移動可能な第１の撮像装置と第２の撮像装置を含む撮像システムであって、前記第１の撮像装置は、前記第２の撮像装置に対して情報送信要求を送信し、前記第２の撮像装置は、前記第２の撮像装置の撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得し、取得された前記第１撮像装置情報を、前記情報送信要求に対する返信情報として前記第１の撮像装置に送信し、前記第１の撮像装置は、前記第１撮像装置情報を、前記情報送信要求に対する返信情報として受信する撮像システムに関係する。

また本発明の他の態様は、互いに独立に移動可能な第１の撮像装置と第２の撮像装置を用いた画像取得方法であって、前記第２の撮像装置の撮像画像を取得し、取得された前記第２の撮像装置の前記撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得し、取得された前記第１撮像装置情報を、前記第２の撮像装置から前記第１の撮像装置に送信し、前記第１の撮像装置の撮像画像を取得し、前記第１撮像装置情報を、取得された前記第１の撮像装置の前記撮像画像に関連づけて記憶部に書き込む画像取得方法に関係する。

本実施形態の手法の説明図。本実施形態の制御装置、カメラ（撮像装置）の第１の構成例。図３（Ａ）〜図３（Ｃ）はカメラＣＭ１からの情報送信要求に対してＣＭ１情報を返信する手法の説明図。図４（Ａ）〜図４（Ｃ）は情報送信要求のブロードキャスト送信手法の説明図。図５（Ａ）〜図５（Ｃ）は個体識別情報を用いてカメラＣＭ１を識別する手法の説明図。図６（Ａ）、図６（Ｂ）はカメラ識別マークの説明図。図７（Ａ）〜図７（Ｃ）は使用者情報の取得手法の説明図。図８（Ａ）、図８（Ｂ）は撮像画像の記録手法の説明図。本実施形態の詳細な処理を説明するためのフローチャート。情報取得可否判断処理を説明するためのフローチャート。ＣＭ１情報取得処理を説明するためのフローチャート。本実施形態の制御装置、カメラ（撮像装置）の第２の構成例。図１３（Ａ）、図１３（Ｂ）はＣＭ１情報の取得可否をカメラＣＭ１、ＣＭ２の位置関係情報を用いて判断する手法の説明図。本実施形態の第２の構成例での情報取得可否判断処理を説明するためのフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成例
本実施形態では、単に前方を撮影するだけでなく、使用者情報等のカメラに関する情報も併せて記録できるカメラ（広義には撮像装置）を提供する。

例えば図１において、カメラＣＭ１（広義には第１の撮像装置）とカメラＣＭ２（広義には第２の撮像装置）は、互いに独立に移動可能（携帯可能）なカメラとなっている。即ち、据え置きカメラのように固定的に設置されるカメラではなく、使用者ＵＳ１、ＵＳ２が自由に持ち歩くことができるカメラとなっている。

そしてカメラＣＭ１により撮影を行う際に、カメラＣＭ１の使用者ＵＳ１の様子等を、他の使用者ＵＳ２が持つカメラＣＭ２により撮影する。そしてカメラＣＭ１の使用者情報等のカメラＣＭ１に関する情報（以下、適宜、ＣＭ１情報と呼ぶ）をカメラＣＭ２からＣＭ１に転送する。そしてカメラＣＭ１は、自身で撮影した撮像画像と、カメラＣＭ２から送られてきたカメラＣＭ１の使用者情報等のＣＭ１情報を併せて記録する。この場合に、例えばカメラＣＭ１、ＣＭ２はその使用者ＵＳ１、ＵＳ２の操作を必要とせずに、自動的に情報送信要求やＣＭ１情報のやり取りを行う。

以上の本実施形態の手法によれば、カメラＣＭ１の死角をカメラＣＭ２で撮影し、カメラＣＭ１では撮影できない位置にある対象の情報であるＣＭ１情報を取得し、カメラＣＭ１の撮像画像と関連づけて記録することが可能になる。

なおＣＭ１情報は、カメラＣＭ２の撮像画像により得られる情報（ＣＭ２の視野内の情報）であり、且つ、カメラＣＭ１に関する情報である。具体的にはＣＭ１情報は、例えばカメラＣＭ１の使用者ＵＳ１の情報や、カメラＣＭ１の向き等のカメラＣＭ１自体の情報である。或いはカメラＣＭ２の撮像画像自体であってもよい。また使用者情報は、例えば使用者ＵＳ１の表情情報（どのような反応だったか等）や視線方向情報（何を見ていたか等）である。

またカメラＣＭ１は、使用者ＵＳ１が例えばそのライフログ等の撮影に使用するカメラであり、図１では首にぶら下げるタイプのカメラ（携帯可能なカメラ）を想定している。これ以外にも、例えば使用者ＵＳ１が使用する眼鏡に取り付けられるタイプのカメラ（ウェアラブルカメラ）等であってもよい。

一方、カメラＣＭ２は、カメラＣＭ１の使用者ＵＳ１とは別の使用者ＵＳ２がライフログ等の撮影に使用するカメラであり、製品イメージとしてはカメラＣＭ１と同等の機能を有する。カメラＣＭ２は、カメラＣＭ１からのリクエストに応じて、カメラＣＭ１の使用者ＵＳ１を撮影し、視線、表情等の使用者情報を取得してカメラＣＭ１に送る役割を担う。

なおカメラＣＭ１、ＣＭ２という呼称は、あるタイミングにおいて両者の果たす役割によって区別されるものである。例えばカメラＣＭ１が、カメラＣＭ２からのリクエストに応じて、カメラＣＭ２の使用者ＵＳ２を撮影し、視線、表情等の使用者情報（ＣＭ２情報）を取得してカメラＣＭ２に送ってもよい。

また本実施形態の撮像装置は、デジタルカメラやビデオカメラなどの電子カメラのみならず、例えば携帯電話機、携帯型情報端末、携帯型ゲーム機等に内蔵される撮像装置であってもよいが、説明の便宜上、撮像装置をカメラと呼んで説明を行う。

図２に、図１の本実施形態の手法を実現できる制御装置及びこれを含むカメラ（撮像装置）の第１の構成例を示す。

図２においてカメラＣＭ１（第１の撮像装置）は、撮像部２０、制御装置３０、操作部６０、記憶部７０、通信部８０、表示部９０、情報記憶媒体９８を含む。またカメラＣＭ２（第２の撮像装置）は、撮像部１２０、制御装置１３０、操作部１６０、記憶部１７０、通信部１８０、表示部１９０、情報記憶媒体1９８を含む。なお、これらの一部の構成要素（例えば操作部、表示部、情報記憶媒体）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また図２では、説明の便宜上、カメラＣＭ１、ＣＭ２の構成が異なるものとして示しているが、カメラＣＭ１、ＣＭ２は同一の構成とすることができる。例えばカメラＣＭ１に情報取得部を設けたり、カメラＣＭ２に書き込み部や時間取得部を設けてもよい。

撮像部２０、１２０は、被写体（撮像対象物）を撮像するためのものであり、図示しないレンズ等の光学系、撮像素子、アナログフロントエンド回路（Ａ／Ｄ変換回路）、或いはフォーカス調整部等を含むことができる。

制御装置（制御部）３０、１３０は、カメラＣＭ１、ＣＭ２の全体制御、各種演算処理、或いは画像処理等を行うものであり、ＣＰＵ、ＤＳＰ等の各種プロセッサや専用のＡＳＩＣなどにより実現できる。この制御装置３０、１３０は、例えば情報記憶媒体９８、１９８に記憶されるプログラムに基づいて本実施形態の各種処理を行う。

操作部６０、１６０は、使用者（操作者、ユーザ）がカメラＣＭ１、ＣＭ２の各種設定を行ったり、各種情報を入力するためのものであり、各種のボタン、スイッチ、ダイヤルなどにより実現できる。なお表示部９０、１９０がタッチパネルディスプレイにより構成される場合には、表示部９０、１９０も操作部として機能することになる。

記憶部７０、１７０は、制御装置３０、１３０や通信部８０、１８０のワーク領域として機能したり、撮像により得られた画像データを記憶（保存）するためのものであり、ＲＡＭやＨＤＤ（ハードディスクドライブ）などにより実現できる。

通信部８０、１８０は、無線や有線の通信などにより他のカメラやサーバ等との外部機器との間で情報のやり取りを行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。例えばカメラＣＭ１とＣＭ２は、無線（無線ＬＡＮ等）や有線のネットワークを介して通信可能になっている。

表示部９０、１９０は、例えば液晶パネルや有機ＥＬパネル等の電気光学パネル、ＥＶＦ（電子ビューファインダー）などにより実現されるものであり、スルー画像やＧＵＩ（Graphical User Interface）画面などの各種画像を表示する。

情報記憶媒体９８、１９８（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、メモリーカード、ＨＤＤ（ハードディスクドライブ）、光ディスク（ＣＤ、ＤＶＤ）、或いはＲＯＭ等のメモリなどにより実現できる。制御装置３０、１３０は、情報記憶媒体９８、１９８に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体９８、１９８には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

カメラＣＭ１の制御装置３０は、画像取得部３２、受信部３４、送信部３５、書き込み部３６、時間取得部３８を含む。

画像取得部３２は撮像画像を取得する。例えば撮像部２０により撮像（撮影）された撮像画像を取得する。ここで撮像画像は、静止画像であってもよいし、動画像であってもよい。この撮像画像としては、例えばカメラＣＭ１の使用者のライフログ画像を想定できる。ライフログ画像は、例えば使用者の明示的な撮影指示が無くても、所定の時間間隔で自動的に撮影されて記録される画像である。

受信部３４、送信部３５は、各々、情報の受信処理、送信処理を行う。例えば通信部８０を介して、カメラＣＭ２等の他の機器との間で情報を受信したり送信するための処理を行う。即ち、通信される情報を用意したり、その情報を通信する指示を通信部８０に対して行う。

書き込み部３６は、撮像画像（画像データ）等の種々の情報を記憶部７０に書き込む処理（保存処理）を行う。時間取得部３８は時間の取得処理を行う。例えば現在の時刻（時・日・月・年等）を取得する。

カメラＣＭ２の制御装置１３０は、画像取得部１３２、受信部１３４、送信部１３５、情報取得部１４０を含む。画像取得部１３２は撮像部１２０により撮像された撮像画像を取得する。受信部１３４、送信部１３５は、各々、情報の受信処理、送信処理を行うものであり、例えば通信部１８０を介して、カメラＣＭ１等の他の機器との間で情報を受信したり送信するための処理を行う。情報取得部１４０は、カメラＣＭ１に関する情報等の各種の情報の取得処理を行う。この情報取得部１４０は、カメラ識別マーク検出部１４１、顔検出部１４２、表情認識部１４３、視線方向認識部１４４、カメラ向き認識部１４５、視線方向補正部１４６を含む。

そして本実施形態では、カメラＣＭ１の送信部３５は、情報送信要求を送信する。例えば他のカメラに対して、使用者情報等の情報を送信することを要求する送信を行う。具体的には送信部３５は、例えば不特定多数に対してブロードキャストで、情報送信要求を送信する。

なお、カメラＣＭ１の送信部３５は、カメラＣＭ１の個体識別情報（ＩＤ）の送信処理も行う。例えば後述するように、カメラＣＭ１に、カメラＣＭ１を識別するための識別マーク（広義には識別情報）が設定されていたとする。この場合に送信部３５は、この識別マークに対応する個体識別情報を送信する。例えば識別マークが表すカメラＩＤと同じカメラＩＤを、個体識別情報として送信する。この個体識別情報（カメラＩＤ）は、例えば情報送信要求のフィールドの中に含ませることができる。

カメラＣＭ２の受信部１３４は、カメラＣＭ１からの情報送信要求を受信する。例えば通信部８０、１８０及び無線等のネットワークを介して送信された情報送信要求を受信する。そしてカメラＣＭ２の情報取得部１４０は、カメラＣＭ２（撮像部１２０）の撮像画像に基づいてカメラＣＭ１に関する情報であるＣＭ１情報（第１撮像装置情報）を取得する。このＣＭ１情報はカメラＣＭ２の撮像画像自体であってもよい。

そしてカメラＣＭ２の送信部１３５は、カメラＣＭ１からの情報送信要求に対する返信情報として、取得されたＣＭ１情報をカメラＣＭ１に送信する。

カメラＣＭ１の受信部３４は、このように情報送信要求を受信したカメラＣＭ２がＣＭ１情報を取得して送信すると、そのＣＭ１情報を受信する。

そしてカメラＣＭ１の書き込み部３６（保存処理部）は、受信したＣＭ１情報（第１撮像装置情報）を、カメラＣＭ１の撮像画像に関連づけて記憶部７０に書き込む。

この場合に書き込み部３６は、情報送信要求を送信した後、所定期間内にＣＭ１情報を受信しなかった場合には、ＣＭ１情報が関連づけられていない撮像画像を記憶部７０に書き込む。例えばカメラＣＭ１の撮像画像だけを記憶部７０に書き込む。また受信部３４が、ＣＭ１情報として、カメラＣＭ１の使用者の情報を受信した場合には、受信した使用者情報を、カメラＣＭ１の撮像画像に関連づけて記憶部７０に書き込む。例えばカメラＣＭ１の使用者のライフログ画像（所定時間毎に自動的に撮像されて記録される画像）に使用者情報を関連づけて書き込む。

なお、カメラＣＭ２の情報取得部１４０は、ＣＭ１情報を取得可能か否かを判断し、ＣＭ１情報を取得可能であると判断した場合に、ＣＭ１情報を取得する。そして送信部１３５は取得されたＣＭ１情報を、情報送信要求の返信情報としてカメラＣＭ１に送信する。

この場合に情報取得部１４０は、カメラＣＭ２の撮像画像に基づいてカメラＣＭ２の視野内（画角の範囲内）にカメラＣＭ１（一部又は全部）が含まれるか否かを判断することで、ＣＭ１情報を取得可能か否かを判断する。例えばカメラＣＭ２の撮像画像にカメラＣＭ１（ＣＭ１の使用者）が写っている場合に、ＣＭ１情報を取得可能であると判断する。

例えばカメラＣＭ２の受信部１３４は、カメラＣＭ１の個体識別情報を受信する。具体的にはカメラＣＭ１からの情報送信要求が含む個体識別情報を受信する。そして情報取得部１４０は、カメラＣＭ２の視野内に含まれるカメラ（撮像装置）が、受信した個体識別情報により識別されるカメラＣＭ１であるか否かを検出する。そしてカメラＣＭ１であることが検出された場合に、ＣＭ１情報を取得可能であると判断する。

具体的には情報取得部１４０は、視野内に含まれるカメラ（撮像装置）に設定される識別情報が、個体識別情報により識別されるカメラＣＭ１の識別情報と一致するか否かを検出する。そして、一致した場合に、ＣＭ１情報を取得可能であると判断する。この識別情報としては、バーコード等の識別マーク（識別図形）を使用でき、この識別マークの検出処理はカメラ識別マーク検出部１４１が行う。

また情報取得部１４０は、ＣＭ１情報として、カメラＣＭ１の使用者の情報を取得する。例えば使用者の表情情報（反応情報）、視線方向情報（使用者が見ている方向）の少なくとも１つを、使用者情報として取得する。また情報取得部１４０は、カメラＣＭ１の向き情報を取得してもよい。このカメラＣＭ１の向き情報は、例えば使用者の視線方向情報の補正処理等に用いられる。なおカメラＣＭ１の使用者の顔検出処理、表情の認識処理、視線方向の認識処理は、各々、表情認識部１４３、視線方向認識部１４４により行われる。またカメラＣＭ１の向きの認識処理はカメラ向き認識部１４５により行われ、カメラＣＭ１の向きに基づく使用者の視線方向の補正処理は、視線方向補正部１４６により行われる。

また情報取得部１４０は、カメラＣＭ２の視野内の人物顔を検出する。そして検出された１つ以上の人物顔のうち、カメラＣＭ１に最も近い位置にある人物顔を、カメラＣＭ１の使用者の人物顔であると判断して、使用者情報を取得する。例えばカメラＣＭ１の上方（略上方を含む）にある人物顔を、カメラＣＭ１の使用者の顔と判断する。そしてその使用者の表情認識処理や視線方向認識処理を行う。なお、使用者の顔の検出処理は顔検出部１４２により行われる。

２．本実施形態の手法
２．１ＣＭ１情報の取得
次に本実施形態の手法について図３（Ａ）〜図８（Ｂ）を用いて具体的に説明する。

図３（Ａ）に示すように、例えばライフログ画像を撮影している使用者ＵＳ１のカメラＣＭ１は、使用者情報等のＣＭ１情報を取得するために情報送信要求を送信する。すると使用者ＵＳ１の近くにいる使用者ＵＳ２のカメラＣＭ２が、この情報送信要求を受信する。

次に図３（Ｂ）に示すように、カメラＣＭ２は、自身の撮像画像により、カメラＣＭ１に関する情報であるＣＭ１情報を取得可能か否かを判断する。具体的には、カメラＣＭ２の視野内にカメラＣＭ１やその使用者ＵＳ１が入っているか否かを判断する。

そしてカメラＣＭ２は、ＣＭ１情報を取得可能であると判断すると、図３（Ｃ）に示すように、使用者ＵＳ１の表情、視線方向等のＣＭ１情報を取得して、カメラＣＭ１に送信する。これによりカメラＣＭ１は、カメラＣＭ１の撮像画像に対してＣＭ１情報を関連づけて記録できるようになる。例えばカメラＣＭ１が使用者ＵＳ１のライフログ画像を撮影していた場合には、そのライフログ画像に対して、撮影時の使用者ＵＳ１の表情、視線方向等を関連づけて記録できるようになる。

なお、カメラＣＭ２が情報送信要求を送信し、この情報送信要求を受信したカメラＣＭ１が、カメラＣＭ２に関する情報であるＣＭ２情報を取得して、カメラＣＭ２に送信してもよい。この場合にはカメラＣＭ２が、その撮像画像に対してＣＭ２情報を関連づけて記録することになる。

本実施形態では、カメラＣＭ１、ＣＭ２は、使用者ＵＳ１、ＵＳ２が所持する携帯型のカメラ（ウェアラブルカメラ）になっている。このため、配置位置が固定される据え置き型のカメラとは異なり、カメラＣＭ１、ＣＭ２は、使用者ＵＳ１、ＵＳ２が移動することで独立に移動し、カメラＣＭ１とＣＭ２の位置関係は随時変化する。

このため、カメラＣＭ２の方から一方的にＣＭ１情報をカメラＣＭ１に送信してしまうと、カメラＣＭ１に対して、利用できない無駄なＣＭ１情報が送信されてしまう。例えば使用者ＵＳ１が視野内に入っておらず、使用者ＵＳ１の表情等を特定できないようなＣＭ１情報が送信されてしまう。このため、カメラＣＭ１の処理負荷が増加したり、記憶領域が無駄に使用されるなどして、カメラＣＭ１のリソースが無駄に消費されてしまう。

この点、本実施形態では、カメラＣＭ１からの情報送信要求に対して、図３（Ｂ）に示すようにカメラＣＭ２がＣＭ１情報を取得可能か否かを判断する。そして、ＣＭ１情報を取得可能であると判断した場合には、ＣＭ１情報がカメラＣＭ２からカメラＣＭ１に送信される。これにより、例えば使用者ＵＳ１等が視野内に入っており、使用者ＵＳ１の表情等を特定できるＣＭ１情報だけがカメラＣＭ２からカメラＣＭ１に送信されるようになる。従って、カメラＣＭ１やＣＭ２のリソースが無駄に消費される事態を防止しながら、カメラＣＭ１はＣＭ１情報を取得できる。この結果、例えばカメラＣＭ１は、カメラＣＭ１の死角にある情報も取得できるようになり、ライフログ画像等に対して使用者情報等を関連づけて記録できるようになる。

２．２ブロードキャスト
さて、図４（Ａ）に示すようにカメラＣＭ１は、情報送信要求を、宛先を指定しないブロードキャストで送信することが望ましい。これにより図４（Ａ）に示すように、カメラＣＭ１の周囲の複数のカメラＣＭ２、ＣＭ３に対して情報送信要求が送信されるようになる。なお、カメラ間の通信に無線ＬＡＮ等が使用される場合には、その無線ＬＡＮの通信範囲内のカメラに対してブロードキャストで情報送信要求が送信される。

図４（Ｂ）に示すように、カメラＣＭ２、ＣＭ３の各々は、この情報送信要求を受信すると、ＣＭ１情報を取得可能か否かを判断する。即ち、その視野内にカメラＣＭ１が入っているか否かを判断する。

そして図４（Ｂ）では、カメラＣＭ２の視野内にはカメラＣＭ１は入っているが、カメラＣＭ３の視野内にはカメラＣＭ１は入っていない。従って、カメラＣＭ２はＣＭ１情報を取得可能であると判断する一方で、カメラＣＭ３はＣＭ１情報を取得できないと判断する。そして図４（Ｃ）に示すように、カメラＣＭ２はＣＭ１情報をカメラＣＭ１に送信する一方で、カメラＣＭ３はＣＭ１情報をカメラＣＭ１に送信しない。

このようにすれば、カメラＣＭ１は、適正なＣＭ１情報を取得できるカメラＣＭ２からのＣＭ１情報だけを受信でき、適正なＣＭ１情報を取得できないカメラＣＭ３からのＣＭ１情報については受信しなくても済むようになる。これにより、カメラＣＭ１の処理負荷が無駄に増加したり、カメラＣＭ１の記憶領域が無駄に使用されてしまう事態を防止できる。

２．３カメラ識別処理
さて、カメラＣＭ２が情報送信要求を受信した場合に、その情報送信要求の送信元のカメラが、カメラＣＭ２の視野内に写っているカメラと一致しているか否かを判断する必要がある。

例えば図５（Ａ）では、カメラＣＭ１のみならず、カメラＣＭ３も情報送信要求を送信している。そしてカメラＣＭ２の無線ＬＡＮ等の通信範囲内にカメラＣＭ１、ＣＭ３が存在すると、カメラＣＭ２は、カメラＣＭ１、ＣＭ３の両方の情報送信要求を受信することになる。そして図５（Ｂ）のように、カメラＣＭ２が画像を撮像した場合に、受信した情報送信要求が、カメラＣＭ２の視野内に写っているカメラＣＭ１が送信した情報送信要求なのか否かを判断する必要がある。

そこで本実施形態では、カメラＣＭ２はカメラＣＭ１の個体識別情報を受信する。そして視野内に含まれるカメラが、受信した個体識別情報により識別されるカメラＣＭ１であることが検出された場合に、カメラＣＭ１に関する情報を取得可能であると判断する。

具体的には図６（Ａ）に示すように、カメラＣＭ１にはカメラを識別するための識別マーク（広義には識別情報）が設定されている。この識別マーク（識別図形）は例えば２次元のバーコードである。但し識別マークの態様は図６（Ａ）に限定されず、カメラＣＭ１を識別するための種々のマークを採用できる。またカメラＣＭ２やＣＭ３に対しても、対応する識別マークを設定してもよい。

また図６（Ｂ）に示すように、情報送信要求にはカメラの個体識別情報が含まれる。具体的には、情報送信要求には、例えば情報送信要求であることを指定するためのコマンドコードのフィールドや、カメラの個体識別情報であるカメラＩＤのフィールドが設けられる。そしてカメラＣＭ１は、送信する情報送信要求のカメラＩＤのフィールドに対して、自身のカメラＩＤを設定する。同様にカメラＣＭ３も、送信する情報送信要求のカメラＩＤのフィールドに対して、自身のカメラＩＤを設定する。

カメラＣＭ２は、カメラＣＭ１、ＣＭ３から情報送信要求を受信すると、それぞれの情報送信要求に含まれるカメラＩＤを抽出する。また、カメラＣＭ２の撮像画像に写っている識別マークの検出処理を行う。そして図５（Ｂ）では、カメラＣＭ２の撮像画像に基づいて、カメラ識別マークが検出され、検出されたカメラ識別マークのＩＤは、カメラＣＭ１からの情報送信要求に含まれるカメラＩＤと一致することが検出されている。従って、この場合にはカメラＣＭ１のＣＭ１情報は取得可能であると判断される。

一方、撮像画像に写る識別マークのＩＤは、カメラＣＭ３の情報送信要求に含まれるカメラＩＤとは一致しない。従って、カメラＣＭ３に関する情報であるＣＭ３情報については取得できないと判断される。

そして図５（Ｃ）では、カメラＣＭ２は、カメラＣＭ１に関する情報であるＣＭ１情報を取得し、取得されたＣＭ１情報をカメラＣＭ１に送信する。一方、カメラＣＭ３のＣＭ３情報については取得せず、カメラＣＭ３に送信しない。

このようにすることで、カメラＣＭ２の視野内にあるカメラＣＭ１に対してだけＣＭ１情報を送信できるようになり、無駄な情報が送信されてリソースが無駄に消費されてしまう事態を防止できる。

またカメラＣＭ３に対してＣＭ３情報を送信しても、カメラＣＭ３はカメラＣＭ２の視野内に入っていないため、このＣＭ３情報はカメラＣＭ３にとっては無駄な情報になる。この点、本実施形態では、このようなＣＭ３情報が無駄に送信されてしまう事態が防止されるため、カメラＣＭ３の処理負荷や記憶領域などのリソースが無駄に消費されてしまう事態も防止できる。

なおカメラＣＭ１の識別手法は図６（Ａ）に示すような識別マークを用いる手法に限定されない。例えば、カメラＣＭ１に赤外線等の発光デバイスを設け、この発光デバイスの発光パターンにより得られる識別情報を用いて、カメラＣＭ１の識別処理を行ってもよい。或いはカメラＣＭ１にＲＦＩＤを設け、このＲＦＩＤにより識別してもよい。或いは、後述するようにＧＰＳ等の位置情報取得デバイスを設け、取得された位置情報に基づいて、視野内に写っているカメラがカメラＣＭ１であるか否かを識別するようにしてもよい。

２．４使用者情報
本実施形態では、ＣＭ１情報として、使用者の表情、視線方向等の使用者情報をカメラＣＭ２からカメラＣＭ１に送信する。

例えば図７（Ａ）はカメラＣＭ２の撮像画像の例である。この撮像画像には、カメラＣＭ１やその使用者ＵＳ１の画像が写っている。この場合に本実施形態では、カメラＣＭ２の撮像画像に基づいて、使用者ＵＳ１の表情や視線方向ＶＤ１を認識する。例えば図７（Ａ）では、使用者ＵＳ１が笑っている表情であることが認識されている。また使用者ＵＳ１の視線方向ＶＤ１が、使用者ＵＳ１から見て右方向（右下方向）であることが認識されている。そして、カメラＣＭ２は、これらの使用者の表情や視線方向の情報を、使用者情報として取得して、カメラＣＭ１に送信する。

図７（Ｂ）は、カメラＣＭ１の撮像画像の例である。この撮像画像は、例えば使用者ＵＳ１のライフログ画像である。そして図７（Ａ）で認識された使用者ＵＳ１の視線方向ＶＤ１の情報に基づいて、使用者ＵＳ１が被写体ＯＢＡに注目していることがわかる。また、使用者ＵＳ１の表情情報に基づいて、使用者ＵＳ１が、この被写体ＯＢＡを見ていた時に笑っていたことが把握される。

なお、使用者の表情情報は、例えば使用者の表情を「笑っている」、「怒っている」、「喜んでいる」、「悲しんでいる」等に分類し、使用者の表情が、いずれの分類の表情に近いのかを判断することで認識できる。

また図７（Ａ）に示すように、カメラＣＭ２の撮像画像に複数の人物が写っている場合がある。この場合に本実施形態では、カメラＣＭ２の視野内の人物顔を検出し、検出された１つ以上の人物顔のうち、カメラＣＭ１に最も近い位置にある人物顔を、カメラＣＭ１の使用者の人物顔であると判断する。例えば図７（Ａ）では、使用者ＵＳ１の顔ＦＡ１が検出され、この顔ＦＡ１が、他の人物の顔よりもカメラＣＭ１（例えば識別マーク）に近いと判断されている。この場合には、取得された使用者情報は、顔ＦＡ１の使用者ＵＳ１の情報であると見なす。

また図７（Ａ）で検出された視線方向ＶＤ１から、図７（Ｂ）の注目被写体ＯＢＡを特定するためには、図７（Ｃ）に示すように、カメラＣＭ１の向きＣＤ１に対する視線方向ＶＤ１の相対的な角度αが重要になる。即ち使用者ＵＳ１の視線方向ＶＤ１だけを検出したとしても、カメラＣＭ１の向きＣＤ１との相対的な角度αが求まらなければ、図７（Ｂ）の注目被写体ＯＢＡの位置を特定することが難しくなる。

このためカメラＣＭ２は、使用者ＵＳ１の視線方向ＶＤ１の補正処理のために、カメラＣＭ１の向きＣＤ１の情報も取得する。このようなカメラＣＭ１の向きＣＤ１も取得すれば、向きＣＤ１に対する視線方向ＶＤ１の相対的な角度αを求めることができ、図７（Ｂ）の使用者ＵＳ１の注目被写体ＯＢＡを容易に特定できるようになる。なお、カメラＣＭ１の向きＣＤ１に基づく視線方向ＶＤ１の補正処理は、カメラＣＭ１側で行ってもよいし、カメラＣＭ２側で行ってもよい。

２．５撮像画像の記録
本実施形態では、カメラＣＭ１は、使用者情報等のＣＭ１情報を、カメラＣＭ１の撮像画像に関連づけて記憶部７０に書き込んで保存する。

具体的には図８（Ａ）に示すように、例えば所定時間間隔毎に撮影された撮像画像ＩＭ１、ＩＭ２の各々のヘッダＨＤ１、ＨＤ２に対して、使用者の表情や視線方向等の使用者情報を書き込んで、記憶部７０に保存する。具体的には、ＥＸＩＦ形式の画像ファイルにおいて、ＥＸＩＦで規定されるヘッダに対して使用者情報を書き込む。そして、ライフログ画像等の再生の際には、このヘッダに書き込まれた使用者情報を用いて再生画像を生成する。

例えば図８（Ｂ）は、カメラＣＭ１で撮影された画像の再生画像の例である。この画像には、被写体ＯＢＡ、ＯＢＢ、ＯＢＣ、ＯＢＤ等が写っている。そしてヘッダに含まれる使用者の表情情報に基づいて、図８（Ｂ）の画像の撮影の際には、使用者の表情が笑い顔であったと判断される。従って、図８（Ｂ）のＡ１に示すように、例えば笑い顔を表すアイコンマークが、この撮像画像に表示（重畳表示）される。

またヘッダに含まれる使用者の視線方向情報に基づいて、図８（Ｂ）の画像の撮影の際には、使用者が左下方向を注視していたと判断される。従って、図８（Ｂ）に示すように、ＯＢＡ、ＯＢＢ、ＯＢＣ、ＯＢＤのうち、使用者が注視していた被写体はＯＢＡであると判断され、被写体ＯＢＡに対して例えば強調表示等の画像エフェクトが施される。

図８（Ｂ）のような再生画像を表示すれば、使用者ＵＳ１は、ライフログ画像の再生画像を鑑賞する際に、自分がどの被写体に注目していたのかや、どのような表情で被写体を見ていたのかを、Ａ１のアイコンマークや、被写体ＯＢＡの画像エフェクトを見ることで把握できる。従って、カメラＣＭ１の死角にある使用者ＵＳ１の情報も反映させたライフログ画像の再生が可能になる。なお、再生画像への使用者情報の反映は、使用者の表情や視線方向を表現するアバターなどを用いて実現してもよい。

３．詳細な処理例
次に本実施形態の詳細な処理例について図９〜図１１のフローチャートを用いて説明する。

図９はカメラＣＭ１、ＣＭ２の全体的な処理を示すフローチャートである。まずカメラＣＭ１の使用者は、操作部６０（入力部）により、カメラＣＭ１のライフログ撮影の開始を指示する（ステップＳ１）。なおカメラＣＭ１の電源オンが、ライフログの撮影開始指示を兼ねていてもよい。或いは、他の撮影モードからライフログ撮影モードに切り替えることで撮影開始指示を実現してもよい。この場合の入力手法としては、ボタン、スライドスイッチ、ロータリースイッチ、タッチパネル、加速度センサ等を用いることができる。

次にカメラＣＭ１の使用者は、操作部６０により、ライフログ撮影の時間間隔である撮影タイミングを設定する（ステップＳ２）。設定された時間間隔は記憶部７０に記憶される。例えば使用者は、「１分おき」、「５分おき」などの時間間隔を設定する。この場合の入力手法としては、ボタン、タッチパネル等を用いることができる。なお、使用者が設定を行わず、カメラＣＭ１に予め記憶された所定の時間間隔を、そのまま用いるようにしてもよい。

カメラＣＭ１の時間取得部３８は、現在時刻を取得する。そして、取得された現在時刻に対して、ステップＳ２で設定された時間間隔を加算することで、次回の撮影時刻を算出する。算出された次回の撮影時刻は記憶部７０に記憶される。時間取得部３８は、内蔵時計や、その他の電波やネットワークを介して時刻情報を取得する。

カメラＣＭ１（実際には制御装置。以下も同様）は、記憶部７０に記録された次回の撮影時刻に達するまで、待機する（ステップＳ３）。そして撮影時刻に達したならば、カメラＣＭ１の待機状態が解除され、以下に説明する撮影シーケンスに移行する。

まず、図４（Ａ）で説明したようにカメラＣＭ１は、通信部８０及びネットワークを介して、情報送信要求を他のカメラにブロードキャストで送信する（ステップＳ４）。この情報送信要求は、使用者情報等のカメラＣＭ１に関する情報を送るように、他のカメラに対してリクエストするものである。情報送信要求を構成するデータには、図６（Ｂ）で説明したように、要求送信元であるカメラＣＭ１の個体識別情報（カメラＩＤ）を含めておく。

カメラＣＭ２は、通信部１８０及びネットワークを介して、カメラＣＭ１が送信した情報送信要求を受信する（ステップＳ５）。そして、その内容（データ）を解析することで、それがＣＭ１情報（使用者情報）の送信要求であることを認識する。具体的には図６（Ｂ）のコマンドコードをデコードすることで認識する。更に、情報送信要求のデータに含まれるカメラＣＭ１の個体識別情報を取得する。取得されたカメラＣＭ１の個体識別情報は、記憶部１７０に一時的に保存される。

次に、ＣＭ１情報の取得可否の判断処理を行う（ステップＳ６）。そして、カメラＣＭ１がカメラＣＭ２の視野内にあり、ＣＭ１情報の取得が可能であると判断された場合には、ＣＭ１情報の取得処理を行う（ステップＳ７、Ｓ８）。そして取得されたＣＭ１情報を、通信部１８０及びネットワークを介してカメラＣＭ１に送信する（ステップＳ９）。なお、カメラＣＭ１が視野外等であり、ＣＭ１情報を取得できなかった場合には、例えば処理を終了して、ＣＭ１情報の送信を行わないようにする。

カメラＣＭ１は、通信部８０及びネットワークを介して、カメラＣＭ２が送信したＣＭ１情報を受信する（ステップＳ１０）。なお、情報送信要求を送信した後、所定時間が経過してもカメラＣＭ２からの応答が無い場合には、ＣＭ１情報は取得できなかったと判断する。

カメラＣＭ１は、外界の状態を撮像画像として取得する（ステップＳ１１）。そしてカメラＣＭ１は、図８（Ａ）で説明したように、取得した撮像画像とＣＭ１情報を関連づけて、記憶部７０に保存する（ステップＳ１２）。なお、ＣＭ１情報を取得できなった場合には、撮像画像のみを保存する。

次に、使用者による撮影終了の指示があったか否かを判断し（ステップＳ１３）、撮影終了指示があった場合には、ライフログ撮影を終了する。一方、撮影終了指示がなかった場合には、撮影タイミングの更新処理を行う（ステップＳ１４）。具体的には、カメラＣＭ１は、時間取得部３８により現在時刻を取得する。そして記憶部７０に記憶された時間間隔を取得して、両者を加算し、次回の撮影時刻を算出する。算出された次回の撮影時刻は記憶部７０に記憶される。そしてステップＳ３（撮影タイミングまで待機）に戻る。なお、カメラＣＭ２は、使用者の表情と視線方向に加え、使用者の画像自体（情報取得可否判断処理時に撮影した画像）をカメラＣＭ１に送信してもよい。

図１０に、図９のステップＳ６の情報取得可否判断処理（カメラ位置関係認識処理）のフローチャートを示す。

まずカメラＣＭ２は、外界の状態を撮像画像として取得する（ステップＳ２１）。即ちカメラＣＭ２の視野内の情報を取得する。ここでは、カメラＣＭ２が画像として取得可能な空間範囲を、カメラＣＭ２の視野と呼ぶ。カメラＣＭ１の視野も同様である。

次にカメラＣＭ２は、取得した画像内をサーチし、図６（Ａ）で説明したカメラ識別マークの検出処理を行う（ステップＳ２２）。そして検出されなかった場合には、カメラＣＭ１は視野外であると判断する（ステップＳ２６）。一方、検出された場合には、そのカメラ識別マークのデコード処理を行い、図９のステップＳ５の情報送信要求に含まれるカメラＣＭ１の個体識別情報と合致するか否かを判断し、合致した場合にはカメラＣＭ１は視野内であると判断する（ステップＳ２３、Ｓ２４、Ｓ２５）。一方、合致しなかった場合、或いはカメラ識別マークをデコードできなかった場合には、カメラＣＭ１は視野外であると判断する（ステップＳ２６）。

図１１はＣＭ１情報の取得処理のフローチャートである。まず図７（Ａ）で説明したように、カメラＣＭ１のカメラ識別マークが検出された位置の上方（略上方を含む）にある顔を検出する（ステップＳ３１）。例えば、首からぶら下げるタイプのカメラである場合には、使用者の顔はカメラの上方にある。またカメラを胸ポケットに入れるようなタイプであっても、使用者の顔は概略上方に来る。そして、もし複数の顔が検出された場合は、カメラに最も近い位置の顔を使用者の顔であると見なす。

なお顔検出の手法としては、「Paul Viola，Michael Jones "Rapid Object Detection using a Boosted Cascade of Simple Features" CVPR2001」などの手法がある。

顔が検出されなかった場合には、ＣＭ１情報である使用者情報は取得できなかったと判断し、検出された場合には、検出された顔の方向（向き）を認識する（ステップＳ３２、Ｓ３３）。また検出された顔の表情を認識する（ステップＳ３４）。更に検出された顔の視線方向を認識する（ステップＳ３５）。

例えば顔の向きの認識（頭部姿勢推定）については、「木下航一，小西嘉典，川出雅人ら（オムロン）"３Ｄモデル高速フィッティングによる顔特徴点検出・頭部姿勢推定"MIRU2008」がある。また表情認識については、「熊野史朗，大塚和弘，大和淳司，前田英作，佐藤洋一（東大，NTT）"パーティクルフィルタと勾配法の組み合わせによる頭部姿勢変動に頑健な表情認識手法"MIRU2008」がある。また視線方向の認識については、「山添大丈，内海章，米澤朋子，安部伸治（ATR）"３次元眼球モデルを利用した単眼カメラによる遠隔視線推定"MIRU2008」がある。

次に、例えばカメラＣＭ１の識別マークの図形形状から、カメラＣＭ１の向きを認識する（ステップＳ３６）。例えば矩形状の図形を撮像し、画像中での図形の状態に基いてカメラと図形の位置関係を求める手法が、特開２００６−３５１０２４に開示されている。なおカメラＣＭ１の向きとは、光学系の光軸の向きを指す。

次に、図７（Ｃ）で説明したように視線方向の補正処理を行う（ステップＳ３７）。例えば、使用者の視線方向をカメラＣＭ１の向きを基準とした方向に変換し、視線方向の補正値とする。以上のように取得された使用者の表情及び補正後の視線方向の情報を本実施形態での使用者情報とする。

以上の本実施形態の手法によれば、カメラＣＭ２の視野内にカメラＣＭ１が含まれる場合にのみ、カメラＣＭ１に関する情報であるＣＭ１情報（使用者情報）がカメラＣＭ２からＣＭ１に送信される。従って、カメラＣＭ２からＣＭ１に向けて、不必要な情報が送られる事態を防止できる。これによりバッテリーやネットワーク帯域が無駄に消費されてしまう事態が防止される。

４．第２の構成例
図１２に本実施形態の制御装置、カメラ（撮像装置）の第２の構成例を示す。図１２の第２の構成例では、カメラＣＭ１の制御装置３０が位置関係情報取得部４７を更に含む。またカメラＣＭ２の情報取得部１４０が位置関係情報取得部１４７を更に含む。これ以外の構成要素については図２とほぼ同様であるため、詳細な説明は省略する。

カメラＣＭ１の位置関係情報取得部４７は、カメラＣＭ１の位置関係情報（位置関係を特定するための情報）を取得する。具体的には、例えばカメラＣＭ１に設けられるＧＰＳからの情報等を用いてカメラＣＭ１の位置情報を取得する。そして取得された位置情報は、例えば図６（Ｂ）の情報送信要求の対応するフィールドに設定されて、カメラＣＭ２に送信される。

カメラＣＭ２の位置関係情報取得部１４７は、カメラＣＭ２の位置関係情報を取得する。例えばＧＰＳからの情報等を用いてカメラＣＭ２の位置情報を取得する。また例えばジャイロセンサからの情報等を用いてカメラＣＭ２の向き情報も取得する。

そして情報取得部１４０は、カメラＣＭ１、ＣＭ２の位置関係情報に基づいて、ＣＭ１情報を取得可能か否かを判断する。具体的には、カメラＣＭ１の位置情報と、カメラＣＭ２の位置情報と、カメラＣＭ２の向き情報に基づいて、ＣＭ１情報を取得可能か否かを判断する。

例えば第１の構成例では、ＣＭ１情報を取得可能か否かを、カメラＣＭ１に設けられるカメラ識別マークＭＫを検出することで判断していた。しかしながら、図１３（Ａ）に示すように、例えば使用者ＵＳ１の手や洋服等に隠れて、カメラ識別マークＭＫを検出できない場合がある。このような場合に、第１の構成例では、カメラＣＭ２の撮像画像によりＣＭ１情報を取得できるはずなのに、ＣＭ１情報を取得できないと判断されてしまう。

そこで第２の構成例では、カメラＣＭ１、ＣＭ２の位置関係情報を判断して、ＣＭ１情報を取得できるか否かを判断する。例えば図１３（Ｂ）では、カメラＣＭ１の位置Ｐ１と、カメラＣＭ２の位置Ｐ２と、カメラＣＭ２の向きＣＤ２が取得される。これらの位置Ｐ１、Ｐ２、向きＣＤ２を用いれば、カメラＣＭ２の視野内にカメラＣＭ１があるか否かを判断できる。そして、視野内にカメラＣＭ１があると判断された場合には、ＣＭ１情報を取得可能であると判断し、第１の構成例で説明したＣＭ１情報の取得処理を行う。このようにすることで、図１３（Ａ）のような状況の場合にも、ＣＭ１情報の取得が可能になる。

次に第２の構成例の動作について説明する。まず、カメラＣＭ１は、第１の構成例と同様にして、情報送信要求を送信する。この際、情報送信要求を構成するデータには、カメラＣＭ１の個体識別情報の他に、カメラＣＭ１の位置・向き情報も含める。この位置・向き情報は位置関係情報取得部４７により取得される。

カメラＣＭ２は、第１の構成例と同様にして、情報送信要求を受信する。更に、情報送信要求のデータに含まれる、要求送信元（カメラＣＭ１）の個体識別情報、位置・向き情報を取得する。取得したカメラＣＭ１の個体識別情報、位置・向き情報は、記憶部１７０に一時的に記憶される。

次にカメラＣＭ２はＣＭ１情報の取得可否の判断処理を行う。第２の構成例での情報取得可否判断処理（カメラ位置関係認識処理）のフローチャートを図１４に示す。

まず、カメラＣＭ２は、第１の構成例と同様にして、カメラ識別マークを検出しようと試みる（ステップＳ４１、Ｓ４２）。そしてカメラ識別マークが検出され、且つ、それがカメラＣＭ１の個体識別情報を表していた場合、カメラＣＭ１は視野内にあると判断する（ステップＳ４３、Ｓ４４、Ｓ４５）。

一方、ステップＳ４３、Ｓ４４でカメラＣＭ１が視野内にあると判断されなかった場合には、位置・向き情報を用いた判断処理に移行する。具体的には、まず、記憶部１７０からカメラＣＭ１の位置・向き情報を取得する（ステップＳ４６）。次に、位置関係情報取得部１４７により、カメラＣＭ２の位置・向き情報を取得する（ステップＳ４７）。

次に、カメラＣＭ１とカメラＣＭ２の位置から両者の距離を算出し、所定値と比較する（ステップＳ４８）。そして、距離が所定値以下ではない場合には、カメラＣＭ１は視野外にあると判断する（ステップＳ５２）。一方、距離が所定値以下の場合には、カメラＣＭ２の視野角と位置・向き情報から、カメラＣＭ２の視野範囲を算出する（ステップＳ４９）。例えば位置・向き情報から、カメラの撮像面の位置と光軸の向きが分かるので、これを視野角分だけ広げた範囲が視野範囲になる。視野角は、予め光学系の設計値から算出するか、或いは実測しておき、記憶部１７０に記録されているものとする。

次に、カメラＣＭ１の位置・向き情報とカメラＣＭ２の視野範囲を比較し、カメラＣＭ１がカメラＣＭ２の視野範囲内にあるか否かを判断する（ステップＳ５０）。そして視野範囲内にある場合には、カメラＣＭ１は視野内にあると判断する（ステップＳ５１）。一方、視野範囲外の場合には、カメラＣＭ１は視野外にあると判断する（ステップＳ５２）。

以上の第２の構成例によれば、カメラＣＭ１の個体識別情報を表す識別マークがカメラＣＭ２から直視できない場合に、ＧＰＳ等の位置情報を用いてカメラの位置関係を把握する。このようにすれば、カメラＣＭ１が遮蔽物に隠れている場合や、個体識別情報を表す識別マークがカメラＣＭ２から明瞭に撮影できないでも、カメラＣＭ１の使用者情報を取得することが可能になる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（撮像装置、識別情報等）と共に記載された用語（カメラ、識別マーク等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また制御装置、撮像装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

ＵＳ１、ＵＳ２使用者、ＣＭ１、ＣＭ２カメラ（撮像装置）、ＶＤ１視線方向、
２０撮像部、３０制御装置、３２画像取得部、３４受信部、３５送信部、
３６書き込み部、３８時間取得部、４７位置関係情報取得部、６０操作部、
７０記憶部、８０通信部、９０表示部、９８情報記憶媒体、
１２０撮像部、１３０制御装置、１３２画像取得部、１３４受信部、
１３５送信部、１４０情報取得部、１４１カメラ識別マーク検出部、
１４２顔検出部、１４３表情認識部、１４４視線方向認識部、
１４５カメラ向き認識部、１４６視線方向補正部、１４７位置関係情報取得部、
１６０操作部、１７０記憶部、１８０通信部、１９０表示部、
１９８情報記憶媒体

Claims

互いに独立に移動可能な第１の撮像装置と第２の撮像装置のうちの前記第２の撮像装置の制御装置であって、
撮像部により撮像された撮像画像を取得する画像取得部と、
前記第１の撮像装置からの情報送信要求を受信する受信部と、
前記第２の撮像装置の前記撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得する情報取得部と、
取得された前記第１撮像装置情報を、前記情報送信要求に対する返信情報として前記第１の撮像装置に送信する送信部と、
を含むことを特徴とする制御装置。
請求項１において、
前記情報取得部は、
前記第１撮像装置情報を取得可能か否かを判断し、前記第１撮像装置情報を取得可能であると判断した場合に、前記第１撮像装置情報を取得することを特徴とする制御装置。
請求項２において、
前記情報取得部は、
前記撮像画像に基づいて前記第２の撮像装置の視野内に前記第１の撮像装置が含まれるか否かを判断することで、前記第１撮像装置情報を取得可能か否かを判断することを特徴とする制御装置。
請求項３において、
前記受信部は、
前記第１の撮像装置の個体識別情報を受信し、
前記情報取得部は、
前記視野内に含まれる撮像装置が、受信した前記個体識別情報により識別される前記第１の撮像装置であるか否かを検出し、前記第１の撮像装置であることが検出された場合に、前記第１撮像装置情報を取得可能であると判断することを特徴とする制御装置。
請求項４において、
前記第１の撮像装置には、前記第１の撮像装置を識別するための識別情報が設定され、
前記情報取得部は、
前記視野内に含まれる撮像装置に設定される識別情報が、前記個体識別情報により識別される前記第１の撮像装置の識別情報と一致するか否かを判断し、一致した場合に、前記第１撮像装置情報を取得可能であると判断することを特徴とする制御装置。
請求項２乃至５のいずれかにおいて、
前記情報取得部は、
前記第１の撮像装置と前記第２の撮像装置の位置関係情報を取得し、前記位置関係情報に基づいて、前記第１撮像装置情報を取得可能か否かを判断することを特徴とする制御装置。
請求項６において、
前記情報取得部は、
前記第１の撮像装置の位置情報と、前記第２の撮像装置の位置情報と、前記第２の撮像装置の向き情報に基づいて、前記第１撮像装置情報を取得可能か否かを判断することを特徴とする制御装置。
請求項１乃至７のいずれかにおいて、
前記情報取得部は、
前記第１撮像装置情報として、前記第１の撮像装置の使用者情報を取得することを特徴とする制御装置。
請求項８において、
前記情報取得部は、
使用者の表情情報、視線方向情報の少なくとも１つを、前記使用者情報として取得することを特徴とする制御装置。
請求項９において、
前記情報取得部は、
使用者の前記視線方向情報の補正処理のための前記第１の撮像装置の向き情報を取得することを特徴とする制御装置。
請求項８乃至１０のいずれかにおいて、
前記情報取得部は、
前記第２の撮像装置の視野内の人物顔を検出し、検出された１つ以上の人物顔のうち、前記第１の撮像装置に最も近い位置にある人物顔を、前記第１の撮像装置の使用者の人物顔であると判断することを特徴とする制御装置。
互いに独立に移動可能な第１の撮像装置と第２の撮像装置のうちの前記第１の撮像装置の制御装置であって、
撮像部により撮像された撮像画像を取得する画像取得部と、
情報送信要求を送信する送信部と、
前記情報送信要求を受信した前記第２の撮像装置が、前記第２の撮像装置の撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得し、取得された前記第１撮像装置情報を、前記情報送信要求に対する返信情報として送信した場合に、前記第１撮像装置情報を受信する受信部と、
を含むことを特徴とする制御装置。
請求項１２において、
受信した前記第１撮像装置情報を、前記第１の撮像装置の前記撮像画像に関連づけて記憶部に書き込む書き込み部を含むことを特徴とする制御装置。
請求項１３において、
前記書き込み部は、
前記情報送信要求を送信した後、所定期間内に前記第１撮像装置情報を受信しなかった場合には、前記第１撮像装置情報が関連づけられていない前記撮像画像を前記記憶部に書き込むことを特徴とする制御装置。
請求項１３又は１４において、
前記受信部は、
前記第１撮像装置情報として、前記第１の撮像装置の使用者情報を受信し、
前記書き込み部は、
受信した前記使用者情報を、前記第１の撮像装置の前記撮像画像に関連づけて前記記憶部に書き込むことを特徴とする制御装置。
請求項１２乃至１５のいずれかにおいて、
前記第１の撮像装置の前記撮像画像は、前記第１の撮像装置の使用者のライフログ画像であることを特徴とする制御装置。
請求項１２乃至１６のいずれかにおいて、
前記送信部は、
前記情報送信要求をブロードキャストで送信することを特徴とする制御装置。
請求項１２乃至１７のいずれかにおいて、
前記送信部は、
前記第１の撮像装置の個体識別情報を送信することを特徴とする制御装置。
請求項１８において、
前記第１の撮像装置には、前記第１の撮像装置を識別するための識別情報が設定され、
前記送信部は、
前記識別情報に対応する前記個体識別情報を送信することを特徴とする制御装置。
請求項１乃至１９のいずれかに記載の制御装置を含むことを特徴とする撮像装置。
互いに独立に移動可能な第１の撮像装置と第２の撮像装置を含む撮像システムであって、
前記第１の撮像装置は、
前記第２の撮像装置に対して情報送信要求を送信し、
前記第２の撮像装置は、
前記第２の撮像装置の撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得し、取得された前記第１撮像装置情報を、前記情報送信要求に対する返信情報として前記第１の撮像装置に送信し、
前記第１の撮像装置は、
前記第１撮像装置情報を、前記情報送信要求に対する返信情報として受信することを特徴とする撮像システム。
互いに独立に移動可能な第１の撮像装置と第２の撮像装置を用いた画像取得方法であって、
前記第２の撮像装置の撮像画像を取得し、
取得された前記第２の撮像装置の前記撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得し、
取得された前記第１撮像装置情報を、前記第２の撮像装置から前記第１の撮像装置に送信し、
前記第１の撮像装置の撮像画像を取得し、
前記第１撮像装置情報を、取得された前記第１の撮像装置の前記撮像画像に関連づけて記憶部に書き込むことを特徴とする画像取得方法。
互いに独立に移動可能な第１の撮像装置と第２の撮像装置のうちの前記第２の撮像装置を制御するためのプログラムであって、
撮像部により撮像された撮像画像を取得する画像取得部と、
前記第１の撮像装置からの情報送信要求を受信する受信部と、
前記第２の撮像装置の前記撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得する情報取得部と、
取得された前記第１撮像装置情報を、前記情報送信要求に対する返信情報として前記第１の撮像装置に送信する送信部として、
コンピュータを機能させることを特徴とするプログラム。
互いに独立に移動可能な第１の撮像装置と第２の撮像装置のうちの前記第１の撮像装置を制御するためのプログラムであって、
撮像部により撮像された撮像画像を取得する画像取得部と、
情報送信要求を送信する送信部と、
前記情報送信要求を受信した前記第２の撮像装置が、前記第２の撮像装置の撮像画像に基づいて前記第１の撮像装置に関する情報である第１撮像装置情報を取得し、取得された前記第１撮像装置情報を、前記情報送信要求に対する返信情報として送信した場合に、前記第１撮像装置情報を受信する受信部として、
コンピュータを機能させることを特徴とするプログラム。