JP2008193563A - 撮像装置、再生装置、撮像方法、再生方法及びプログラム - Google Patents

Abstract

【課題】 映像や音声を含むデータにブックマークとしてエントリポイントを挿入する場合において、そのエントリポイントには、映像や音声の内容との関連性が殆どないという問題がある。
【解決手段】 上記課題を解決するため、本発明の撮像装置は、映像を含む撮影データを撮影する撮影実行部と、前記撮影データを解析し、解析結果に対応する付加情報を当該撮影データ付与する付加情報付与部とを有することを特徴とする。
また、本発明の再生装置は、映像、音声を含む撮影情報を解析した結果に対応する付加情報を含む撮影データを再生する再生部と、前記撮影データから、前記付加情報の検索操作を実行する操作部と、を有することを特徴とする。
【選択図】 図１

Description

本発明は、画像や動画像等の映像データ（音声データを含んでもよい）を撮影する装置に関し、特に、撮影したデータに付加情報を付与する装置に関する。

関連する技術として、以下の技術がある。

特許文献１に開示された技術は、視聴者の要求に応じて、または一定の時間間隔で自動的に、映像や音声を含むデータにブックマークとしてエントリポイントを挿入するというものである。

特開２００４−３４８９５９号公報

上述した特許文献１に開示された技術には、以下の問題ある。

特許文献１におけるエントリポイントは、映像や音声の内容との関連性が殆どないという問題がある。その理由は、一定の時間間隔で自動的に、エントリポイントを挿入しているからである。また、特許文献１の技術は、視聴者の要求に応じてエントリポイントを挿入することも可能であるが、そのエントリポイントは、単に映像の位置を示すことしかできず、そのエントリポイントに映像や音声の内容に関連する様々な意味を含めることができないという問題がある。なお、特許文献１の技術において、視聴者は、エントリポイントとは別にテキスト情報を登録することもできる。しかし、エントリポイント自体に、映像や音声に関連する様々な意味を含めることができないので、映像や音声データを検索するために、エントリポイントの検索だけでなく、テキスト情報の検索を行わなければならないため、効率よく映像や音声データを検索することができないという問題がある。

本発明の目的は、映像データ（音声データを含んでもよい）を簡易かつ柔軟に検索するために、その映像データを解析した結果に応じた様々な意味を含む付加情報をその映像データに付加することができ、またその付加情報を付与された映像データからその付加情報を検索することができる撮像装置または再生装置を提供することにある。

本発明の撮像装置は、映像、音声を含む撮影データを撮影する撮影実行部と、前記撮影データを解析し、解析結果に対応する付加情報を当該撮影データ付与する付加情報付与部とを有することを特徴とする。

また、本発明の再生装置は、映像、音声を含む撮影情報を解析した結果に対応する付加情報を含む撮影データを再生する再生部と、前記撮影データから、前記付加情報の検索操作を実行する操作部とを有することを特徴とする。

本発明の撮像装置は、映像データ（音声データを含んでもよい）に対して、その映像データを解析した結果に応じた様々な意味を含む付加情報を付与することができるので、その付加情報に含まれる意味に基づいて、簡易かつ柔軟に映像データを検索することができるという優れた効果を奏する。

また、本発明の再生装置は、映像データの解析結果に応じた付加情報を検索することができるので、その付加情報に含まれる意味に基づいて、簡易かつ柔軟に映像データを検索することができるという優れた効果を奏する。

次に、本発明の実施例について図面を参照して詳細に説明する。

（第１の実施例）
まず、本発明の第１の実施例について説明する。

図１を参照すると、本発明の第１の実施例において、撮像装置１００は、カメラ部１０１及び制御部１０２を有する。カメラ部１０１は、撮影部１、音声取得部４及び符号化部６を有する。制御部１０２は、付加情報付与部２、通信部３及びクロック部５を有する。

撮像装置１００は、プログラム制御により動作し、映像データと音声データとを含む撮影データに対して、その撮影データの解析結果に応じた付加情報を付与する。つまり、撮像装置１００は、付加情報に対して様々な意味を含めることができる。このように、撮影データの解析結果に応じた付加情報が付与されることにより、付加情報に含まれる意味に基づいて、簡易且つ柔軟な映像データの検索が可能となる。

以下、撮像装置１００について詳細に説明する。

カメラ部１０１は、映像と音声とをデジタルデータとして撮影する。カメラ部１０１は、撮影部１、音声取得部４及び符号化部６により撮影を実行する。

撮影部１は、常時、映像を撮影する。撮影部１は、例えば、ＣＣＤやＣＭＯＳセンサー等により映像を撮影する。

音声取得部４は、撮影部１が撮影している映像と同期して、常時、音声を取得する。

符号化部６は、映像及び音声を符号化する。符号化部６は、例えば、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）方式等により映像と音声とを符号化する。なお、符号化の方式は特定の方式に限定されるものではない。符号化部６は、符号化した撮影データを、１フレームずつ付加情報付与部２に送る。

ここで、カメラ部１０１の実施の一例を図２、図３を参照して説明する。なお、これらはあくまで一例であり、カメラ部１０１が図２、図３及び図４に示した形態に限定されるものではない。

図２を参照すると、カメラ部１０１の撮影部１は、第１のレンズ１１、第１のＣＭＯＳ１２、第２のＣＭＯＳ１３、第２のレンズ１４及びプリント基板１５を有する。第１のCMOS１２及び第２のCMOS１３は、撮影対象物から発した光を電気信号に変換する素子である。なお、符号化部６は、第１のCMOS１２、第２のCMOS１３に含まれる。第１のレンズ１１及び第２のレンズ１４は、広角レンズや魚眼レンズ等により構成される。このように２つのレンズを設けることにより、撮像装置１００の周囲の環境をほぼ満遍なく撮影することが可能になる。なお、撮影装置１００の周囲の環境をほぼ満遍なく撮影することが可能であれば、レンズは広角レンズや魚眼レンズに限るものではない。第１のレンズ１１及び第２のレンズ１４からの映像は、それぞれ、第１のＣＭＯＳ１２、第２のCMOS１３により撮影される。第１のＣＭＯＳ１２及び第２のCMOS１３は、プリント基板１５上に両面実装される。つまり、第１のＣＭＯＳ１２及び第２のCMOS１３は、プリント基板の表面と裏面のそれぞれに実装される。プリント基板１５には、音声取得部４と制御部１０２も実装される。なお、図２において、音声取得部４と制御部１０２は、第１のレンズ１１が配置された面に実装されているが、その逆でもよい。音声取得部４はマイク等により構成される。プリント基板１５は、球体の形状をした球体ケース１６内に設けられている。球体ケース１６は、透明であり、また、音声が透過可能に構成されている。

図３は、撮影部１を第１のレンズ１１の方向から視た図である。

図２、図３のように、第１のレンズ１１及び第２のレンズ１４の２つのレンズを用いて撮影する場合、符号化部６は、符号化した撮影データを、第１のレンズ１１又は第２のレンズ１４のいずれのレンズにより撮影されたデータなのかを識別可能な状態で付加情報付与部２に送る。

なお、図２、図３において、２つのレンズを有する実施例を説明したが、レンズの数は２つに限定されるものではない。撮像装置１００の周囲の環境をほぼ満遍なく撮影することが可能であれば、レンズの数は幾つであってもよい。

図４（ａ）に、撮像装置１００の全体図を示す。図４（ａ）には、ペンダント型の形態である撮像装置１００が図示されている。なお、撮像装置１００は図４（ａ）に示す形態に限定されるものではない。図４（ａ）のようにペンダント型の形態とすることで、撮像装置１００の使用者は、撮像装置１００を首にぶら下げることができる。よって、撮像装置１００を手で保持することなく、自己の周囲を常時撮影することが可能となる。なお、ストラップ部１７は、例えば、有機ラジカル電池のような折り曲げ可能な電源により構成される。図４（ｂ）に、ストラップ部１７がカメラ部１０１等に対して電源を供給する機構の例を示す。図４（ｂ）に示すように、ストラップ部１７とプリント基板１５が電源端子１８により接続している。ストラップ部１７は、電源端子１８を介して、カメラ部１０１等に対して電源を供給する。

クロック部５は、常時、時刻を計測する。クロック部５は、例えば、電波時計やＧＰＳにより構成される。クロック部５は、計測した時刻を示す時間情報を、付加情報付与部２に送る。

付加情報付与部２は、映像データと音声データとからなる撮影データに、様々な付加情報を付与する。付加情報付与部２の詳細は、後述する。

通信部３は、撮影した撮影データを、外部記憶装置２００へ送信する。図５に通信部３の詳細を示す。図５を参照すると、通信部３は、識別情報付与部３０、識別情報保持部３１、送信部３２及びアドレス保持部３３を有する。
識別情報保持部３１は、撮像装置１００を識別するための識別情報を格納している。
識別情報付与部３０は、カメラ部１０１により撮影された撮影データの１フレーム毎に、識別情報を付与する。
アドレス保持部３３は、撮影データを送信する外部記憶装置２００のアドレス情報と、撮像装置１００自体のアドレス情報を格納している。アドレス情報は、例えば、ＩＰアドレス等である。送信部３２は、アドレス情報に基づいて、識別情報が付与された撮影データを外部記憶装置２００に対して送信する。なお、撮像装置１００自体のアドレス情報と識別情報は同一のものであってもよい。撮像装置１００自体のアドレス情報と識別情報が同一の場合、アドレス保持部３３は、外部記憶装置２００のアドレス情報のみを格納すればよい。この場合、送信部３２は、撮像装置１００自体のアドレス情報として、識別情報を使用する。

ここで、図６を参照して、撮影データの１フレーム分のデータである動画データ３００の構造について説明する。

図６を参照すると、動画データ３００は、付加情報領域３０１とデータ領域３０２を有する。付加情報領域３０１には、識別情報３０１０、時間情報３０１１、レンズ番号３０１３及び付加情報３０１２が格納されている。識別情報３０１０は、動画データ３００を撮影した撮像装置１００を識別するための情報である。識別情報３０１０は、識別情報付与部３０により付与される。時間情報３０１１は、時刻を示す情報である。時間情報３０１１は、クロック部５により付与される。時間情報３０１１は、動画データ３００が生成された時刻に対応する。付加情報３０１２は、付加情報付与部２により動画データ３００に付加される情報である。レンズ番号３０１３は、撮影部１が図２、図３に示すような複数のレンズを有する形態である場合に、符号化部６から送信される。付加情報付与部２は、符号化部６からレンズ番号３０１３が送信された場合、付加情報領域３０１にレンズ番号３０１３を付加する。レンズ番号３０１３により、動画データ３００が複数のレンズのいずれにより撮影されたものなのかを判別できる。付加情報３０１２の詳細は、後述する。データ領域３０２には、映像・音声のデータが格納されている。

次に、撮像装置１００から送信されて動画データ３００を格納する外部記憶装置２００について、図７及び図８を参照して説明する。

外部記憶装置２００は、データ受信部２０１、映像ＤＢ２０２、データ配信部２０３及び認証ＤＢ２０４を有する。

データ受信部２０１は、通信部３から送信され動画データ３００を映像ＤＢ２０２に格納する。データ受信部２０１は、動画データ３００に含まれる識別情報３０１０を確認し、識別情報３０１０毎に、動画データ３００を映像ＤＢ２０２に格納する。また、動画データ３００がカメラ番号３０１３を含む場合、データ受信部２０１は、同じ識別情報３０１０を有する動画データ３００を、カメラ番号３０１３毎に、映像ＤＢ２０２に格納する。

ここで、図８を参照し、映像ＤＢ２０２に格納されているデータの構造について説明する。映像ＤＢ２０２には、識別情報３０１０に関連付けて、複数の動画データ３００が撮影データ２０２０として格納されている。なお、動画データ３００がカメラ番号３０１３を含む場合、識別番号３０１０にカメラ番号３０１３を関連付け、更に、そのカメラ番号３０１３に関連付けて、複数の動画データ３００が撮影データ２０２０として格納される。データ受信部２０１は、動画データ３００を受信すると、その動画データ３００に含まれる識別情報３０１０を確認する。そして、データ受信部２０１は、確認した識別情報３０１０と同一の識別情報３０１０が映像ＤＢ２０２に存在するか否かを確認する。同一の識別情報３０１０が存在する場合、データ受信部２０１は、その識別情報３０１０に関連付けられている撮影データ２０２０に、動画データ３００を追加する。なお、データ受信部２０１は、動画データ３００を、再生される順番に格納する。

また、動画データ３００にカメラ番号３０１３が含まれる場合、データ受信部２０１は、同一の識別情報３０１０の存在を確認し、確認した識別情報３０１０に関連付けられているカメラ番号３０１３が、動画データ３００に含まれるカメラ番号３０１３と同一か否かを確認する。カメラ番号３０１３が同一だった場合、データ受信部２０１は、そのカメラ番号３０１３に関連付けられている撮影データ２０２０に、動画データ３００を追加する。

データ配信部２０３は、映像ＤＢ２０２から撮影データ２０２０を取り出し、その撮影データ２０２０を配信する。撮影データ２０２０の配信対象は、例えば、ＰＣやＴＶ等である。なお、データ配信部２０３は、撮影データ２０２０の配信要求に対し、認証による配信可否の判断をしてもよい。認証において、データ配信部２０３は、認証ＤＢ２０４を用いる。認証ＤＢには、配信対象のＩＤとパスワード等、認証に使用する情報が格納されている。データ配信部２０３は、配信要求に含まれるＩＤやパスワード等により、認証ＤＢを用いて認証を行う。

次に、図９を参照して、付加情報付与部２について詳細に説明する。

付加情報付与部２は、バッファ２０、画像認識部２１、感情認識部２２、認識対象記憶部２３及び感情情報ＤＢ２４を有する。

バッファ２０は、カメラ部１０１と接続している。バッファ２０は、符号化部６から撮影データを受信する。バッファ２０は、符号化部６が符号化した撮影データを、１フレーム分のデータ毎に格納する。なお、バッファ２０に格納される際に、撮影データの１フレーム分のデータに対してクロック部５から送信された時間情報が付加される。

次に、画像認識部２１について説明する。

画像認識部２１は、バッファ２０から抽出した撮影データの１フレーム分のデータについて、画像認識処理を実行する。
認識対象記憶部２３には、画像認識処理により認識される対象の画像が予め登録されている。また、認識対象記憶部２３には、登録されている画像毎に、対応する付加情報３０１２が関連付けられている。

画像認識部２１は、認識対象記憶部２３に登録されている画像が、バッファ２０から抽出した撮影データの１フレーム分のデータに存在するか否かの認識処理を行う。認識対象の画像が認識された場合、画像認識部２１は、認識対象記憶部２３から、認識した画像に関連付けられている付加情報３０１２を取得する。画像認識部２１は、調査対象記憶部２３から取得した付加情報３０１２を、撮影データの１フレーム分のデータに付与する。認識対象の画像が認識できなかった場合、画像認識部２１は、付加情報３０１２の付与は行わない。

以下に、画像認識部２１による画像認識処理の一つの実施例について、説明する。

図１０を参照すると、画像認識部２１は、輝度検出部２２０、二値化処理部２２１、細線化処理部２２２及び判定部２２３を有する。

輝度検出部２２０は、撮影データの１フレーム分のデータについて、それぞれの画素の輝度値を求める。ここで、各画素の輝度値は、例えば、２５６階調（２の８乗）であるものとする。

二値化処理部２２１は、輝度検出部２２０により検出された各画素の輝度を、“０”と認識対象の輝度Ｂの二つの値に区分する。二値化処理部２２１には、予め、所定の輝度値が閾値として設定されている。この閾値は、認識対象の画像の輝度である。例えば、認識対象の画像が肌色の「掌」である場合、肌色を示す輝度値が閾値として設定される。また、例えば、。認識対象の画像が手袋を装着した「掌」である場合、当該手袋の輝度値を閾値として予め設定しておけばよい。なお、閾値は、ある一定の範囲の値であってもよい。閾値がＸである場合、二値化処理部２２１は、輝度値がＸではない画素の輝度値を“０”にする。また閾値が一定の範囲（ａ＜Ｘ＜ｂ）である場合、二値化処理部２２１は、閾値の範囲外の輝度値を有する画素の輝度値を“０”に設定する。この二値化処理部２２１による処理により、二値化処理部２２１は、認識対象とそれ以外の部分の輝度値を明確に区分する。なお、閾値に対応する輝度の画素が存在しない場合、二値化処理部２２１は、全ての画素について、輝度を“０”に設定する。

細線化処理部２２２は、ある太さをもった図形（認識対象の画像）を、線形の形状に細線化する処理を実行する。細線化処理部２２２は、まず、撮影データの１フレーム分のデータを二次元配列の画素と認識する。つまり、細線化処理部２２２は、撮影データの１フレーム分のデータにおける任意の画素を、画素（ｉ、ｊ）として認識する。細線化処理部２２２は、二値化された認識対象の画像の輪郭点に該当する画素（ｉ、ｊ）について、その画素が除去可能か否かを判断する。細線化処理部２２２は、除去可能な画素が無くなるまで、この処理を繰り返し、二値化した認識対象の画像を細線化する。

以下に、細線化処理の一例を示す。なお、細線化処理部２２２における細線化処理は、この例に限るものではない。

二値化後の認識対象の輝度値をＧとし、その他の輝度値を“０”とする。また、細線化処理部２２２は、Ｇ＞Ｔ１＞Ｔ２＞０となるように予め定められた２つの閾値Ｔ１、Ｔ２を保持している。

細線化処理部２２２は、ある画素（ｉ、ｊ）の４近傍の画素である画素（ｉ−１、ｊ）、画素（ｉ＋１、ｊ）、画素（ｉ、ｊ−１）、画素（ｉ、ｊ＋１）の中で輝度値がＴ２以下の画素の有無を判断する。輝度値がＴ２以下の画素が１つでも存在する場合、細線化処理部２２は、その画素（ｉ、ｊ）は輪郭点であると判断する。

細線化処理部２２２は、画素（ｉ、ｊ）が輪郭点である場合にのみ、以下の処理を実行する。

細線化処理部２２２は、輪郭点である画素（ｉ、ｊ）の８近傍の画素である画素（ｉ−１、ｊ−１）、画素（ｉ−１、ｊ）、画素（ｉ、ｊ−１）、画素（ｉ、ｊ＋１）、画素（ｉ＋１、ｊ−１）、画素（ｉ＋１、ｊ）、画素（ｉ＋１、ｊ＋１）の中で、輝度値がＴ１以上である画素の個数を求める。この個数をｎとする（１≦ｎ≦７）。

ｎが１である場合、細線化処理部２２２は、輪郭点である画素（ｉ、ｊ）を、除去しない画素であると判断する。

ｎが２である場合、細線化処理部２２２は、それらの画素が、ｉ軸またはｊ軸上で隣り合っているか否かを判断する。隣り合っている場合、細線化処理部２２２は、画素（ｉ、ｊ）を、除去すべき画素と判断する。細線化処理部２２２は、画素（ｉ、ｊ）を除去すべき画素と判断した場合、その画素（ｉ、ｊ）の輝度値をＰに設定する。但し、Ｐは、Ｔ１＞Ｐ＞Ｔ２の条件を満たすものとする（以下、同様とする）。

ｎが３である場合、細線化処理部２２２は、輪郭点である画素（ｉ、ｊ）を、除去しない画素であると判断する。

ｎが４≦ｎ≦６の場合、細線化処理部２２２は、以下の条件（１）〜（４）のいずれかを満たす場合には、画素（ｉ、ｊ）を、除去しない画素と判断する。

条件（１）：画素（ｉ−１、ｊ）の輝度値＜Ｔ１、且つ、画素（ｉ＋１、ｊ）の輝度値＜Ｔ１
条件（２）：画素（ｉ、ｊ−１）の輝度値＜Ｔ１、且つ、画素（ｉ、ｊ＋１）の輝度値＜Ｔ１
条件（３）：画素（ｉ−１、ｊ＋１）の輝度値＜Ｔ１、且つ、画素（ｉ＋１、ｊ−１）の輝度値＜Ｔ１
条件（４）：画素（ｉ−１、ｊ−１）の輝度値＜Ｔ１、且つ、画素（ｉ＋１、ｊ＋１）の輝度値＜Ｔ１
つまり、細線化処理部２２２は、条件（１）〜（４）をｏｒ条件で判断し、いずれかの条件に合致した場合には画素（ｉ、ｊ）を除去しない画素と判断する。いずれの条件にも合致しない場合、細線化処理部２２２は、画素（ｉ、ｊ）を除去すべき画素と判断し、その画素の輝度値をＰに設定する。

ｎが７の場合、細線化処理部２２２は、画素（ｉ、ｊ）を除去すべき画素として、その画素の輝度値をＰに設定する。

細線化処理部２２２は、以上の処理を画像データ内の全ての画素に対して実行する。細線化処理部２２２は、輝度値がＰの画素の輝度値を“０”に設定する。

細線化処理部２２２は、これらの処理を、除去すべき画素が無くなるまで繰り返す。

図１１に、画像を細線化する処理の模式図を示す。図１１は、認識対象の画像の一例として、様々なジェスチャーをしている「手」を示している。細線化処理部２２２は、図１１に示すように、様々なジェスチャーをしている手の画像を細線化する。そして、細線化された画像は、判定部２２３により、認識対象記憶部２３に登録された画像と比較される。

判定部２２３は、細線化処理部２２２により細線化された画像と、認識対象記憶部２３に登録された線形図形とを比較する。判定部２２３は、細線化された画像が認識対象記憶部２３に登録された線形図形のいずれかと一致した場合、当該線形図形と関連付けられて認識対象記憶部２３に格納されている付加情報３０１２を、撮影データの１フレーム分のデータに付与する。なお、判定部２２３は、二値化処理や細線化処理が施される前の状態のデータに付加情報３０１２を付与する。判定部２２３は、パターンマッチング法等を用いて、細線化された画像と認識対象記憶部２３に登録された線形図形の一致・不一致を判定する。

図１２を参照して、認識対象記憶部２３に格納されているデータの内容について説明する。認識対象記憶部２３は、画像認識部２１の認識対象の画像を保持している。また、認識対象記憶部２３は、画像認識部２１の認識対象の画像のそれぞれと関連付けて、撮影データに付加する付加情報３０１２を保持している。なお、認識対象の画像は、線形図形として登録されている。

なお、画像認識部２１のよる画像認識処理は、上述の処理に限定されるものではなく、他の方式による画像認識処理であってもよい。

次に、感情認識部２２について説明する。

感情認識部２２は、バッファ２０から抽出した撮影データについて、感情認識処理を実行する。つまり、感情認識部２２は、撮影データに基づいて、撮像装置１００の使用者若しくはその周囲に存在する人物の感情を認識する。感情認識部２２は、撮影データに対して、感情状態に対応する付加情報３０１２を付加する。

感情認識部２２における感情認識処理は、例えば、以下に述べる技術（特許第3676969号に記載された技術）により実現される。

感情認識部２２は、音声信号を入力し、その音声信号から音声の強度、音声のテンポ、音声の抑揚を検出する。感情認識部２２は、例えば、音声の振幅の大きさの平均値により、音声の強度を検出する。感情認識部２２は、例えば、ある単位時間に出現した音素の数をテンポとして検出する。音素とは、ある音声を構成する音の要素である。つまり、入力した音声が「こんにちは」であった場合、音素は「こ」、「ん」、「に」、「ち」、「は」となる。感情認識部２２は、入力した音声における音声の強度の変化により、音声の抑揚を認識する。感情認識部２２は、音声の強度の時間軸方向の第１の変化量、音声のテンポの時間軸方向の第２の変化量、音声の抑揚の時間軸方向の第３の変化量をそれぞれ求める。第１の変化量、第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を、予め感情情報ＤＢ２４に格納しておく。この感情情報ＤＢ２４に格納された情報を参照し、感情認識部２２は、検出した第１の変化量、第２の変化量及び第３の変化量から感情状態を特定する。

なお、感情認識部２２は、音声信号を、バッファ２０から抽出した撮影データから音声部分を取り出すことにより抽出する。

また、感情認識処理を実行する上で、一定の周波数分の音声信号が必要になる。よって、感情認識部２２は、必要な周波数に対応する複数フレーム分のデータを、バッファ２０に格納された撮影データから抽出し、感情認識処理を実行する。

感情認識部２２は、特定した感情状態を表す付加情報３０１２をバッファ２０から抽出した撮影データに付加し、バッファ２０に再度格納する。なお、感情状態として、例えば、“喜び”、“怒り”、“悲しみ”、“恐れ”、“楽しみ”、“驚き”の６種類があり、感情認識部２２は、それぞれの感情状態に対応する付加情報３０１２を撮影データに付加する。上記６種類の感情状態のいずれにも該当しない場合（例えば、平常状態）、感情認識部２２は、撮影データに対して付加情報３０１２を付加しない。なお、感情認識部２２は、バッファ２０から抽出したデータに対して、感情状態に対応する付加情報３０１２を付加する。

バッファ２０は、画像認識部２１及び感情認識部２２における処理が完了したデータを、通信部３に送る。

以上のように、本発明の撮像装置１００は、映像・音声を含む撮影データに対して、その撮影データの解析結果に応じた付加情報を付与することができる。つまり、本発明の撮像装置は、付加情報に対して様々な意味を含めることができる。このように、撮影データの解析結果に応じた付加情報が付与されることにより、付加情報に含まれる意味に基づいて、簡易且つ柔軟な映像データの検索が可能となるという優れた効果を奏する。

次に、図１３、図１４、図１５及び図１６を参照し、撮像装置１００により撮影した映像を映写する再生装置４００について説明する。

図１３に、再生装置４００の構成例を示す。再生装置４００は、プログラム制御により動作し、映像受信部４０１、再生部４０２、操作部４０３及びディスプレイ４０４を有する。

映像受信部４０１は、外部記憶装置２００から、撮影データ２０２０を受信する。なお、再生装置４００の使用者は、自己の撮像装置１００に対応する識別情報３０１０をキーにして、外部記憶装置２００に対して撮影データ２０２０の送信を要求する。外部記憶装置２００は、要求された識別情報３０１０に対応する撮影データ２０２０を、再生装置４００の映像受信部４０１に対して送信する。なお、再生装置４００の使用者は、識別情報３０１０に加え、カメラ番号３０１３も送信し、撮影データ２０２０の送信を要求してもよい。この場合、外部記憶装置２００は、要求された識別情報３０１０及びカメラ番号３０１３に対応する撮影データ２０２０を、再生装置４００の映像受信部４０１に対して送信する。映像受信部４０１は、当該要求に応じて外部記憶装置２００が送信した撮影データ２０２０を受信する。なお、再生装置４００には、再生装置４００を識別するための識別子が予め付与されている。識別子は、例えば、ＩＰアドレス等である。再生装置４００と外部記憶装置２００は、例えば、ＴＣＰ／ＩＰプロトコルに基づいて通信を実行する。なお、再生装置４００の使用者は、撮影データ２０２０の送信を要求する際に、データが撮影された日時を指定して送信要求をすることができる。この場合、映像受信部４０１は、指定された時間範囲の映像データ２０２０を受信する。

再生部４０２は、映像受信部４０１が外部記憶装置２００から受信した撮影データ２０２０の再生処理を実行する。

ディスプレイ４０４は、再生部４０２による再生処理に基づいて、撮影データ２０２０を表示する。

操作部４０３は、再生部４０２により再生処理が実行されている撮影データ２０２０に対する所定の操作を実行する。所定の操作とは、例えば、撮影データ２０２０に付加されている付加情報３０１２の検索である。また、操作部４０３は、操作キーやリモコン等も含む。操作部４０３は、操作キーやリモコン等により音量調整、映像の取得要求を実行できる。

図１４を参照すると、操作部４０３は、撮影部４０３１、画像認識部４０３２、認識対象保持部４０３３及び検索対象指示部４０３４を有する。

撮影部４０３１は、例えば、再生装置４００の、ディスプレイ４０４が設けられている側に配置されている。撮影部４０３１は、ＣＣＤやＣＭＯＳセンサー等により映像を撮影する。

画像認識部４０３２は、認識対象保持部４０３３に登録されている認識対象が、撮影部４０３１により撮影された映像に存在するか否かを判定する。画像認識部４０３２は、例えば、撮影部４０３１が撮影した映像中のフレームについて、所定の時間間隔で画像認識処理を実行する。画像認識部４０３２は、認識対象保持部４０３３に登録されている画像を認識した場合、画像が認識されたフレーム以降のフレームに対して継続して画像認識処理を実行し、その画像の移動を検知する。画像認識部４０３２は、画像の移動を検知した場合、画像の移動方向に対応する所定の操作を実行する。画像認識部４０３２は、例えば、認識対象の画像が撮影部４０３１に向かって右方向に移動したことを検知した場合、再生中の動画データ３００からみて再生方向に存在する動画データ３００に付加された付加情報３０１２を検索する。再生部４０２は、例えば、当該付加情報３０１２が付加された動画データ３００を静止画像としてディスプレイ４０４に表示する。また、画像認識部４０３２は、例えば、認識対象の画像が撮影部４０３１に向かって左方向に移動したことを検知した場合、再生中の動画データ３００からみて再生方向と逆方向に存在する動画データ３００に付加された付加情報３０１２を検索する。再生部４０２は、例えば、当該付加情報３０１２が付加された動画データ３００を静止画像としディスプレイ４０４に表示する。また、例えば、画像認識部４０３２は、検索した付加情報３０１２が付加された動画データ３００を静止表示している間に認識対象の画像が無くなったことを検知した場合、その位置から撮影データ２０２０を再生する。

なお、再生装置４００の使用者は、操作部４０３に設けられた検索対象指示部４０３４により、検索対象とする付加情報３０１２を指定することも可能である。例えば、“喜び”の感情状態に対応する付加情報３０１２を検索したい場合、検索対象指示部４０３４から、“喜び”の感情状態に対応する付加情報３０１２を検索対象とする旨の指示を入力する。その後、上述の操作を実行することにより、“喜び”の感情状態に対応する付加情報３０１２の検索を実行できる。

検索対象指示部４０３４は、例えば、付加情報３０１２毎に対応するボタンとして構成される。
なお、操作部４０３による付加情報３０１２の検索は、上述の方式に限定されるものではない。

認識対象保持部４０３３に登録されている認識対象は、例えば、再生装置４００の使用者の掌等である。例えば、再生装置４００の使用者は、掌を撮影部４０３１の前にかざし、掌を撮影部４０３１に向かって右方向に動かすことにより、再生中の動画データ３００からみて再生方向に存在する動画データ３００に付加された付加情報３０１２を検索できる。また、再生装置４００の使用者は、掌を撮影部４０３１の前にかざし、掌を撮影部４０３１に向かって左方向に動かすことにより、再生中の動画データ３００からみて再生方向と逆方向に存在する動画データ３００に付加された付加情報３０１２を検索できる。このような操作により、再生装置４００の使用者は、撮影データ２０２０のうち、付加情報３０１２が付加されている位置を容易に検索することが可能となる。

図１５に、画像認識部４０３２について、具体的に説明する。

図１５を参照すると、画像認識部４０３２は、輝度検出部４０３２０、二値化処理部４０３２１、細線化処理部４０３２２、判定部４０３２３及び移動検地部４０３２４を有する。

輝度検出部４０３２０は、輝度検出部２２０と同様の処理により、撮影部４０３１により撮影された映像データの各画素の輝度値を検出する。また、輝度検出部４０３２０は、認識対象記憶部４０３３に登録されている認識対象の画像の各画素の輝度値を検出する。

二値化処理部４０３２１は、二値化処理部２２１と同様の処理により、輝度検出部４０３２０により検出された各画素の輝度を、”０”と認識対象の輝度Ｂの二つの値に区分する。二値化処理部４０３２１には、予め、所定の輝度値が閾値として設定されている。この閾値は、認識対象の画像の輝度である。例えば、認識対象の画像が「肌色の掌」である場合、肌色を示す輝度値が閾値として設定される。なお、閾値は、ある一定の範囲の値であってもよい。二値化処理部４０３２１は、撮影部４０３１により撮影された映像データと認識対象記憶部４０３３に登録されている画像に対して、二値化処理を実行する。

細線化処理部４０３２２は、細線化処理部２２２と同様の処理により、二値化処理部４０３２１により二値化された画像データを、細線化する。細線化処理部４０３２２は、二値化された撮影部４０３１により撮影された映像データと認識対象記憶部４０３３に登録されている画像それぞれに対して、細線化処理を実行する。

判定部４０３２３は、判定部２２３と同様の処理により、細線化された撮影部４０３１により撮影された映像データと認識対象記憶部４０３３に登録されている画像を比較し、一致・不一致の判定を行う。判定部４０３２３は、二つの線形画像が一致すると判定した場合、移動検知部４０３２４に対して、撮影部４０３１により撮影された映像データの移動を検知するように指示する。

移動検知部４０３２４は、判定部４０３２３より指示を受けた後、二値化処理部４０３２１により二値化された画像の移動の有無の監視を開始する。移動検知部４０３２４は、二値化された画像のうち、輝度値が“０”ではない画素部分の移動を検知する。例えば、移動検知部４０３２４は、認識対象の画像の輪郭部分の画素の位置が変化したことを検知する。このとき、移動検知部４０３２４は、移動方向も検知する。なお、移動検知部４０３２４は、輪郭部分の画素が、所定の画素数分移動した場合に認識対象の画像が移動したと判断する。１画素分移動した場合であっても、認識対象の画像が移動したものと判断してしまうと、誤検出の原因となる。よって、移動検知部４０３２４は、所定の画素数（例えば数千〜数万画素）分だけ認識対象が移動した場合に、移動を検知すればよい。移動検知部４０３２４は、移動方向に対応する操作を実行する。つまり、移動検知部４０３２４は、検知した移動方向に基づいて、付加情報３０１２の検索を実行する。このとき、移動検知部４０３２４は、検索対象指示部４０３４から指示された付加情報３０１２を検索対象とする。

図１６に、再生装置４００における操作の模式図を示す。図１６に示すように、再生装置４００の使用者は、例えば、掌を撮影部４０３１の前で動かすことにより、撮影データ２０２０の操作ができる。上記操作を実行する前に、検索対象指示部４０３４により検索対象の識別情報３０１２を指定することも可能である。図１６では、検索対象指示部４０３４がボタンにより構成された場合の例を示している。

なお、操作部４０３による操作方式は、上述のものに限定されるものではない。

次に、図１７、１８及び１９のフローチャートを参照し、撮像装置１００の動作について説明する。

図１７のフローチャートに、撮像装置１００の動作の概略を示す。

カメラ部１０１により映像を撮影する（Ｓ１）。このとき、音声取得部４により、音声も同時に取得される。

制御部１０２により、撮影データ２０２０の解析結果に応じた付加情報が自動で付与される（Ｓ２）。

制御部１０２の通信部３により、撮影データ２０２０を外部記憶装置２００へ送信する（Ｓ３）。

撮像装置１００が稼動している間、撮像装置１００は、上記Ｓ１〜Ｓ３の動作を常時実行する。

次に、図１８のフローチャートにより、Ｓ２の付加情報付与処理の動作のうち、画像認識処理について詳細に説明する。

画像認識部２１は、バッファ２０から撮影データ２０２０を抽出する（Ｓ４）。画像認識部２１は、撮影データ２０２０のうち、１フレーム分のデータを抽出する。

画像認識部２１は、バッファ２０から抽出したデータに対して、画像認識処理を実行する（Ｓ５）。

画像認識部２１は、画像認識処理において、認識対象記憶部２３に登録されている認識対象の画像の有無を判別する（Ｓ６）。

認識対象の画像の存在が確認できた場合（Ｓ６でＹｅｓの場合）、画像認識部２２は、当該画像に関連付けられて認識対象記憶部２３に格納されている付加情報３０１２を、バッファ２０から抽出したデータに付加する（Ｓ７）。

画像認識部２２は、バッファ２０から抽出したデータを、バッファ２０に再度格納する（Ｓ８）。

次に、図１９のフローチャートにより、Ｓ２の付加情報付与処理の動作のうち、感情認識処理について詳細に説明する。

感情認識部２２は、バッファ２０から、感情認識処理に必要な周波数分の複数フレームの撮影データを抽出する（Ｓ９）。

感情認識部２２は、感情認識処理を実行する（Ｓ１０）。感情認識部２２は、例えば、撮影データの音声信号に基づいて、感情認識処理を実行する。感情認識部２２は、例えば、音声の強度、テンポ、抑揚の時間軸方向の変化量に基づいて感情情報を認識する。

感情認識部２２は、感情状態に対応する付加情報３０１２を、撮影データに対して付加する（Ｓ１１）。感情状態は、例えば、“喜び”、“怒り”、“悲しみ”、“恐れ”、“楽しみ”、“驚き”の６種類がある。

感情認識部２２は、付加情報３０１２を付加した撮影データを、バッファ２０に再度格納する（Ｓ１２）。

画像認識部２１及び感情認識部２２における処理が完了したデータが、Ｓ３において、通信部３により外部記憶装置２００に送信される。

以上により第１の実施例の動作が完了する。

本発明の撮像装置１００は、映像・音声を含む撮影データに対して、その撮影データの解析結果に応じた付加情報を付与することができる。つまり、本発明の撮像装置は、付加情報に対して様々な意味を含めることができる。このように、撮影データの解析結果に応じた付加情報が付与されることにより、付加情報に含まれる意味に基づいて、簡易且つ柔軟な映像データの検索が可能となるという優れた効果を奏する。

（第２の実施例）
次に、、本発明の第２の実施例として、撮像装置１００同士が互いに通信する実施例について説明する。

図２０に示すように、撮像装置１００同士は、互いに通信することが可能である。撮像装置１００は、互いに、識別情報３０１０と通信をした時点の時間情報３０１１を送信する。そして、それぞれの撮像装置１００は、通信相手の識別情報３０１０及び通信をした時点の時間情報３０１１を、関連情報３０１４として動画データ３００に付加する。よって、後で撮影データを鑑賞する際に、関連情報３０１４をキーにして、通信相手の撮像装置１００が撮影していた撮影データを検索することができる。これにより、通信相手の撮像装置１００により撮影された自分自身の姿の映像を鑑賞することが可能となる。

この実施例では、付加情報付与部２と通信部３に、新たな手段が設けられる。

図２１に、第２の実施例における通信部３の構成を示す。通信部３には、接続部３４が設けられる。その他の要素は、図５と同様である。

接続部３４は、他の撮像装置１００と通信を実行する。

図２２に、接続部３４の構成例を示す。図２２は、ある撮像装置１００の接続部３４と、その接続部３４と通信を実行する他の撮像装置１００の接続部３４の両者を図示している。両接続部３４は、ともに同一の構成である。なお、接続部３４の構成は、図２２に示す構成例に限るものではない。

ビーコン送出部３４０は、ビーコン信号を一定の間隔で送出する。ビーコン送出部３４０は、他の撮像装置１００に対して自己の存在を通知するため、ビーコン信号を送出する。なお、ビーコン信号は、他の撮像装置１００とのセッションを識別するための識別子が含む。また、ビーコン信号は、他の撮像装置１００との接続に必要な様々な制御情報を含む。制御情報とは、例えば、撮像装置１００が利用できる周波数帯等である。

ビーコン検出部３４１は、ビーコン信号を検出する。ビーコン検出部３４１は、検出したビーコン信号から識別子を抽出する。

ビーコン検出部３４１がビーコン信号を検出した場合、レスポンス送出部３４２は、検出したビーコン信号に対するレスポンス信号を送出する。レスポンス送出部３４２は、ビーコン信号を送出した撮像装置１００に対してビーコン検出部３４１が抽出した識別子を含んだレスポンス信号を返す。また、レスポンス送出部３４２は、ビーコン信号から制御情報（例えば、周波数帯）を抽出し、その制御情報に基づいてレスポンス信号を返す。
レスポンス受信部３４３は、レスポンス信号を受信する。レスポンス受信部３４３がレスポンス信号を受信した場合、接続部３４は、他の撮像装置１００の存在を認識する。レスポンス受信部３４３がレスポンス信号を受信した場合、相互通信部３４４は、他の撮像装置１００の相互通信部３４４と通信を開始する。このとき、相互通信部３４４は、レスポンス信号に含まれる識別子に基づいて、他の相互通信部３４４と通信を実行する。

相互通信部３４４は、通信相手の撮像装置１００の相互通信部３４４に対して、識別情報３０１０の送信を要求する。要求を受けた撮像装置１００の相互通信部３４４は、識別情報保持部３１から識別情報３０１０を取り出す。このとき、要求を受けた撮像装置１００の相互通信部３４４は、クロック部５から時間情報３０１１を取得する。要求を受けた撮像装置１００の相互通信部３４４は、識別情報３０１０と時間情報３０１１を、通信相手の撮像装置１００の相互通信部３４４に送信する。識別情報３０１０を送信した撮像装置１００の相互通信部３４４も、同様の手順により、識別情報３０１０を要求する。これにより、互いの撮像装置１００の相互通信部３４４は、通信相手の識別情報３０１０及び通信をした時点の時間情報３０１１を取得することができる。相互通信部３４４は、取得した識別情報３０１０及び時間情報３０１１を、付加情報付与部２に送信する。

図２３を参照すると、付加情報付与部２は、関連情報付与部２５を有する。その他の要素は、図９と同様である。

関連情報付与部２５は、相互通信部３４４から通信相手の撮像装置１００の識別情報３０１０及び時間情報３０１１を受信する。関連情報付与部２５は、相互通信部３４４から受信した時間情報３０１１と同時刻若しくはその近辺の時刻に対応する時間情報３０１１を含む動画データ３００をバッファ２０から抽出する。関連情報付与部２５は、接続部３４から受信した識別情報３０１０及び時間情報３０１１を、バッファ２０から抽出した動画データ３００に対して関連情報３０１４として付加する。

図２４に、関連情報３０１４が付加された動画データ３００の構造を示す。関連情報３０１４は、付加情報領域３０１に付加される。

次に、図２５、２１を参照し、関連情報３０１４に基づいて検索される、他の撮像装置１００により撮影された撮影データ２０２０を効果的に再生する再生装置４００について説明する。

図２５に、この再生装置４００の構成例を示す。再生装置４００は、第１のディスプレイ４０４０と、第２のディスプレイ４０４１の２つのディスプレイを有する。その他の構成は、図１３と同様である。再生装置４００は、自己の撮像装置１００の識別情報３０１２が付加された撮影データ２０２０を、第１のディスプレイ４０４０に映写する。また、再生装置４００は、第１のディスプレイ４０４１に映写されている撮影データ２０２０に付加されている関連情報３０１４をキーにして外部記憶装置２００から検索した他の撮影データ２０２０を、第２のディスプレイに映写する。

なお、図２５において、２つのディスプレイを有する実施例を示したが、ディスプレイの数はこれに限定されるものではない。例えば、再生装置４００は、複数の第２のディスプレイ４０４１を備えてもよい。第１のディスプレイ４０４０に映写された撮影データ２０２０に付加されている関連情報３０１４が複数ある場合、それぞれの関連情報３０１４に対応する他の撮影データ２０２０を、複数の第２のディスプレイ４０４１のそれぞれに映写する。第２のディスプレイ４０４１の数が、関連情報３０１４の数よりも少ない場合、関連情報３０１４が検索された順番で、対応する他の撮影データ２０２０を第２のディスプレイ４０４１に映写すればよい。

これにより、自己の撮像装置１００で撮影した撮影データ２０２０と、近くに存在した他の撮像装置１００により撮影された撮影データ２０２０を、２つのディスプレイに同時に映写することが可能となる。よって、自己の撮像装置１００で撮影した映像とともに、他の撮像装置１００により撮影された自分自身の映像を同時に鑑賞することが可能となり、より多面的な映像を楽しむことができる。

なお、操作部４０３の画像認識部４０３２は、例えば認識対象の画像が撮影部４０３１に向かって上又は下方向に移動したことを検知した場合、第１のディスプレイ４０４０に映写されている撮影データ２０２０に付加された関連情報３０１４を検索する。但し、関連情報３０１４の検索方式は、これに限定されるものではない。なお、認識対象の画像は、例えば、掌である。画像認識部４０３２は、検索した関連情報３０１４を再生部４０２に通知する。再生部４０２は、映像受信部４０１を介して、外部記憶装置２００に対して関連情報３０１４に対応する撮影データ２０２０の送信を要求する。この要求に応じて外部記憶装置２００から送信された撮影データ２０２０を映像受信部４０１が受信する。再生部４０２は、映像受信部４０１が受信した、関連情報３０１４に対応する撮影データ２０２０を、第２のディスプレイ４０４１に映写する。

図２６に、第１のディスプレイ４０４０と第２のディスプレイ４０４１のそれぞれに映像を映写した模式図を示す。このように、自己の撮像装置１００で撮影した撮影データ２０２０と、近くに存在した他の撮像装置１００により撮影された撮影データ２０２０を、２つのディスプレイに同時に映写することが可能となる。

本発明の第２の実施例によれば、撮像装置１００は、互いに、識別情報３０１０と通信をした時点の時間情報３０１１を送信する。そして、それぞれの撮像装置１００は、通信相手の識別情報３０１０及び通信をした時点の時間情報３０１１を、関連情報３０１４として動画データ３００に付加する。よって、後で撮影データを鑑賞する際に、関連情報３０１４をキーにして、通信相手の撮像装置１００が撮影していた撮影データを検索することができる。これにより、通信相手の撮像装置１００により撮影された自分自身の姿の映像を鑑賞することが可能となる。

本発明の第１の実施例における撮像装置１００の構成を示すブロック図である。 本発明の第１の実施例におけるカメラ部１０１の構成を示すブロック図である。 本発明の第１の実施例におけるカメラ部１０１の構成を示すブロック図である。 本発明の第１の実施例における撮像装置１００の全体構成を示す図である。 本発明の第１の実施例における通信部３の構成を示すブロック図である。 本発明の第１の実施例における動画データ３００の構造を示す図である。 本発明の第１の実施例における外部記憶装置２００の構成を示すブロック図である。 本発明の第１の実施例における映像ＤＢ２０２に格納されているデータの構造を示す流れ図である。 本発明の第１の実施例における付加情報付与部２の構成を示すブロック図である。 本発明の第１の実施例における画像認識部２１の構成を示すブロック図である。 本発明の第１の実施例における画像を細線化する処理の模式図である。 本発明の第１の実施例における認識対象記憶部２３に格納されているデータの内容を示す図である。 本発明の第１の実施例における再生装置４００の構成を示すブロック図である。 本発明の第１の実施例における操作部４０３の構成を示すブロック図である。 本発明の第１の実施例における画像認識部４０３２の構成を示すブロック図である。 本発明の第１の実施例における再生装置４００の操作の模式図である。 本発明の第１の実施例における撮像装置１００の動作を示す流れ図である。 本発明の第１の実施例における画像認識処理を示す流れ図である。 本発明の第１の実施例における感情認識処理を示す流れ図である。 本発明の第２の実施例の概要を示す図である。 本発明の第２の実施例における通信部３の構成を示すブロック図である。 本発明の第２の実施例における接続部３４の構成を示すブロック図である。 本発明の第２の実施例における付加情報付与部２の構成を示すブロック図である。 本発明の第２の実施例における関連情報３０１４が付加された動画データ３００の構造を示す図である。 本発明の第２の実施例における再生装置４００の構成を示すブロック図である。 本発明の第２の実施例における第１のディスプレイ４０４０と第２のディスプレイ４０４１のそれぞれに映像を映写した模式図である。

符号の説明

１ 撮影部
２ 付加情報付加部
３ 通信部
４ 音声取得部
５ クロック部
６ 符号化部
１１ 第１のレンズ
１２ 第１のＣＭＯＳ
１３ 第２のＣＭＯＳ
１４ 第２のレンズ
１５ プリント基板
１６ 球体ケース
１７ ストラップ
１８ 電源端子
２０ バッファ
２１ 画像認識部
２２ 感情認識部
２３ 認証対象記憶部
２４ 感情情報ＤＢ
３０ 識別情報付与部
３１ 識別情報保持部
３２ 送信部
３３ アドレス保持部
３４ 接続部
１００ 撮像装置
１０１ カメラ部
１０２ 制御部
２００ 外部記憶装置
２０１ データ受信部
２０２ 映像ＤＢ
２０３ データ配信部
２０４ 認証ＤＢ
２２０ 輝度検出部
２２１ 二値化処理部
２２２ 細線化処理部
２２３ 判定部
３４０ ビーコン送出部
３４１ ビーコン検出部
３４２ レスポンス送出部
３４３ レスポンス受信部
３４４ 相互通信部
４００ 再生装置
４０１ 映像受信部
４０２ 再生部
４０３ 操作部
４０４ ディスプレイ

Claims (30)

1. 映像を含む撮影データを撮影する撮影実行部と、
   前記撮影データを解析し、解析結果に対応する付加情報を当該撮影データ付与する付加情報付与部とを有することを特徴とする撮像装置。
2. 前記撮影実行部が撮影をしている間、前記撮影データを保存する記憶装置に対して、前記撮影データを送信する通信部を有する請求項１記載の撮像装置。
3. 前記撮影実行部は、
   映像を撮影するための複数のレンズを有することを特徴とする請求項１記載の撮像装置。
4. 前記撮影実行部は、
   映像を撮影するための第１のレンズ及び第２のレンズを有することを特徴とする請求項１記載の撮像装置。
5. 前記撮影実行部は、
   映像を撮影するための第１のレンズ及び第２のレンズと、
   前記第１のレンズ及び前記第２のレンズにより撮影された映像を電気信号に変換する第１のセンサ及び第２のセンサとを有し、
   前記第１のセンサ及び前記第２のセンサは、基板の表面と裏面にそれぞれ実装され、
   前記第１のレンズは前記第１のセンサと接続し、前記第２のレンズは前記第２のセンサと接続していることを特徴する請求項１に記載の撮像装置。
6. 前記第１のレンズ及び前記第２のレンズは、広角レンズであることを特徴とする請求項３乃至４いずれか１項に記載の撮像装置。
7. 前記第１のレンズ及び前記第２のレンズは、魚眼レンズであることを特徴とする請求項３乃至４いずれか１項に記載の撮像装置。
8. 前記撮影実行部は、球体形状のレンズにより覆われていることを特徴とする請求項３乃至７いずれか１項に記載の撮像装置。
9. 前記付加情報付与部は、前記撮影データを撮影したレンズを識別するための識別番号を、前記撮影データに付与することを特徴とする請求項３乃至８いずれか１項に記載の撮像装置。
10. 前記付加情報付与部は、前記撮影データが撮影された時刻に対応する時間情報を、前記撮影データに対して付与することを特徴とする請求項１記載の撮像装置。
11. 前記付加情報付与部は、前記撮影データに対して画像認識処理を実行し、当該画像認識処理の結果に対応する付加情報を前記撮影データに付与することを特徴とする請求項１に記載の撮像装置。
12. 前記付加情報付与部は、
    前記撮影データに対して画像認識処理を実行する画像認識部と、
    前記画像認識部に認識させる認識対象の画像と、当該認識対象の画像に対応する前記付加情報とを関連付けて格納する認識対象記憶部とを有し、
    前記画像認識部は、前記撮影データが前記認識対象の画像を含む場合、当該認識対象の画像に関連付けられている前記付加情報を、前記撮影データに対して付与することを特徴とする請求項１記載の撮像装置。
13. 前記付加情報付与部は、
    前記撮影データに対して画像認識処理を実行する画像認識部と、
    前記画像認識部に認識させる認識対象の画像を線形図形として格納し、対応する前記付加情報を当該認識対象の画像に関連付けて格納する認識対象記憶部とを有し、
    前記画像認識部は、
    前記撮影データの画素毎の輝度値を検出する輝度検出部と、
    前記輝度検出部により検出された前記画素の各々の輝度値を、前記認識対象の画像の輝度に応じて設定された閾値に対応する輝度値とその他の輝度値に二値化する二値化処理部と、
    前記閾値に対応する輝度値の部分を細線化する細線化処理部と、
    前記細線化処理部により細線化処理を施された前記撮影データと、前記認識対象記憶部に格納された前記線形図形とを比較し、両者が一致する場合に、当該線形図形に関連付けられた前記付加情報を前記撮影データに付与する判定部とを有することを特徴とする請求項１記載の撮像装置。
14. 前記撮影データは、音声を更に含み、
    前記付加情報付与部は、前記撮像装置の周囲の感情状態を前記音声に基づいて解析し、当該感情状態に対応する前記付加情報を前記撮影データに付与することを特徴とする請求項１記載の撮像装置。
15. 前記付加情報付与部は、複数の感情状態のそれぞれに対応する前記付加情報を前記撮影データに付与することを特徴とする請求項１４記載の撮像装置。
16. 他の撮像装置と相互に通信する接続部を有し、
    前記接続部は、前記他の撮像装置が撮影した撮影データを示す関連情報を、前記他の撮像装置から取得し、
    前記付加情報付与部は、前記関連情報を前記撮影データに付与することを特徴とする請求項１記載の撮像装置。
17. 前記関連情報は、前記接続部が前記他の撮像装置と通信を開始した時刻に対応する時間情報を含むことを特徴とする請求項１６記載の撮像装置。
18. 他の撮像装置と通信する接続部を有し、
    前記接続部は、
    前記他の撮像装置に対して存在を通知するためのビーコン信号を送出するビーコン送出部と、
    前記ビーコン信号を受信した前記他の撮像装置から送出されたレスポンス信号を受信するレスポンス信号受信部と、
    前記レスポンス信号受信部が前記レスポンス信号を受信した場合、前記他の撮像装置と通信し、前記他の撮像装置が撮影した撮影データを示す関連情報を取得する相互通信部とを有し、
    前記付加情報付与部は、
    前記関連情報を前記撮影データに付与する関連情報付与部を有する、
    ことを特徴とする請求項１記載の撮像装置。
19. 映像、音声を含む撮影情報を解析した結果に対応する付加情報を含む撮影データを再生する再生部と、
    前記撮影データから、前記付加情報の検索操作を実行する操作部と、
    を有することを特徴とする再生装置。
20. 前記操作部は、
    映像を撮影する撮影部を有し、
    前記操作部は、前記撮影部が撮影した対象物の移動を検知し、その移動態様に対応する前記付加情報を検索する、
    ことを特徴とする請求項１９記載の再生装置。
21. 前記操作部は、
    映像を撮影する撮影部と、
    前記撮影部が撮影した映像に対して画像認識処理を実行する画像認識部と、
    前記画像認識部に認識させる認識対象の画像を格納する認識対象保持部とを有し、
    前記画像認識部は、前記認識対象の画像を認識した場合、当該認識対象の画像の移動を検知し、その移動態様に対応する前記付加情報を検索することを特徴とする請求項１９記載の再生装置。
22. 前記操作部は、
    映像を撮影する撮影部と、
    前記撮影部が撮影した映像に対して画像認識処理を実行する画像認識部と、
    前記画像認識部に認識させる認識対象の画像を格納する認識対象保持部とを有し、
    前記画像認識部は、
    前記撮影部が撮影した映像と前記認識対象の画像の画素毎の輝度値を検出する輝度検出部と、
    前記輝度検出部により検出された前記画素の各々の輝度値を、前記認識対象の画像の輝度に応じて設定された閾値に対応する輝度値とその他の輝度値に二値化する二値化処理部と、
    前記閾値に対応する輝度値の部分を細線化する細線化処理部と、
    細線化された前記撮影部が撮影した映像と、細線化された前記認識対象の画像とが一致するか否かを判定する判定部と、
    前記判定部により一致すると判断された場合、前記撮影部が撮影した映像に含まれる前記認識対象の画像の移動の有無を監視し、検知した移動態様に応じた前記付加情報の検索を実行する移動検知部と、
    を有することを特徴とする請求項１９記載の再生装置。
23. 前記再生部により再生される前記撮影データを映写する第１の表示部及び第２の表示部を有し、
    前記撮影データは、他の撮影データを示す関連情報を更に含み、
    前記第２の表示部は、前記第１の表示部に映写される前記撮影データに含まれる前記関連情報に対応する前記他の撮影データを映写する、
    ことを特徴とする請求項１９記載の再生装置。
24. 前記操作部は、
    映像を撮影する撮影部を有し、
    前記操作部は、前記撮影部が撮影した対象物の移動を検知し、その移動態様が前記関連情報の検索操作に対応する場合に前記関連情報を検索し、
    前記再生部は、前記操作部により検索された前記関連情報に対応する前記撮影データを前記第２のディスプレイに映写する、
    ことを特徴とする請求項２３記載の再生装置。
25. 前記操作部は、
    映像を撮影する撮影部と、
    前記撮影部が撮影した映像に対して画像認識処理を実行する画像認識部と、
    前記画像認識部に認識させる認識対象の画像を格納する認識対象保持部とを有し、
    前記画像認識部は、前記認識対象の画像を認識した場合、当該認識対象の画像の移動を検知し、その移動態様が前記関連情報の検索操作に対応する場合に前記関連情報を検索し、
    前記再生部は、前記画像認識部により検索された前記関連情報に対応する前記撮影データを前記第２のディスプレイに映写する、
    ことを特徴とする請求項２３記載の再生装置。
26. 前記操作部は、
    映像を撮影する撮影部と、
    前記撮影部が撮影した映像に対して画像認識処理を実行する画像認識部と、
    前記画像認識部に認識させる認識対象の画像を格納する認識対象保持部とを有し、
    前記画像認識部は、
    前記撮影部が撮影した映像と前記認識対象の画像の画素毎の輝度値を検出する輝度検出部と、
    前記輝度検出部により検出された前記画素の各々の輝度値を、前記認識対象の画像の輝度に応じて設定された閾値に対応する輝度値とその他の輝度値に二値化する二値化処理部と、
    前記閾値に対応する輝度値の部分を細線化する細線化処理部と、
    細線化された前記撮影部が撮影した映像と、細線化された前記認識対象の画像とが一致するか否かを判定する判定部と、
    前記判定部により一致すると判断された場合、前記撮影部が撮影した映像に含まれる前記認識対象の画像の移動の有無を監視し、検知した移動態様が前記関連情報の検索操作に対応する場合に前記関連情報を検索する移動検知部とを有し、
    前記再生部は、前記移動検知部により検索された前記関連情報に対応する前記撮影データを前記第２のディスプレイに映写する、
    ことを特徴とする請求項２３記載の再生装置。
27. 映像、音声を含む撮影データを撮影するステップと、
    前記撮影データを解析するステップと、
    解析結果に対応する付加情報を当該撮影データ付与するステップとを有することを特徴とする撮像方法。
28. 映像、音声を含む撮影情報を解析した結果に対応する付加情報を含む撮影データを再生するステップと、
    前記撮影データから、前記付加情報の検索操作を実行するステップとを有することを特徴とする再生方法。
29. コンピュータに、
    映像、音声を含む撮影データを撮影する処理と、
    前記撮影データを解析する処理と、
    解析結果に対応する付加情報を当該撮影データ付与する処理とを実行させることを特徴とするプログラム。
30. コンピュータに、
    映像、音声を含む撮影情報を解析した結果に対応する付加情報を含む撮影データを再生する処理と、
    前記撮影データから、前記付加情報の検索操作を実行する処理とを実行させることを特徴とするプログラム。

Images