JP2013179543A - 電子機器、電子機器の制御プログラム、サーバ、およびサーバの制御プログラム - Google Patents

Abstract

【課題】撮像装置の周辺環境情報を取得するためのユニットを当該撮像装置に設ける必要があった。
【解決手段】上記課題を解決するために、電子機器は、撮像装置から発せられる操作音を検知する検知部と、検知部が検知した操作音に同期して、撮像装置の周辺環境情報を取得する環境取得部と、検知部が検知した操作音に同期して、現在時刻である時刻情報を取得する時刻取得部と、少なくとも、環境取得部が取得した周辺環境情報と、時刻取得部が取得した時刻情報とを関連付けた関連情報を生成する関連情報生成部とを備える。
【選択図】図３

Description

本発明は、電子機器、電子機器の制御プログラム、サーバ、およびサーバの制御プログラムに関する。

自装置の周辺環境情報として位置情報を取得し、撮像データに関連付ける撮像装置が知られている（特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−１３９２１８号公報

しかしながら、撮像装置の周辺環境情報を取得するためのユニットを当該撮像装置に設ける必要があった。

本発明の第１の態様における電子機器は、撮像装置から発せられる操作音を検知する検知部と、検知部が検知した操作音に同期して、撮像装置の周辺環境情報を取得する環境取得部と、検知部が検知した操作音に同期して、現在時刻である時刻情報を取得する時刻取得部と、少なくとも、環境取得部が取得した周辺環境情報と、時刻取得部が取得した時刻情報とを関連付けた関連情報を生成する関連情報生成部とを備える。

本発明の第２の態様におけるサーバは、電子機器で取得され互いに関連付けられた周辺環境情報と時刻情報とを関連情報として、ネットワークを介して取得する第１取得部と、撮像装置で生成された撮像データを、ネットワークを介して取得する第２取得部と、撮像データに付随して記録されている撮像時刻と時刻情報とを照合して、周辺環境情報を撮像データに関連付ける情報結合部とを備える。

本発明の第３の態様におけるサーバは、電子機器で生成された画像データを、ネットワークを介して取得する第１取得部と、撮像装置で生成された撮像データを、第１取得部が画像データを取得するよりも後に、ネットワークを介して取得する第２取得部と、画像データと撮像データとが関連するデータであるかを判定する判定部と、判定部が、画像データと撮像データとが関連するデータであると判定した場合に、画像データを撮像データに置き換えて記憶する記憶制御部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

第１実施形態に係る撮像装置補助システム１０全体の概略図である。 撮像装置１００と電子機器４００との取り付け形態の一例を示す図である。 第１実施形態に係る電子機器４００の内部構成図である。 操作音ＤＢの一例を示す図である。 第１実施形態に係る管理サーバ６００の内部構成図である。 撮像装置補助システム１０全体のシーケンス図である。 関連情報生成処理の動作フロー図である。 情報結合処理の動作フロー図である。 第２実施形態に係る管理サーバ７００の内部構成図である。 画像置換処理の動作フロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の説明において、撮像装置１００で生成された撮像データを「撮像データ」、電子機器４００で生成された撮像データを「画像データ」と記す。

＜第１実施形態＞
図１は、第１実施形態に係る撮像装置補助システム１０全体の概略図である。図１に示すように、第１実施形態に係る撮像装置補助システム１０は、撮像装置１００と、撮像装置１００に対して着脱可能に装着される記録媒体２００と、撮像装置１００と接続されるＰＣ３００を含む。さらに、撮像装置補助システム１０は、電子機器４００と、ＰＣ３００および電子機器４００が接続されるネットワーク５００と、ネットワーク５００に接続され、撮像装置１００および電子機器４００から送信されたデータを管理する管理サーバ６００を含む。

撮像装置１００は、例えばデジタルカメラであり、記録媒体２００が装着された状態でユーザに使用される。撮像装置１００で生成された撮像データは、記録媒体２００に記録される。記録媒体２００の例としてＣＦカード、ＳＤカード等が挙げられる。記録媒体２００に記録された撮像データは、ＰＣ３００経由で管理サーバ６００に送信される。

電子機器４００は、例えばスマートフォン、携帯電話端末等であり、撮像装置１００の機能を補う補助機器として機能する。電子機器４００は、撮像装置１００から発せられる操作音を検知して、後述する電子機器４００の周辺環境情報および現在時刻である時刻情報を取得する。そして、電子機器４００は、周辺環境情報と時刻情報とを関連付けた関連情報を生成し管理サーバ６００に送信する。なお、電子機器４００は、撮像装置１００に取り付けられて利用されてもよい。管理サーバ６００は、撮像データに付随して記録されている撮像時刻と関連情報内の時刻情報とを照合して、撮像データと周辺環境情報とを関連付ける。

このように、電子機器４００は、撮像装置１００の操作音をトリガとして動作し、電子機器４００の周辺環境情報を取得する。ここで、電子機器４００は、撮像装置１００の操作音を検知できる範囲内で利用される。つまり、電子機器４００と撮像装置１００とは、非常に近接した位置で利用される。このため、電子機器４００によって取得された周辺環境情報は、撮像装置１００の周辺環境情報と同一視できる。すなわち、電子機器４００が撮像装置１００の周辺環境情報を取得するといえる。本実施形態において、撮像装置１００と電子機器４００とが直接に通信を行う機能を備えていない場合を想定しているが、撮像装置１００が自装置の周辺環境情報を取得しなくても、管理サーバ６００は、電子機器４００によって取得された周辺環境情報を用いて撮像データとの関連付けを行うことができる。

図２は、取り付け形態の一例を示す図である。図２に示すように、撮像装置１００は保持部１９０を備え、保持部１９０によって電子機器４００は保持される。保持部１９０は、固定部１９１、第１回転部１９２、第２回転部１９３、中継部１９４、接続部１９５を有する。固定部１９１は、撮像装置１００のボディ１０１に固定される。第１回転部１９２は、回転軸Ｘ_Ｖの周りを固定部１９１に対して回転する。第２回転部１９３は、回転軸Ｘ_Ｖに直交する回転軸Ｘ_Ｈの周りを第１回転部１９２に対して回転する。

第１回転部１９２および第２回転部１９３は一体として、回転軸Ｘ_Ｖの周りを回転する。また、第２回転部１９３には、中継部１９４の一端が取り付けられる。したがって、中継部１９４は、回転軸Ｘ_Ｖおよび回転軸Ｘ_Ｈの周りを回転することができる。中継部１９４の他端には、接続部１９５が取り付けられる。接続部１９５は、電子機器４００の外部接続端子に着脱可能に取り付けられる。したがって、接続部１９５に取り付けられた電子機器４００は、中継部１９４を介して、撮像装置１００のボディ１０１に対して様々な方向を向くことができる。

なお、撮像装置１００と電子機器４００との取り付け形態はこれに限らない。電子機器４００は、撮像装置１００の側方ではなく下端に取り付けられてもよいし、アクセサリシューに取り付けられてもよい。また、電子機器４００は、撮像装置１００のユーザのポケットに入れられた状態で利用されてもよいし、ユーザの首にぶら下げられてもよい。ただし、これらの場合のように、電子機器４００が撮像装置１００に取り付けられずに、独立して所持されている場合、電子機器４００は、姿勢情報、方位情報を取得するのが困難になる。

図３は、第１実施形態に係る電子機器４００の内部構成図である。電子機器４００は、駆動部４０１、撮像部４０２、Ａ／Ｄ変換部４０３、画像処理部４０４、メインメモリ４０５、外部記録媒体ＩＦ４０６、表示部４０７、マイクロフォン４０８、Ａ／Ｄ変換部４０９、Ｄ／Ａ変換部４１０、スピーカ４１１を有する。さらに、電子機器４００は、ＧＰＳユニット４１２、加速度センサ４１３、計時部４１４、電子コンパス４１５、送受信部４１６、システム制御部４２０を有する。

撮像部４０２は光学系を含み、当該光学系を透過して入射する被写体像である光学像を光電変換する。撮像部４０２は、システム制御部４２０によって制御される駆動部４０１によって、電荷読み出し等の同期が計られ、駆動される。読み出された電荷は、増幅された後にアナログ信号としてＡ／Ｄ変換部４０３へ転送され、Ａ／Ｄ変換部４０３でアナログ信号からデジタル信号に変換される。

デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換部４０３によりデジタル信号に変換された画像データは、システム制御部４２０の制御に従い、一旦メインメモリ４０５に記憶される。

メインメモリ４０５は、高速で読み書きのできるランダムアクセスメモリである。メインメモリ４０５は、画像処理部４０４が行う画像処理、圧縮処理において、ワークメモリとしての役割を担う。

画像処理部４０４は、設定されている撮影モード、ユーザからの指示に則して、撮像部４０２の出力を所定の画像フォーマットに従った画像データに変換する。例えば、画像処理部４０４は、静止画像としてＪＰＥＧファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、画像処理部４０４は、動画像としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。そして、変換された画像データは再びメインメモリ４０５に保管される。画像処理部４０４によって処理された静止画像データ、動画像データは、システム制御部４２０の制御により、メインメモリ４０５から外部記録媒体ＩＦ４０６を介して、記録媒体２００に記録される。

また、画像処理部４０４は、記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、システム制御部４２０の制御に従って、液晶パネル等で構成される表示部４０７に表示される。また、システム制御部４２０は、電子機器４００の各種設定に関する様々なメニュー項目も、表示部４０７に表示させることができる。

マイクロフォン４０８およびスピーカ４１１は、例えば電子機器４００のユーザの通話に用いられる。マイクロフォン４０８は、ユーザの音声を収音する。収音された音声は、Ａ／Ｄ変換部４０９によってデジタル信号に変換される。デジタル信号に変換された音声は、Ａ／Ｄ変換部４０９によってシステム制御部４２０に送信される。スピーカ４１１は、Ｄ／Ａ変換部４１０によってアナログ信号に変換された音声信号を音声として出力する。

ＧＰＳユニット４１２は、電子機器４００の現在地を検出する。加速度センサ４１３は、電子機器４００の姿勢を検出する。計時部４１４は、時刻を計時する。電子コンパス４１５は、撮像部４０２の撮影方向である方位を検出する。送受信部４１６は、管理サーバ６００との間でデータを送受信する。

電子機器４００は、上記の画像処理における各々の要素も含めて、システム制御部４２０により直接的または間接的に制御される。また、電子機器４００が撮像装置補助用のアプリケーションを起動した場合、システム制御部４２０の機能は、登録部４２１、検知部４２２、環境取得部４２３、時刻取得部４２４、関連情報生成部４２５として表すことができる。電子機器４００が撮像装置補助用のアプリケーションを起動した場合、マイクロフォン４０８は、電子機器４００の周辺の環境音を収音する。

登録部４２１には、各種の撮像装置の操作音が記憶されている。各種の撮像装置の操作音は、工場出荷時に登録されていてもよい。ここでいう操作音は、例えば撮像装置のシャッタ音である。操作音は、当該操作音に固有の特徴であるパターンとして表すことができる。シャッタ音は、物理的な音でも電子的な音でもよい。電子的な音は、物理的な音に比べて多種多様な音を表現できる。登録部４２１には、操作音が記憶されたファイル名と撮像装置の機種名とが対応付けられた操作音ＤＢがさらに記憶されている。操作音ＤＢの詳細は後述する。

検知部４２２は、撮像装置１００から発せられる操作音を検知する。具体的には、検知部４２２は、マイクロフォン４０８によって収音された後、Ａ／Ｄ変換部４０９によってデジタル信号に変換された周辺の環境音を受信し、受信した環境音の特徴を抽出する。検知部４２２は、抽出した特徴を登録部４２１に登録されている各操作音と照合し、抽出した特徴と登録部４２１に登録されている各操作音とが一致するか判定する。例えば予め設定されている割合以上、抽出した特徴と登録されている操作音とが類似する場合、検知部４２２は、両者が一致すると判定する。検知部４２２は、一致すると判定すれば、環境音を撮像装置１００の操作音として検知する。検知部４２２は、操作音を検知すると、その旨を環境取得部４２３および時刻取得部４２４に通知する。

検知部４２２は、操作音検知の旨を駆動部４０１にさらに通知してもよい。この場合、駆動部４０１は、検知部４２２からの通知を受け取り、撮像部４０２を駆動する。これにより、撮像部４０２は、検知部４２２が検知した操作音に同期して撮像することができる。

環境取得部４２３は、検知部４２２から通知を受け付けると、電子機器４００の周辺環境情報を取得する。周辺環境情報は、例えば現在地情報、姿勢情報、方位情報、画像データ等である。現在地情報はＧＰＳユニット４１２から、姿勢情報は加速度センサ４１３から、方位情報は電子コンパス４１５から、画像データは記録媒体２００からそれぞれ取得される。環境取得部４２３は、取得した周辺環境情報を関連情報生成部４２５に送信する。

上述のように、電子機器４００によって取得された周辺環境情報は、撮像装置１００の周辺環境情報と同一視できる。したがって、環境取得部４２３は、検知部４２２が検知した操作音に同期して、撮像装置１００の周辺環境情報を取得すると言い換えることができる。

時刻取得部４２４は、検知部４２２から通知を受け付けると、現在時刻である時刻情報を計時部４１４から取得する。言い換えると、時刻取得部４２４は、検知部４２２が検知した操作音に同期して時刻情報を取得する。時刻取得部４２４は、取得した時刻情報を関連情報生成部４２５に送信する。

関連情報生成部４２５は、少なくとも、環境取得部４２３が取得した周辺環境情報と、時刻取得部４２４が取得した時刻情報とを関連付けた関連情報を生成する。環境音が録音されていれば、関連情報生成部４２５は、環境音のうち検知部４２２が操作音と検知したものを関連情報としてさらに関連付けてもよい。送受信部４１６は、ネットワーク５００を介して、関連情報を管理サーバ６００に送信する。

図４は、登録部４２１に記憶されている操作音ＤＢの一例を示す図である。図４に示すように、例えば機種名「機種Ａ」とファイル名「aaa.mp3」が対応付けられている。同様に、機種名「機種Ｂ」とファイル名「bbb.mp3」とが、機種名「機種Ｃ」とファイル名「ccc.mp3」とがそれぞれ対応付けられている。

撮像装置１００の操作音が登録部４２１に登録されていない場合、登録部４２１はユーザ操作に基づいて撮像装置１００の操作音を登録してもよい。操作音の登録は、次のように実施されてもよい。まず、表示部４０７によって操作音登録画面が表示された後、登録部４２１は、ユーザから機種名の入力を受け付ける。その後、ユーザによって登録したい撮像装置の操作音がマイクロフォン４０８付近で発せられると、マイクロフォン４０８がその操作音を収音する。収音された操作音がＡ／Ｄ変換部４０９によってデジタル信号に変換されると、登録部４２１は、デジタル信号に変換された操作音の特徴を抽出する。

そして、登録部４２１は、入力された機種名と抽出した特徴がパターンとして記憶されたファイル名とを対応付け、新たなレコードとして操作音ＤＢに登録する。これにより、図４に示すように、機種名「カスタム」、ファイル名「xxx.mp3」を操作音ＤＢに新たに登録することができる。

また、登録部４２１は、同一の機種に対して複数の操作音を登録してもよい。例えば、撮像装置１００の撮影モード毎にシャッタ音が異なる場合、登録部４２１は、モード毎にシャッタ音を予め登録しておく。これにより、電子機器４００は、特定のシャッタ音に連動することができる。

図５は、第１実施形態に係る管理サーバ６００の内部構成図である。管理サーバ６００は、第１取得部６０１、第２取得部６０２、情報結合部６０３、および撮像情報ＤＢ６０４を有する。

第１取得部６０１は、電子機器４００から送信された関連情報を受信して取得し、撮像情報ＤＢ６０４に記憶する。なお、第１取得部６０１は、関連情報を取得すると、その旨を第２取得部６０２に通知してもよい。

撮像情報ＤＢ６０４には、撮像情報が記憶されている。撮像情報として以下の場合が想定される。まず、管理サーバ６００に撮像データが送信されていない場合、撮像情報として関連情報が記憶されている。次に、管理サーバ６００に撮像データが送信されている場合、撮像情報として関連情報および撮像データが記憶されている。ただし、電子機器４００を補助機器として使用しなかった場合、撮像データのＥｘｉｆ情報における周辺環境情報の欄に空白が存在している。一方、電子機器４００を補助機器として使用した場合、撮像データのＥｘｉｆ情報における周辺環境情報の欄の空白が、電子機器４００によって取得された周辺環境情報で埋められた状態となっている。電子機器４００が補助機器として使用された場合、以下の処理がなされる。

第２取得部６０２は、撮像装置１００から送信された撮像データを受信して取得し、情報結合部６０３に撮像データを引き渡す。なお、第２取得部６０２は、関連情報を取得した旨の通知を第１取得部６０１から受け取ると、ＰＣ３００に対して撮像データの送信を要求してもよい。また、撮像装置１００が通信機能を備えている場合には、撮像装置１００に対して撮像データの送信を要求してもよい。

情報結合部６０３は、第２取得部６０２から撮像データを取得すると、撮像情報ＤＢ６０４から関連情報を読み出す。情報結合部６０３は、撮像データに付随して記録されている撮像時刻と読み出した関連情報内の時刻情報とを照合する。情報結合部６０３は、照合結果に基づいて撮像データに周辺環境情報を関連付ける。具体的には、情報結合部６０３は、撮像時刻と時刻情報が一致した場合、時刻情報に関連付けられた周辺環境情報を撮像データのＥｘｉｆ情報に書き込んだ後、当該撮像データを撮像情報ＤＢに記憶する。また、情報結合部６０３は、撮像時刻と時刻情報が一致しなかった場合、周辺環境情報を撮像データのＥｘｉｆ情報に書き込むことなく、当該撮像データを撮像情報ＤＢに記憶する。なお、情報結合部６０３による関連付けは、周辺環境情報を撮像データのＥｘｉｆ情報に書き込むことに限らない。情報結合部６０３は、対応する関連情報とリンクするための情報を撮像データに付加してもよい。

周辺環境情報として画像データが撮像情報ＤＢ６０４に存在する場合、情報結合部６０３は、撮像時刻と時刻情報との照合に加えて、撮像データと画像データを照合してもよい。また、撮像時刻と時刻情報との照合に代えて、撮像データと画像データとを照合してもよい。

図６は、撮像装置補助システム１０全体のシーケンス図である。撮像装置１００による撮像の前に、電子機器４００は、ユーザ操作に基づいて撮像装置補助用のアプリケーションを起動する（ステップＳ１０１）。電子機器４００は、例えばネットワーク５００を介して、アプリケーションサーバから撮像装置補助用のアプリケーションをダウンロードしておく。なお、電子機器４００の工場出荷時に、撮像装置補助用のアプリケーションがインストールされていてもよい。アプリケーションが起動されると、システム制御部４２０は、マイクロフォン４０８をＯＮにする。これにより、収音可能な状態になる。

その後、撮像装置１００においてレリーズボタンが押下されると（ステップＳ１０２）、撮像装置１００は、撮像処理を実行する（ステップＳ１０３）。具体的には、ＡＦ、ＡＥ、露出制御、画像処理等を実行する。撮像処理を経て得られた撮像データは、撮像装置１００に装着された記録媒体２００に記録される（ステップＳ１０４）。

一方、電子機器４００は、撮像装置１００の操作音をトリガに後述する関連情報生成処理を実行する（ステップＳ１０５）。電子機器４００は、関連情報生成処理を経て得られた関連情報を管理サーバ６００に送信する（ステップＳ１０６）。関連情報の送信は、自動的に行われてもよいし、ユーザ指示がなされた場合に行われてもよい。その後、電子機器４００は、アプリケーションを終了する（ステップＳ１０７）。

管理サーバ６００は、電子機器４００から関連情報を受信すると（ステップＳ１０８）、ＰＣ３００に撮像データを要求する（ステップＳ１０９）。ＰＣ３００は、撮像データの要求を管理サーバ６００から受け付ける（ステップＳ１１０）。ＰＣ３００は、撮像データの要求の受付後、撮像装置１００から撮像データが送信された場合、当該撮像データを自動的に管理サーバ６００に送信してもよい。

撮像装置１００は、撮像データを一旦ＰＣ３００に送信する（ステップＳ１１１）。ＰＣ３００は、撮像装置１００から撮像データを受信すると（ステップ１１２）、撮像データを管理サーバ６００に送信する（ステップ１１３）。管理サーバ６００は、ＰＣ３００から撮像データを受信すると（ステップＳ１１４）、後述する情報結合処理を行う（Ｓ１１５）。

続いて、図６のステップＳ１０５の関連情報生成処理について順に説明する。図７は、関連情報生成処理の動作フロー図である。検知部４２２は、デジタル信号に変換された環境音をＡ／Ｄ変換部４０９から取得すると（ステップＳ２０１：Ｙｅｓ）、当該環境音の特徴を抽出する（ステップＳ２０２）。環境音の特徴抽出は、予め定めされた期間単位でなされてもよい。予め定めされた期間は、例えば、発せられたシャッタ音の全体を収音するのに十分な期間である。

検知部４２２は、登録部４２１内の一の操作音を選択し（ステップＳ２０３）、環境音の特徴と選択した操作音とを照合する（ステップＳ２０４）。検知部４２２は、照合した結果、環境音の特徴と操作音とが一致しなければ（ステップＳ２０５：Ｎｏ）、登録部４２１内に他の操作音が存在するか判定する（ステップＳ２０６）。

他の操作音が存在すると判定されなければ（ステップＳ２０６：Ｎｏ）、システム制御部４２０は一連の動作フローを終了する。この場合、取得された環境音は、登録部４２１内のどの操作音とも似ていなかったことになる。環境音として取得された音は、例えば周辺環境のノイズ音であることが考えられる。検知部４２２は、他の操作音が存在すると判定すれば（ステップＳ２０６：Ｙｅｓ）、他の操作音を選択し（ステップＳ２０７）、当該他の操作音と環境音の特徴とを照合する（ステップＳ２０４）。環境音の特徴と操作音とが一致すると判定されれば（ステップＳ２０５：Ｙｅｓ）、環境取得部４２３は、周辺環境情報を取得し（ステップＳ２０８）、計時部４１４は、時刻情報を取得する（ステップＳ２０９）。

周辺環境情報と時刻情報とが取得されると、関連情報生成部４２５は、周辺環境情報と時刻情報とを関連付けた関連情報を生成する（ステップＳ２１０）。関連情報の生成が完了すると、システム制御部４２０は一連の動作フローを終了する。環境音が取得されなかった場合（ステップＳ２０１：Ｎｏ）、一定期間が経過していれば（ステップＳ２１１：Ｙｅｓ）、システム制御部４２０は一連の動作フローを終了し、一定期間が経過していなければ（ステップＳ２１１：Ｎｏ）、ステップＳ２０１に戻る。

続いて、図６ステップＳ１１５の情報結合処理について説明する。図８は、情報結合処理の動作フロー図である。情報結合部６０３は、受信した撮像データのうち一の撮像データの撮像時刻を選択し（ステップＳ３０１）、撮像情報ＤＢ６０４に記憶された一の関連情報内の時刻情報を選択する（ステップＳ３０２）。情報結合部６０３は、選択した撮像時刻と時刻情報とを照合し（ステップＳ３０３）、撮像時刻と時刻情報とが一致するか判定する（ステップＳ３０４）。情報結合部６０３は、撮像時刻と時刻情報とが、例えば予め設定されている範囲内にある場合、両者が一致すると判定する。

情報結合部６０３は、照合の結果、撮像時刻と時刻情報とが一致しなければ（ステップＳ３０４：Ｎｏ）、撮像情報ＤＢ６０４内に他の関連情報が存在するか判定する（ステップＳ３０５）。情報結合部６０３は、他の関連情報が存在すると判定すれば（ステップＳ３０５：Ｙｅｓ）、他の関連情報内の時刻情報を選択し（ステップＳ３０６）、撮像時刻と照合する（ステップＳ３０３）。

情報結合部６０３は、他の関連情報が存在しなければ（ステップＳ３０５：Ｎｏ）、他の撮像データが存在するか判定する（ステップＳ３０７）。情報結合部６０３は、他の撮像データが存在すれば（ステップＳ３０７：Ｙｅｓ）、当該撮像データの撮像時刻を選択し（ステップＳ３０８）、ステップＳ３０２に戻る。他の撮像データが存在すると判定されなければ（ステップＳ３０７：Ｎｏ）、処理の対象が存在しないので、管理サーバ６００は、一連の動作フローを終了する。

情報結合部６０３は、撮像時刻と時刻情報とが一致すると判定すれば（ステップＳ３０４：Ｙｅｓ）、時刻情報に対応する画像データが存在するか判定する（ステップＳ３０９）。情報結合部６０３は、画像データが存在すれば（ステップＳ３０９：Ｙｅｓ）、撮像データと画像データとを照合する（ステップＳ３１０）。

ステップＳ３１０の照合は、撮像装置１００と電子機器４００とでそれぞれ計時される時刻が一致しない場合を想定している。この場合、撮像装置１００の操作音に同期して電子機器４００が画像を撮像したとしても、撮像データに付随した撮像時刻と、関連情報内の時刻情報とが一致しない。そうすると、管理サーバ６００は、誤った関連付けを行う可能性がある。

そこで、情報結合部６０３は、画像データが存在する場合には、撮像時刻と時刻情報との照合に加え、撮像データと画像データとを照合することにより、関連付けの精度を高めることができる。情報結合部６０３は、撮像データと画像データとが関連していれば（ステップＳ３１１：Ｙｅｓ）、撮像データに周辺関連情報を関連付ける（ステップＳ３１２）。情報結合部６０３は、例えば予め設定されている割合以上、撮像データと画像データとが類似する場合、両者が関連すると判定する。その後、ステップＳ３０７に移行する。

撮像データと画像データとが関連すると判定されなければ（ステップＳ３１１：Ｎｏ）、関連付けは行われず、ステップＳ３０７に移行する。画像データが存在すると判定されなければ（ステップＳ３０９：Ｎｏ）、画像照合は行われず、ステップＳ３１２に移行する。以上説明した本実施形態の適用によって、撮像装置１００が周辺環境情報を取得する機能を備えていない場合であっても、電子機器４００が、撮像装置１００の周辺環境情報を取得することができる。

＜第２実施形態＞
管理サーバの構成を代えた実施形態について説明する。本実施形態では、管理サーバは、電子機器４００から送信された画像データを、撮像装置１００から送信された撮像データに置き換える。電子機器４００によって撮像された画像は、撮像装置１００によって撮像された画像に比べて画質が劣る可能性がある。このため、電子機器４００が撮像装置１００の補助機器として動作する場合、電子機器４００によって撮像された画像データには、管理サーバ６００に即座にアップロードするための速報用の画像データという用途が想定される。あくまで速報用の画像データであるので、撮像装置１００により生成された撮像データに置き換えることにより、最終的に高画質の撮像データを管理サーバに記憶しておくことができる。

図９は、第２実施形態に係る管理サーバ７００の内部構成図である。第２実施形態に係る管理サーバ７００は、第１取得部６０１、第２取得部６０２、撮像情報ＤＢ６０４、判定部６０５、記憶制御部６０６を有する。

本実施形態では、第１取得部６０１は、電子機器４００から送信された画像データを取得し、撮像情報ＤＢ６０４に記憶する。第１取得部６０１は、画像データを取得すると、その旨を第２取得部６０２に通知してもよい。撮像情報ＤＢ６０４には、撮像情報が記憶されている。撮像情報として、電子機器４００で撮像された画像データ、撮像装置１００で生成された撮像データが記憶されている。

第２取得部６０２は、撮像装置１００から送信された撮像データを取得し、判定部６０５に撮像データを引き渡す。ただし、第２取得部６０２による撮像データの取得は、第１取得部６０１が画像データを取得するよりも後である。第２取得部６０２は、画像データを取得した旨の通知を第１取得部６０１から受け取ると、ＰＣ３００に対して撮像データの送信を要求してもよい。また、撮像装置１００が通信機能を備えている場合には、第２取得部６０２は、撮像装置１００に対して撮像データの送信を要求してもよい。

判定部６０５は、第２取得部６０２から撮像データを取得すると、撮像情報ＤＢ６０４から画像データを読み出す。判定部６０５は、撮像データと画像データとを照合し、画像データと撮像データとが関連するデータであるかを判定する。具体的には、例えばマッチング処理により、判定部６０５は、例えば予め設定されている割合以上、撮像データと画像データとが類似している場合、両者が関連すると判定する。判定部６０５は、画像データと撮像データとが関連するデータであると判定すれば、撮像データを記憶制御部６０６に引き渡す。判定部６０５は、画像照合に加えて、撮像時刻と時刻情報との照合を行ってもよい。

記憶制御部６０６は、判定部６０５が画像データと撮像データとが関連するデータであると判定した場合、判定部６０５から撮像データを取得する。記憶制御部６０６は、撮像情報ＤＢ６０４中の画像データを、受け付けた撮像データに置き換えて撮像情報ＤＢ６０４に記憶する。ただし、このとき、記憶制御部６０６は、画像データに付随する情報を撮像データにマージする。記憶制御部６０６は、画像データを撮像データに置き換えるのではなく、画像データに加えて撮像データを撮像情報ＤＢ６０４に記憶してもよい。

図１０は、画像置換処理の動作フロー図である。判定部６０５は、受信した撮像データのうち一の撮像データを選択し（ステップＳ４０１）、撮像情報ＤＢ６０４内の一の画像データを選択する（ステップＳ４０２）。判定部６０５は、選択した撮像データと画像データとを照合する（ステップＳ４０３）。

判定部６０５は、照合の結果、撮像データと画像データとが関連していなければ（ステップＳ４０４：Ｎｏ）、撮像情報ＤＢ６０４内に他の画像データが存在するか判定する（ステップＳ４０６）。他の画像データが存在すれば（ステップＳ４０６：Ｙｅｓ）、判定部６０５は、他の画像データを選択し（ステップＳ４０７）、撮像データと照合する（ステップＳ４０３）。

判定部６０５は、他の画像データが存在しなければ（ステップＳ４０６：Ｎｏ）、他の撮像データが存在するか判定する（ステップＳ４０８）。他の撮像データが存在すれば（ステップＳ４０８：Ｙｅｓ）、判定部６０５は、当該撮像データを選択し（ステップＳ４０９）、ステップＳ４０２に戻る。

他の撮像データが存在すると判定されなければ（ステップＳ４０８：Ｎｏ）、処理の対象が存在しないので、管理サーバ７００は、一連の動作フローを終了する。撮像データと画像データとが関連すると判定されれば（ステップＳ４０４：Ｙｅｓ）、記憶制御部６０６は、画像データを撮像データに置き換える（ステップＳ４０５）。その後、ステップＳ４０８に移行する。

以上の第１実施形態において、登録部４２１には、操作音の一例としてシャッタ音が登録されていると説明したが、撮像装置のシャッタ音は、構成部品の動作に伴って発生する場合には、シャッタ速度により異なる。したがって、登録されているシャッタ音と撮像装置１００で実際に発せられたシャッタ音とでシャッタ速度が異なれば、これらのシャッタ音も異なる。具体的には、登録されているシャッタ音と撮像装置１００で実際に発せられたシャッタ音において、シャッタの先幕が移動した後、後幕が移動するまでの期間に変動が生じる。このため、ステップＳ２０４においてシャッタ音の全体が照合の対象である場合、操作音の検知が困難になり得る。

そこで、登録部４２１には、シャッタ音のうち予め定められた部分音が登録されていてもよい。部分音は、例えば撮像装置１００のミラーアップ時の音である。登録部４２１に部分音が登録されている場合、検知部４２２は、シャッタ音のうち予め定められた部分音を検知してもよい。したがって、登録部４２１に撮像装置１００のミラーアップ時の音が登録されている場合、検知部４２２は、撮像装置１００のミラーアップ時の音を検知すればよい。これにより、登録されているシャッタ音と撮像装置１００で実際に発せられたシャッタ音とでシャッタ速度が異なったとしても、操作音の検知精度の低下を抑制することができる。

また、以上の第１実施形態において、撮像装置１００によって連射撮影がなされる場合がある。この場合、各撮影時における周辺環境情報および時刻情報の変化は、ごくわずかである。このため、電子機器４００においてシャッタ音を検知する度に周辺環境情報および時刻情報を取得することは、処理負荷が増すばかりでなく、メモリ領域の圧迫にも繋がる。

そこで、検知部４２２は、予め設定されている期間内にシャッタ音を複数回検知した場合、代表するシャッタ音に基づいて、シャッタ音を検知した旨を環境取得部４２３および時刻取得部４２４に通知してもよい。代表するシャッタ音は、複数のシャッタ音のうちの一部であってもよい。例えば、複数のシャッタ音のうち何れか一つのシャッタ音である。これにより、検知部４２２が予め設定されている期間内に複数回シャッタ音を検知した場合であっても、環境取得部４２３は、周辺環境情報を複数回取得しなくてもよい。同様に、時刻取得部４２４は、時刻情報を複数回取得しなくてもよい。すなわち、環境取得部４２３は、代表する操作音に同期して撮像装置１００の周辺環境情報を取得してもよい。同様に、時刻取得部４２４は、代表する操作音に同期して時刻情報を取得してもよい。

検知部４２２による複数回のシャッタ音の検知に対して、周辺環境情報および時刻情報の取得は一度だけなので、処理の効率化につながる。この場合、連射撮影された撮像データのそれぞれに対して、共通の周辺環境情報および時刻情報が関連付けられる。

また、以上の第１実施形態において、図７のステップＳ２０４の照合の結果、環境音の特徴と操作音とが一致しなかった場合（ステップＳ２０５：Ｎｏ）、検知部４２２は、ステップＳ２０４の照合にリトライしてもよい。ただし、この場合、操作音の検知に時間がかかる場合がある。その結果、撮像装置１００と電子機器４００とで撮像時刻に大きなズレが発生する恐れがある。そうすると、その間に被写体が動く可能性があるので、管理サーバ６００での画像照合が困難になり得る。

具体例として、景勝地等において、撮像装置１００のユーザが、向きを変えながら連続撮影する場合が想定される。この場合、撮像装置１００によって１枚、２枚・・、と撮影されたとき、操作音の検知に時間がかかると、電子機器４００における１枚目の撮影が、撮像装置１００における２枚目の撮影タイミングと一致する場合が考えられる。つまり、撮像装置１００における１枚目の撮影方向と、電子機器４００における１枚目の撮影方向とがずれている可能性がある。結果として、信頼性の高い周辺環境情報を得られない恐れがある。

そこで、検知部４２２が予め設定された閾値以上の時間を照合に要した場合、環境取得部４２３は、周辺環境情報の一部の取得を制限してもよい。例えば方位情報の取得を制限する。「取得を制限する」とは、そもそも情報自体を取得しないことと、取得しても信頼性のない情報として扱うことを含む。信頼性のない情報として扱う場合、識別情報を付すことにより、信頼性がない旨をユーザに報知してもよい。

一方、現在地情報は、多少のタイムラグにより変化する可能性は低いと考えられる。したがって、取得を制限しなくてもよい。以上のことから、周辺環境情報を取得する順序として、方位情報を先に取得し、その後、現在地情報を取得してもよい。また、以上の第１実施形態において、撮像装置として従来のフィルムカメラを使用した場合であっても、少なくとも時刻情報さえあれば、撮像時刻と照合することができる。

以上の各実施形態において、電子機器４００において検知部４２２が検知した操作音に同期して撮像される場合、システム制御部４２０は、撮像部４０２の焦点距離を広角端に設定してもよい。撮像部４０２の焦点距離が広角端に設定されることで、撮像装置１００の焦点距離が広角端に設定されていた場合であっても、図２で示すように、撮像装置１００と電子機器４００の撮像方向が同一の場合には、撮像装置１００で撮像された画像は、電子機器４００で撮像された画像に含まれることが期待できる。

一方、撮像装置１００の焦点距離が望遠に設定されている場合、電子機器４００で撮像された画像のどこかに撮像装置１００で撮像された被写体像が写っている可能性が高い。したがって、電子機器４００のレンズの焦点距離を広角端に設定することで、画像マッチングがし易くなる。

また、以上の各実施形態において、撮像装置１００と電子機器４００とが異なる視点から同一の被写体を捉えている場合、撮像データの画像と画像データの画像は、視差画像となる。これら視差画像間でマッチング処理が行われてもよい。マッチング処理は、撮像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 撮像装置補助システム、１００ 撮像装置、２００ 記録媒体、３００ ＰＣ、４００ 電子機器、４０１ 駆動部、４０２ 撮像部、４０３ Ａ／Ｄ変換部、４０４ 画像処理部、４０５ メインメモリ、４０６ 外部記録媒体ＩＦ、４０７ 表示部、４０８ マイクロフォン、４０９ Ａ／Ｄ変換部、４１０ Ｄ／Ａ変換部、４１１ スピーカ、４１２ ＧＰＳユニット、４１３ 加速度センサ、４１４ 計時部、４１５ 電子コンパス、４１６ 送受信部、４２０ システム制御部、４２１ 登録部、４２２ 検知部、４２３ 環境取得部、４２４ 時刻取得部、４２５ 関連情報生成部、５００ ネットワーク、６００ 管理サーバ、６０１ 第１取得部、６０２ 第２取得部、６０３ 情報結合部、６０４ 撮像情報ＤＢ、６０５ 判定部、６０６ 記憶制御部、７００ 管理サーバ、１０１ ボディ、１９０ 保持部、１９１ 固定部、１９２ 第１回転部、１９３ 第２回転部、１９４ 中継部、１９５ 接続部

Claims (19)

1. 撮像装置から発せられる操作音を検知する検知部と、
   前記検知部が検知した前記操作音に同期して、前記撮像装置の周辺環境情報を取得する環境取得部と、
   前記検知部が検知した前記操作音に同期して、現在時刻である時刻情報を取得する時刻取得部と、
   少なくとも、前記環境取得部が取得した前記周辺環境情報と、前記時刻取得部が取得した前記時刻情報とを関連付けた関連情報を生成する関連情報生成部と
   を備える電子機器。
2. 前記関連情報を、ネットワークに接続されたサーバへ送信する送信部を備える請求項１に記載の電子機器。
3. 前記関連情報生成部は、前記関連情報の生成の際、前記検知部が検知した前記操作音を更に関連付けた関連情報を生成する請求項１または２に記載の電子機器。
4. 前記撮像装置の前記操作音を予め登録する登録部を備え、
   前記検知部は、前記登録部に登録された前記操作音を検知する請求項１から３のいずれか１項に記載の電子機器。
5. 前記検知部は、前記撮像装置から発せられるシャッタ音を前記操作音として検知する請求項１から４のいずれか１項に記載の電子機器。
6. 前記検知部が、予め定められた期間内に前記シャッタ音を複数回検知した場合は、前記環境取得部は、代表する前記シャッタ音に同期して前記撮像装置の周辺環境情報を取得し、前記時刻取得部は、前記代表する前記シャッタ音に同期して前記時刻情報を取得する請求項５に記載の電子機器。
7. 前記検知部は、前記シャッタ音のうち予め定められた部分音を検知する請求項５または６に記載の電子機器。
8. 前記環境取得部は、前記周辺環境情報として現在地情報、方位情報、前記電子機器の姿勢情報の少なくとも一つを取得する請求項１から７のいずれか１項に記載の電子機器。
9. 撮像部をさらに有し、前記環境取得部は、前記周辺環境情報として前記撮像部から出力される撮像データを取得する請求項１から８のいずれか１項に記載の電子機器。
10. 前記環境取得部は、前記撮像部の焦点距離を広角端に設定する請求項９に記載の電子機器。
11. 前記環境取得部は、前記検知部が前記操作音の検知に予め定められた時間以上を要した場合に、前記周辺環境情報の少なくとも一部の取得を制限する請求項１から１０のいずれか１項に記載の電子機器。
12. 撮像装置から発せられる操作音を検知する検知ステップと、
    前記検知ステップで検知された前記操作音に同期して、前記撮像装置の周辺環境情報を取得する環境取得ステップと、
    前記検知ステップで検知された前記操作音に同期して、現在時刻である時刻情報を取得する時刻取得ステップと、
    少なくとも、前記環境取得ステップで取得された前記周辺環境情報と、前記時刻取得ステップで取得された前記時刻情報とを関連付けた関連情報を生成する関連情報生成ステップと
    をコンピュータに実行させる電子機器の制御プログラム。
13. 電子機器で取得され互いに関連付けられた周辺環境情報と時刻情報とを関連情報として、ネットワークを介して取得する第１取得部と、
    撮像装置で生成された撮像データを、前記ネットワークを介して取得する第２取得部と、
    前記撮像データに付随して記録されている撮像時刻と前記時刻情報とを照合して、前記周辺環境情報を前記撮像データに関連付ける情報結合部と
    を備えるサーバ。
14. 前記情報結合部は、前記第１取得部が前記周辺環境情報として画像データを取得した場合は、前記撮像時刻と前記時刻情報の照合に代えて、または加えて、前記撮像データと前記画像データの照合を実行する請求項１３に記載のサーバ。
15. 前記第２取得部は、前記第１取得部が前記関連情報を取得した場合に、前記撮像データを前記撮像装置に要求する請求項１３または１４に記載のサーバ。
16. 電子機器で取得され互いに関連付けられた周辺環境情報と時刻情報とを関連情報として、ネットワークを介して取得する第１取得ステップと、
    撮像装置で生成された撮像データを、前記ネットワークを介して取得する第２取得ステップと、
    前記撮像データに付随して記録されている撮像時刻と前記時刻情報とを照合して、前記周辺環境情報を前記撮像データに関連付ける情報結合ステップと
    をコンピュータに実行させるサーバの制御プログラム。
17. 電子機器で生成された画像データを、ネットワークを介して取得する第１取得部と、
    撮像装置で生成された撮像データを、前記第１取得部が前記画像データを取得するよりも後に、前記ネットワークを介して取得する第２取得部と、
    前記画像データと前記撮像データとが関連するデータであるかを判定する判定部と、
    前記判定部が、前記画像データと前記撮像データとが関連するデータであると判定した場合に、前記画像データを前記撮像データに置き換えて記憶する記憶制御部と
    を備えるサーバ。
18. 前記第２取得部は、前記第１取得部が前記画像データを取得した場合に、前記撮像データを前記撮像装置に要求する請求項１７に記載のサーバ。
19. 電子機器で生成された画像データを、ネットワークを介して取得する第１取得ステップと、
    撮像装置で生成された撮像データを、前記第１取得ステップで前記画像データを取得するよりも後に、前記ネットワークを介して取得する第２取得ステップと、
    前記画像データと前記撮像データとが関連するデータであるかを判定する判定ステップと、
    前記判定ステップで、前記画像データと前記撮像データとが関連するデータであると判定した場合に、前記画像データを前記撮像データに置き換えて記憶する記憶制御ステップと
    をコンピュータに実行させるサーバの制御プログラム。

Images