JP2017199972A - 端末装置、情報取得システム、情報取得方法およびプログラム - Google Patents

Abstract

【課題】情報を同時に取得する場合であっても、連携しながら同時に情報を取得する場合に情報のリッチ化が可能端末装置、情報取得システム、情報取得方法およびプログラムを提供する。【解決手段】端末装置１０は、第１情報を取得する第１取得部１１と、第１取得部１１が取得した第１情報を記録可能な第１記録部１５と、装着装置２０と通信可能であり、第１取得部１１が取得した第１情報および指示信号に対応する操作内容を含む操作情報を装着装置２０に送信する第１通信部１６と、第１通信部１６を介して装着装置２０から送信された第２情報と、第１取得部１１が取得した第１情報と、を対応付けて第１記録部１５に記録させる第１記録制御部１７５と、を備える。【選択図】図１

Description

本発明は、被写体を撮像して該被写体の画像データを生成する端末装置、情報取得システム、情報取得方法およびプログラムに関する。

近年、複数のデジタルカメラによって撮影された複数の動画および静止画を関連付ける技術が知られている（特許文献１参照）。この技術では、動画ファイルの作成日時と記録時間とに基づいて、動画の撮影日時を算出後、この撮影日時の近辺で撮影された静止画をメモリから検索し、動画と静止画とを関連付けて分類する。

特開２００６−１３５３９４号公報

しかしながら、上述した特許文献１では、互いに異なるデジタルカメラにおいて撮影された動画と静止画とを関連付けているにすぎないため、ユーザが一人で複数の機器を連携させながら画像や音声等の情報を同時に取得する場合、さらなる情報のリッチ化が出来なかった。

本発明は、上記に鑑みてなされたものであって、連携しながら情報を同時に取得する場合に情報のリッチ化が可能な端末装置、情報取得システム、情報取得方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る端末装置は、情報を取得する取得部と、外部機器と通信可能であり、前記取得部が取得した前記情報を前記外部機器に送信するとともに、前記取得部が前記情報を取得した取得時に前記外部機器において取得された外部機器情報を受信する通信部と、前記通信部が受信した前記外部機器情報と、前記取得部が取得した前記情報と、を対応付けて記録部に記録する記録制御部と、を備えたことを特徴とする。

また、本発明に係る情報取得システムは、ユーザに把持された状態で使用される端末装置と、前記ユーザに装着された状態で使用される外部機器と、を備えた情報取得システムであって、前記端末装置は、第１情報を取得する第１取得部と、前記外部機器と通信可能であり、前記第１取得部が取得した前記第１情報を前記外部機器に送信するとともに、前記第１取得部が前記第１情報を取得した取得時に前記外部機器において取得された外部機器情報を受信する第１通信部と、前記第１通信部を介して受信した前記外部機器情報と、前記第１取得部が取得した前記第１情報と、を対応付けて第１記録部に記録させる第１記録制御部と、を備え、前記外部機器は、前記外部機器情報を取得する第２取得部と、前記端末装置と通信可能であり、前記第１取得部が前記第１情報を取得した取得時に前記第２取得部が取得した前記外部機器情報を前記端末装置に送信するとともに、前記第１取得部が取得した前記第１情報を前記端末装置から受信する第２通信部と、前記第２通信部を介して受信した前記第１情報と、前記第２取得部が取得した前記外部機器情報と、を対応付けて第２記録部に記録させる第２記録制御部と、を備えることを特徴とする。

また、本発明に係る情報取得方法は、情報を取得可能な取得部を備える端末装置が実行する情報取得方法であって、外部機器と通信可能であり、前記取得部が取得した前記情報を前記外部機器に送信するとともに、前記取得部が前記情報を取得した取得時に前記外部機器において取得された外部機器情報を受信する通信ステップと、前記通信ステップが受信した前記外部機器情報と、前記取得部が取得した前記情報と、を対応付けて記録部に記録する記録制御ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、情報を取得可能な取得部を備える端末装置に、外部機器と通信可能であり、前記取得部が取得した前記情報を前記外部機器に送信するとともに、前記取得部が前記情報を取得した取得時に前記外部機器において取得された外部機器情報を受信する通信ステップと、前記通信ステップが受信した前記外部機器情報と、前記取得部が取得した前記情報と、を対応付けて記録部に記録する記録制御ステップと、を実行させることを特徴とする。

本発明によれば、連携しながら情報を同時に取得する場合、情報をリッチ化できるという効果を奏する。

図１は、本発明の実施の形態１に係る情報取得システムの機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る情報取得システムの概略構成の一例を示す模式図である。 図３は、本発明の実施の形態１に係る情報取得システムの概略構成の別の一例を示す模式図である。 図４は、本発明の実施の形態１に係る端末装置の第１制御情報記録部が記録する制御一覧情報を示す図である。 図５は、本発明の実施の形態１に係る装着装置の第２制御情報記録部が記録する制御一覧情報を示す図である。 図６は、本発明の実施の形態１に係る端末装置が実行する処理の概要を示すフローチャートである。 図７は、本発明の実施の形態１に係る端末装置と装着装置とが連携しながら撮影を行っている際の状況を示す図である。 図８は、本発明の実施の形態１に係る端末装置の第１表示部が表示する画像の一例を模式的に示す図である。 図９は、本発明の実施の形態１に係る装着装置が実行する処理の概要を示すフローチャートである。 図１０は、本発明の実施の形態２に係る装着装置が実行する処理の概要を示すフローチャートである。 図１１は、本発明の実施の形態２に係る端末装置と装着装置とが連携しながら撮影を行っている際の状況を示す図である。 図１２は、本発明の実施の形態２に係る装着装置の第２表示部が表示する画像の一例を示す図である。 図１３は、本発明の実施の形態２に係る装着装置が受信した第１情報と第２情報とを模式的に示す図である。 図１４は、本発明の実施の形態２に係る装着装置が記録する画像ファイルの一例を模式的に示す図である。

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔情報取得システム〕
本実施例では、連携しながら情報を同時に取得する場合であっても、情報取得時におけるお互いの操作内容を確認することができる端末装置、情報取得システム、情報取得方法およびプログラムを提供できる。

図１は、本発明の実施の形態１に係る情報取得システムの機能構成を示すブロック図である。図１に示す情報取得システム１は、ユーザが把持する端末装置１０と、ユーザが装着する外部機器としての装着装置２０と、を備える。本実施の形態１に係る情報取得システム１は、図２に示すように、端末装置１０がデジタルカメラの場合において、装着装置２０がヘッドマウントディスプレイ２０ａ（以下、「ＨＭＤ２０ａ」という）のとき、または装着装置２０が撮像機能を有するウエアラブル端末や腕時計２０ｂ（以下、「ウォッチ２０ｂ」という）のとき、端末装置１０および装着装置２０の各々から得られる情報と、端末装置１０および装着装置２０の各々の操作結果と、を所定の無線通信規格に従って双方向に通信を行うことによって、ユーザの意図を判断しながら連携を行う。ここで、所定の無線通信規格は、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｎ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ａｃ、Ｂｌｕｅｔｏｏｔｈ（登録商標）および赤外線通信規格等である。なお、本実施の形態１では、いずれの無線通信規格であっても適用可能である。

〔端末装置の構成〕
まず、端末装置１０について説明する。端末装置１０は、ユーザが把持することによって、被写体を撮像可能な撮像機能、または音声の取得可能な音声入力機能を有する装置を用いて実現される。例えば、端末装置１０は、デジタルカメラ、携帯機器、スマートフォンおよびＩＣレコーダを用いて実現される。なお、以下においては、端末装置１０をデジタルカメラまたはＩＣレコーダとして説明する。

端末装置１０は、第１取得部１１と、第１位置検出部１２と、第１表示部１３と、第１操作部１４と、第１記録部１５と、第１通信部１６と、第１制御部１７と、を備える。

第１取得部１１は、被写体を撮像することによって画像データを取得し、この画像データを第１制御部１７へ出力する、または音声データを取得し、この音声データを第１制御部１７へ出力する。第１取得部１１は、一または複数のレンズによって構成され、所定の視野領域からの光を集光する第１光学系（図示）と、第１光学系が集光した光の入射量を調整する絞りと、レリーズ信号の入力に応じて動作するシャッタと、絞りおよびシャッタを透過した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）の撮像素子と、撮像素子から出力されるアナログ信号に対してノイズ低減処理やゲインアップ処理等のアナログ処理を施してＡ／Ｄ変換を行って第１制御部１７に出力する信号処理部等を用いて構成される。または、第１取得部１１は、マイクおよびＡ／Ｄ変換部等を用いて構成される。なお、本実施の形態１では、第１取得部１１が取得部として機能する。

第１位置検出部１２は、端末装置１０の位置を検出し、この検出結果を第１制御部１７へ出力する。第１位置検出部１２は、方位センサ、ＧＰＳセンサ、ジャイロセンサおよび加速度センサ等を用いて構成される。

第１表示部１３は、第１制御部１７の制御のもと、第１取得部１１が取得した画像データに対応する画像および端末装置１０に関する各種情報を表示する。第１表示部１３は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルを用いて構成される。

第１操作部１４は、端末装置１０の電源オンや電源オフの指示信号の入力を受け付ける電源スイッチと、第１取得部１１に撮像または録音を指示する指示信号の入力を受け付けるスイッチおよび端末装置１０に他の機器と通信を行う指示信号の入力を受け付けるスイッチ等を用いて構成される。また、第１操作部１４は、第１取得部１１が第１情報を取得する際における第１取得部１１の状態の変更を指示する指示信号の入力を受け付ける。例えば、第１操作部１４は、第１取得部１１の撮像パラメータ、例えば露出値、ＩＳＯ、絞り値、シャッタ速度、ゲインおよびピント位置等の変更を指示する指示信号の入力を受け付ける。なお、本実施の形態１では、第１操作部１４が入力部として機能する。

第１記録部１５は、端末装置１０に関する各種情報を記録する。第１記録部１５は、ＦｌａｓｈメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて構成される。第１記録部１５は、端末装置１０が実行する各種プログラムを記録する第１プログラム記録部１５１と、第１取得部１１が取得した各種データを記録する第１データ記録部１５２と、端末装置１０に関する各種情報（例えば機器ＩＤやパスワード）を記録する第１機器情報記録部１５３と、第１通信部１６を介して連携する機器に応じた制御内容に関する制御一覧情報を記録する第１制御情報記録部１５４と、を有する。

図４は、第１制御情報記録部１５４が記録する制御一覧情報を示す図である。図４に示す制御一覧情報Ｔ１には、端末装置１０の機能と装着装置２０の機能とに応じて、各々が行う制御内容が記載されている。具体的には、制御一覧情報Ｔ１に示すように、端末装置１０が撮像（静止画または動画）を行う場合において、装着装置２０が撮像機能を有するとき、装着装置２０が端末装置１０から受信した第１情報（画像データ）に基づいて、装着装置２０による撮影のピント位置または露出を制御する撮影制御（ＡＦ処理やＡＥ処理）を行うとともに、装着装置２０で表示される画像上に撮影に関するアドバイスを表示し、かつ、端末装置１０が装着装置２０から受信した動画データと静止画データとを関係付けて記録することが記載されている。また、制御一覧情報Ｔ１に示すように、端末装置１０が撮像（静止画または動画）を行う場合において、装着装置２０が録音機能を有するとき、装着装置２０が端末装置１０から受信した第１情報（画像データ）に基づいて、装着装置２０による録音時に画像データに写る主要被写体（撮影対象）の音声を強調する音声制御を行い、かつ、端末装置１０が装着装置２０から受信した音声データと静止画データとを関係付けて記録することが記載されている。

さらに、制御一覧情報Ｔ１に示すように、端末装置１０が録音を行う場合において、装着装置２０が撮像機能を有するとき、装着装置２０が端末装置１０から受信した第１情報（音声データ）に基づいて、装着装置２０による撮影対象を特定して撮影制御（ＡＦ処理やＡＥ処理）を行うとともに、装着装置２０で表示される画像上に録音に関するアドバイスを表示し、かつ、端末装置１０が装着装置２０から受信した動画データと音声データとを関係付けて記録することが記載されている。さらにまた、制御一覧情報Ｔ１に示すように、端末装置１０が録音を行う場合において、装着装置２０が録音機能を有するとき、装着装置２０が端末装置１０から受信した第１情報（音声データ）に基づいて、装着装置２０による録音レベルを表示する制御を行い、かつ、端末装置１０が装着装置２０から受信した音声データに基づいて、ノイズキャンセルを行った録音データを記録することが記載されている。

図１に戻り、端末装置１０の構成の説明を続ける。
第１通信部１６は、所定の無線通信規格に従って他の機器、例えば装着装置２０と無線通信を行ってデータを装着装置２０に送信するとともに、第１取得部１１が第１情報を取得した取得時に、装着装置２０において取得された第２情報と装着装置２０において行われた操作情報とを含む外部機器情報を受信して第１制御部１７へ出力する。ここで、第２情報には、装着装置２０において取得された第２画像データまたは第２音声データ等が含まれる。

第１制御部１７は、端末装置１０を構成する各部を制御する。第１制御部１７は、第１判定部１７１と、第１状態制御部１７２と、第１表示制御部１７３と、第１通信制御部１７４と、第１記録制御部１７５と、を備える。

第１判定部１７１は、第１通信部１６と装着装置２０との通信状態を判定する。具体的には、第１判定部１７１は、第１通信部１６を介して装着装置２０から双方向に通信を行うペアリングを行うためのパスワードをペアリング情報として受信したか否かを判定する。

第１状態制御部１７２は、第１取得部１１が取得する第１情報と装着装置２０から送信される第２情報とに基づいて、第１取得部１１の状態を制御する。具体的には、第１状態制御部１７２は、第１取得部１１が被写体の画像データを生成可能な場合、第１取得部１１の撮影パラメータ（例えば、ＩＳＯ、露出、シャッタスピードおよび絞り等）を制御する一方、第１取得部１１が音声データを録音可能な場合、第１取得部１１の録音パラメータ（例えばノイズキャンセルや指向性パターン）を制御する。

第１表示制御部１７３は、第１表示部１３の表示態様を制御する。具体的には、第１表示制御部１７３は、第１取得部１１が取得した第１情報に対応する画像を第１表示部１３に表示させる。また、第１表示制御部１７３は、装着装置２０から送信された第２情報であって、装着装置２０において操作された操作内容の操作情報を含む第２情報を第１情報に合成して第１表示部１３に表示させる。具体的には、第１表示制御部１７３は、第２情報に含まれる操作情報を第１画像データに対応する画像に重畳して第１表示部１３に表示させる。

第１通信制御部１７４は、第１通信部１６の通信状態を制御する。具体的には、第１通信制御部１７４は、第１通信部１６を介して第１取得部１１が取得した第１情報を装着装置２０へ送信する。

第１記録制御部１７５は、第１通信部１６を介して装着装置２０から受信した外部機器情報と、第１取得部１１が取得した第１情報と、を対応付けて第１記録部１５に記録させる。

〔装着端末の構成〕
次に、装着装置２０の構成について説明する。
装着装置２０は、例えばＨＭＤ、ＩＣレコーダ、生体情報を取得可能な腕時計型端末等が想定され、ユーザに装着された状態で使用される。なお、以下においては、装着装置２０をＨＭＤとして説明する。また、以下においては、外部機器として装着装置２０を説明するが、装着装置２０が本実施の形態１に端末装置としても機能する。

装着装置２０は、第２取得部２１と、第２位置検出部２２と、装着検出部２３と、第２表示部２４と、第２操作部２５と、第２記録部２６と、第２通信部２７と、第２制御部２８と、を備える。

第２取得部２１は、被写体を撮像することによって画像データを取得し、この画像データを第２制御部２８へ出力する、または音声データを取得し、この音声データを第２制御部２８へ出力する。第２取得部２１は、一または複数のレンズによって構成され、所定の視野領域からの光を集光する第２光学系（図示せず）と、光学系が集光した光の入射量を調整する絞りと、レリーズ信号の入力に応じて動作するシャッタと、絞りおよびシャッタを透過した光を受光して電気信号に変換するＣＣＤまたはＣＭＯＳの撮像素子と、撮像素子から出力されるアナログ信号に対してノイズ低減処理やゲインアップ処理等のアナログ処理を施してＡ／Ｄ変換を行って第２制御部２８に出力する信号処理部等を用いて構成される。または、第２取得部２１は、マイクおよびＡ／Ｄ変換部等を用いて構成される。また、第２取得部２１は、第２光学系が第１取得部１１の第１光学系より焦点距離が短い。具体的には、第２光学系の焦点距離は、広角（例えば８〜２４ｍｍ）であり、第１光学系の焦点距離は、標準（例えば３５〜５０ｍｍ）である。

第２位置検出部２２は、装着装置２０の位置を検出し、この検出結果を第２制御部２８へ出力する。第２位置検出部２２は、方位センサ、ＧＰＳセンサ、ジャイロセンサおよび加速度センサ等を用いて構成される。

第２表示部２４は、第２制御部２８の制御のもと、第２制御部２８から入力された画像データに対応する画像や装着装置２０に関する各種情報を表示する。第２表示部２４は、液晶や有機ＥＬを用いて構成される。

第２操作部２５は、装着装置２０の電源オンや電源オフの指示信号の入力を受け付ける電源スイッチと、第２取得部２１に撮影または録音の開始指示等を指示する指示信号の入力を受け付けるスイッチおよび端末装置１０と通信を行う指示信号の入力を受け付けるスイッチ等を用いて構成される。なお、本実施の形態１では、第２操作部２５が入力部として機能する。

第２記録部２６は、装着装置２０に関する各種情報を記録する。ＦｌａｓｈメモリやＤＲＡＭ等の半導体メモリを用いて構成される。第２記録部２６は、装着装置２０が実行する各種プログラムを記録する第２プログラム記録部２６１と、第２取得部２１が取得した各種データを記録する第２データ記録部２６２と、装着装置２０を識別するための機器ＩＤ、他の機器と無線通信を行うためのパスワード等を記録する第２機器情報記録部２６３と、第２通信部２７を介して連携する機器に応じた制御内容に関する制御一覧情報を記録する第２制御情報記録部２６４と、を有する。

図５は、第２制御情報記録部２６４が記録する制御一覧情報を示す図である。図５に示す制御一覧情報Ｔ２には、装着装置２０の機能と端末装置１０の機能とに応じて、各々が行う制御内容が記載されている。具体的には、制御一覧情報Ｔ２に示すように、装着装置２０が撮像を行う場合において、端末装置１０が撮影機能または録音機能を有するとき、端末装置１０がＨＤＭ用のグラフィックユーザインターフェース（以下、「ＧＵＩ」という）を第１表示部１３に表示させることが記載されている。また、制御一覧情報Ｔ２に示すように、装着装置２０が録音を行う場合において、端末装置１０が撮影機能または録音機能を有するとき、端末装置１０がウオッチ用のＧＵＩを第１表示部１３に表示させることが記載されている。

第２通信部２７は、所定の無線通信規格に従って他の機器、例えば端末装置１０と無線通信を行ってデータを端末装置１０に送信するとともに、端末装置１０から送信されたデータを受信して第２制御部２８へ出力する。

第２制御部２８は、装着装置２０を構成する各部を制御する。第２制御部２８は、第２判定部２８１と、検出部２８２と、第２表示制御部２８３と、第２通信制御部２８４と、第２記録制御部２８５と、を備える。

第２判定部２８１は、第２通信部２７と端末装置１０との通信状態を判定する。具体的には、第２判定部２８１は、第２通信部２７を介して端末装置１０から双方向に通信を行うペアリングを行うためのパスワードをペアリング情報として受信したか否かを判定する。

検出部２８２は、第２取得部２１が取得した第２情報に対応する第２画像上における第１画像の撮影領域を検出する。具体的には、検出部２８２は、第２取得部２１が取得した第２画像および第１画像それぞれのパターンマッチングや特徴量を抽出する処理を行って、第２画像上における第１画像の撮影領域を検出する。なお、検出部２８２は、第２画像と第１画像それぞれのピクセルマッチング等の周知技術を用いて、第２画像上における第１画像の撮影領域を検出してもよい。

第２表示制御部２８３は、第２表示部２４の表示態様を制御する。具体的には、第２表示制御部２８３は、第２取得部２１が取得した第２情報に対応する第２画像を第２表示部２４に表示させる。

第２通信制御部２８４は、第２通信部２７の通信状態を制御する。具体的には、第２通信制御部２８４は、第２通信部２７を介して第２取得部２１が取得した第２情報を端末装置１０へ送信する。

第２記録制御部２８５は、第２通信部２７を介して端末装置１０から送信された第１情報と、端末装置１０において行われた操作内容を含む操作情報と、第２取得部２１が取得した第２情報と、を対応付けて第２記録部２６に記録させる。

〔端末装置の処理〕
次に、端末装置１０が実行する処理について説明する。図６は、端末装置１０が実行する処理の概要を示すフローチャートである。図６に示すように、端末装置１０は、装着装置２０に対して、ペアリング要求を送信する（ステップＳ１０１）。具体的には、図７に示すように、端末装置１０は、第１通信部１６を介して装着装置２０へ端末装置１０に関する機器情報を送信する。

続いて、第１判定部１７１は、第１通信部１６を介して装着装置２０からペアリング情報を受信したか否かを判定する（ステップＳ１０２）。具体的には、第１判定部１７１は、第１通信部１６を介して装着装置２０から双方向に通信を行うペアリングを行うためのパスワードをペアリング情報として受信したか否かを判定する。第１判定部１７１が第１通信部１６を介して装着装置２０からペアリング情報を受信したと判定した場合（ステップＳ１０２：Ｙｅｓ）、端末装置１０は、後述するステップＳ１０３へ移行する。これに対して、第１判定部１７１が第１通信部１６を介して装着装置２０からペアリング情報を受信していないと判定した場合（ステップＳ１０２：Ｎｏ）、端末装置１０は、ステップＳ１０１へ戻る。

ステップＳ１０３において、第１通信制御部１７４は、第１通信部１６を介して受信したペアリング情報に基づいて、装着装置２０と双方向に通信を行うペアリング処理を実行する。これにより、端末装置１０と装着装置２０との間で双方向にデータのやり取りが行われる。

続いて、第１取得部１１は、被写体を撮像して第１情報を取得する（ステップＳ１０４）。具体的には、第１取得部１１は、被写体を撮像し、この被写体の画像データを第１情報として取得する。

その後、第１操作部１４から端末装置１０のパラメータを変更するパラメータ変更操作があった場合（ステップＳ１０５：Ｙｅｓ）、第１制御部１７は、第１操作部１４から入力された操作信号に基づいて、端末装置１０のパラメータを変更する（ステップＳ１０６）。具体的には、第１状態制御部１７２は、第１操作部１４から入力された操作信号に基づいて、第１取得部１１の撮影パラメータ（例えばＩＳＯ、露出値、絞り値、シャッタ速度およびゲイン調整等）を変更する。ステップＳ１０６の後、端末装置１０は、後述するステップＳ１０７へ移行する。これに対して、第１操作部１４から端末装置１０のパラメータを変更するパラメータ変更操作がなかった場合（ステップＳ１０５：Ｎｏ）、端末装置１０は、後述するステップＳ１０７へ移行する。

ステップＳ１０７において、端末装置１０が装着装置２０と通信可能である場合（ステップＳ１０７：Ｙｅｓ）、第１通信制御部１７４は、第１通信部１６を介して第１取得部１１が取得した第１情報および第１操作部１４による操作情報それぞれを装着装置２０へ送信する（ステップＳ１０８）。

続いて、第１通信部１６を介して装着装置２０から第２情報を受信した場合（ステップＳ１０９：Ｙｅｓ）、端末装置１０は、後述するステップＳ１１０へ移行する。これに対して、第１通信部１６を介して装着装置２０から第２情報を受信していない場合（ステップＳ１０９：Ｎｏ）、端末装置１０は、上述したステップＳ１０７へ戻る。

ステップ１１０において、第１状態制御部１７２は、第１情報および第２情報に基づいて、第１取得部１１を制御する。具体的には、第１状態制御部１７２は、第１情報に含まれる第１画像データと、第２情報に含まれる第２画像データとに基づいて、主要被写体に対する第１取得部１１のピント位置または露出を制御する撮影制御（ＡＦ処理またはＡＥ処理）を行う。例えば、第１状態制御部１７２は、第１画像データと第２画像データとに基づいて、端末装置１０から主要被写体までの距離を位相差検出等の周知技術を用いて算出することによって、第１取得部１１のピント位置を主要被写体に合焦させる。

続いて、第１表示制御部１７３は、第１表示部１３が表示する画像上に、装着装置２０に関するＧＵＩを重畳して表示させる（ステップＳ１１１）。具体的には、図８に示すように、第１表示制御部１７３は、装着装置２０に関するＧＵＩとして、装着装置２０による動画撮影の記録を終了する指示信号の入力を受け付けるアイコンＡ１をライブビュー画像ＬＶ１上に重畳して第１表示部１３に表示させる。これにより、ユーザは、装着装置２０に対して操作することなく、端末装置１０のアイコンＡ１を操作することによって、装着装置２０の操作を行うことができる。さらに、ユーザは、端末装置１０を見ながら装着装置２０の状態を直感的に把握することができる。ステップＳ１１１の後、端末装置１０は、後述するステップＳ１１２へ移行する。

ステップＳ１０７において、端末装置１０が装着装置２０と通信可能でない場合（ステップＳ１０７：Ｎｏ）、端末装置１０は、後述するステップＳ１１２へ移行する。

ステップ１１２において、第１操作部１４から撮影または録音を指示する指示信号が入力された場合（ステップＳ１１２：Ｙｅｓ）において、装着装置２０と通信可能であるとき（ステップＳ１１３：Ｙｅｓ）、第１通信制御部１７４は、第１操作部１４から撮影または記録を指示する指示信号が入力されたことを示す操作内容や現在の第１取得部１１のパラメータを含む操作情報を装着装置２０へ送信する（ステップＳ１１４）。

続いて、第１通信部１６を介して装着装置２０から第２情報を受信した場合（ステップＳ１１５：Ｙｅｓ）、第１状態制御部１７２は、第１情報と第２情報に基づいて、第１取得部１１の状態を制御する（ステップＳ１１６）。具体的には、第１状態制御部１７２は、第１情報に含まれる第１画像データと、第２情報に含まれる第２画像データとに基づいて、主要被写体に対する第１取得部１１のピント位置または露出を制御する撮影制御（ＡＦ処理またはＡＥ処理）を行う。

その後、第１状態制御部１７２は、第１取得部１１に撮影を実行させる（ステップＳ１１７）。

続いて、第１記録制御部１７５は、第１通信部１６を介して装着装置２０から受信した第２情報と、第１取得部１１が取得した第１情報とを対応付けて第１記録部１５に記録する（ステップＳ１１８）。

その後、第１通信制御部１７４は、第１通信部１６を介して装着装置２０へ操作情報を送信する（ステップＳ１１９）。

続いて、第１操作部１４を介して終了する場合（ステップＳ１２０：Ｙｅｓ）、端末装置１０は、本処理を終了する。これに対して、第１操作部１４を介して終了しない場合（ステップＳ１２０：Ｎｏ）、端末装置１０は、上述したステップＳ１０４へ戻る。

ステップＳ１１２において、第１操作部１４から撮影または録音を指示する指示信号が入力されていない場合（ステップＳ１１２：Ｎｏ）、端末装置１０は、ステップＳ１２０へ移行する。

ステップＳ１１３において、装着装置２０と通信可能でないとき（ステップＳ１１３：Ｎｏ）、装着装置２０は、後述するステップＳ１２１へ移行する。

ステップＳ１１５において、第１通信部１６を介して装着装置２０から第２情報を受信していない場合（ステップＳ１１５：Ｎｏ）、装着装置２０は、後述するステップＳ１２１へ移行する。

ステップＳ１２１において、第１記録制御部１７５は、第１取得部１１が取得した第１情報を第１記録部１５に記録する。ステップＳ１２１の後、端末装置１０は、ステップＳ１２０へ移行する。

〔装着装置の処理〕
次に、装着装置２０の処理について説明する。図９は、装着装置２０が実行する処理の概要を示すフローチャートである。図９に示すように、装着装置２０は、第２通信部２７を介して端末装置１０からペアリング要求があった場合（ステップＳ２０１：Ｙｅｓ）、第２制御部２８は、第２通信部２７を介して端末装置１０にペアリング情報を送信する（ステップＳ２０２）。これに対して、装着装置２０は、第２通信部２７を介して端末装置１０からペアリング要求がない場合（ステップＳ２０１：Ｎｏ）、この判断を続ける。

続いて、第２通信部２７を介して端末装置１０から第１情報および操作情報を受信した場合（ステップＳ２０３：Ｙｅｓ）、第２制御部２８は、操作情報に基づいて、装着装置２０を制御する（ステップＳ２０４）。具体的には、第２制御部２８は、第２取得部２１のパラメータ（例えば、ＩＳＯ、露出値、絞り値、シャッタ速度、ゲイン等）を制御する。

その後、第２取得部２１は、被写体の第２情報を取得する（ステップＳ２０５）。具体的には、第２取得部２１は、被写体を撮像し、被写体の画像データを第２情報として生成する。

続いて、第２制御部２８は、第２取得部２１が取得した第２情報に基づいて、装着装置２０のパラメータを反映する（ステップＳ２０６）。例えば、第２表示制御部２８３は、第２取得部２１が第２情報としてバイタル情報を取得した場合、このバイタル情報を第２表示部２４が表示する画像中に反映または表示する。また、第２制御部２８は、第２取得部２１が情報として画像データを取得した場合において、端末装置１０から受信した画像データに対応する画像の撮像領域と第２取得部２１が取得した画像データに対応する画像の撮像領域とが重なるとき、重なる撮像領域を強調表示、例えば枠を表示させたり、アイコンを表示させたり、彩度、明度およびコントラストのいずれかを変化させて表示させてもよい。

その後、第２通信部２７を介して端末装置１０から撮影または録音を指示する指示信号情報を受信した場合（ステップＳ２０７：Ｙｅｓ）、第２取得部２１は、第２情報を取得する（ステップＳ２０８）。

続いて、第２制御部２８は、第２通信部２７を介して第２取得部２１が取得した第２情報を送信する（ステップＳ２０９）。

その後、第２通信部２７を介して端末装置１０から第１情報を受信した場合（ステップＳ２１０：Ｙｅｓ）、第２記録制御部２８５は、第２取得部２１が取得した第２情報と端末装置１０から受信した第１情報と、端末装置１０から受信した操作情報と、を関連付けて第２記録部２６に記録する（ステップＳ２１１）。

続いて、第２操作部２５が操作されて終了する場合（ステップＳ２１２：Ｙｅｓ）、装着装置２０は、本処理を終了する。これに対して、第２操作部２５が操作されず終了しない場合（ステップＳ２１２：Ｎｏ）、装着装置２０は、上述したステップＳ２０３へ戻る。

ステップＳ２０７において、第２通信部２７を介して端末装置１０から撮影または録音を指示する指示信号情報を受信していない場合（ステップＳ２０７：Ｎｏ）、第２取得部２１は、第２情報を取得する（ステップＳ２１３）。ステップＳ２１３の後、装着装置２０は、ステップＳ２１２へ移行する。

以上説明した本発明の実施の形態１によれば、第１記録制御部１７５が第１取得部１１によって取得された第１情報と、装着装置２０から送信された第２情報と、装着装置２０において操作された操作内容を示す操作情報と、を対応付けて第１記録部１５に記録する、または第２記録制御部２８５が第２取得部２１によって取得された第２情報と、端末装置１０から送信された第１情報と、端末装置１０において操作された操作内容を示す操作情報と、を対応付けて第２記録部２６に記録するので、情報を同時に取得する場合であっても、情報取得時におけるお互いの操作内容を把握することができる。

また、本発明の実施の形態１によれば、端末装置操作時の連携情報が外部機器から得られて情報をリッチ化することができる。もちろん、このようなリッチ化された情報が得られれば良いので、この外部機器情報と、前記取得部が取得した情報とを対応付けた記録用情報は、前記外部機器が内蔵する制御部が得るようにしても良いし、第３の機器が、これらの情報をコンバインしてもよい。第１表示制御部１７３が装着装置２０から受信した操作情報を第１表示部１３が表示する画像上に重畳して表示するので、装着装置２０の操作内容を直感的に把握することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る情報取得システムは、上述した実施の形態１に係る情報取得システム１と同様の構成を有し、装着装置２０が実行する処理が異なる。以下においては、本実施の形態２に係る装着端末が実行する処理について説明する。なお、上述した実施の形態１に係る情報取得システム１と同一の構成には同一の符号を付して説明を省略する。

〔装着装置の処理〕
図１０は、装着装置２０が実行する処理の概要を示すフローチャートである。図１０において、ステップＳ３０１およびステップＳ３０２は、上述した図９のステップＳ２０１およびステップＳ２０２にそれぞれ対応する。

ステップＳ３０３において、第２通信部２７を介して端末装置１０から第１情報および操作情報を受信した場合（ステップＳ３０３：Ｙｅｓ）、第２制御部２８は、操作情報に基づいて、装着装置２０を制御する（ステップＳ３０４）。具体的には、図１１に示すように、ユーザが端末装置１０に対して操作することによって、端末装置１０から操作情報を受信した場合、第２制御部２８は、操作情報に基づいて、装着装置２０のパラメータを制御する。例えば、第２制御部２８は、ユーザが端末装置１０を用いて被写体Ｏ１を撮像する場合において、端末装置１０から受信した操作情報が露出値を上げる操作であったとき、第２取得部２１の露出値のパラメータを上げる制御を行う。

続いて、第２制御部２８は、第２取得部２１に第２情報を取得させる（ステップＳ３０５）。

その後、第２判定部２８１は、端末装置１０から受信した取得情報と、第２取得部２１が取得した取得情報とに基づいて、端末装置１０が装着装置２０と同じ方向の対象物を撮影しているか否かを判定する（ステップＳ３０６）。具体的には、第２判定部２８１は、端末装置１０から受信した第１情報に含まれる画像データに対応する第１画像と第２取得部２１が取得した第２情報に含まれる画像データに対応する第２画像との一致度を算出し、この算出した一致度が所定の閾値以上であるか否かを判定する。具体的には、第２判定部２８１は、端末装置１０から受信した画像データに対応する画像を用いて、第２取得部２１が取得した画像データに対応する画像に対して、周知のパターンマッチング、被写体検出、特徴量抽出および輝度情報等の周知技術を用いて一致度を算出する。この場合、第２判定部２８１は、端末装置１０が装着装置２０と同じ方向の対象物を撮影しているか否かを判定し、所定の閾値以上である場合、端末装置１０が装着装置２０と同じ方向の対象物を撮影していると判定する。第２判定部２８１によって端末装置１０が装着装置２０と同じ方向の対象物を撮影していると判定された場合（ステップＳ３０６：Ｙｅｓ）、装着装置２０は、後述するステップＳ３０７へ移行する。これに対して、第２判定部２８１によって端末装置１０が装着装置２０と同じ方向の対象物を撮影していないと判定された場合（ステップＳ３０６：Ｎｏ）、装着装置２０は、後述するステップＳ３０９へ移行する。

ステップＳ３０７において、検出部２８２は、第２取得部２１が取得した第２情報に含まれる画像データに対応する第２画像に対して、端末装置１０から受信した第１情報に含まれる画像データに対応する第１画像が一致する撮影領域を検出する。例えば、検出部２８２は、第２画像の特徴点と第１画像の特徴点それぞれを抽出し、同じ特徴点の領域を第１画像の撮影領域として検出する。なお、検出部２８２は、第１情報に含まれる第１取得部１１の画角と被写体までの距離とに基づいて、第２画像上における撮影領域を想定して検出してもよい。

続いて、第２表示制御部２８３は、検出部２８２が検出した検出結果に基づいて、第２画像上に、端末装置１０の撮影領域に対応する枠を重畳して第２表示部２４に表示させる（ステップＳ３０８）。具体的には、図１２に示すように、第２表示制御部２８３は、第２取得部２１によって取得された画像データに対応するライブビュー画像ＬＶ１に、検出部２８２によって検出された端末装置１０の撮影領域に対応する枠Ｗ１および端末装置１０が撮影中であることを示す情報Ａ１０を重畳して第２表示部２４に表示させる。これにより、ユーザは、装着装置２０の第２表示部２４において表示されるライブビュー画像ＬＶ１上で、端末装置１０の撮影領域を確認しながら撮影を行うことができる。ステップＳ３０８の後、装着装置２０は、後述するステップＳ３０９へ移行する。

ステップＳ３０９において、第２通信部２７を介して端末装置１０から撮影または録音を指示する指示信号を受信した場合（ステップＳ３０９：Ｙｅｓ）、第２制御部２８は、第２取得部２１に情報を取得させる（ステップＳ３１０）。

続いて、第２制御部２８は、第２通信部２７を介して第２取得部２１が取得した第２情報を端末装置１０へ送信する（ステップＳ３１１）。

その後、第２通信部２７を介して端末装置１０から第１情報を受信した場合（ステップＳ３１２：Ｙｅｓ）、第２記録制御部２８５は、第２取得部２１が取得した第２情報と、第２通信部２７を介して端末装置１０から受信した第１情報と、端末装置１０において操作された操作内容を示す操作情報と、および検出部２８２が検出した検出結果（第２画像上における第１画像の撮影領域の座標情報）である位置関係データタグと、を関連付けて第２記録部２６に記録する（ステップＳ３１３）。具体的には、図１３および図１４に示すように、第２取得部２１が取得した画像データに対応する画像Ｐ１と、第２通信部２７を介して端末装置１０から受信した画像データに対応する画像Ｐ２と、画像Ｐ１上に、端末装置１０の撮影領域に対応する位置や端末装置１０において操作された操作情報を含む位置関係情報と、を対応付けて１つのファイルＦ１を生成し、このファイルＦ１を第２データ記録部２６２に記録する。ステップＳ３１３の後、装着装置２０は、ステップＳ３１４へ移行する。

ステップＳ３１４およびステップＳ３１５は、上述した図９のステップＳ２１２およびステップＳ２１３それぞれに対応する。

以上説明した本発明の実施の形態２によれば、第１記録制御部１７５が第１取得部１１によって取得された第１情報と、装着装置２０から送信された第２情報と、装着装置２０において操作された操作内容を示す操作情報と、を対応付けて第１記録部１５に記録する、または第２記録制御部２８５が第２取得部２１によって取得された第２情報と、端末装置１０から送信された第１情報と、端末装置１０において操作された操作内容を示す操作情報と、を対応付けて第２記録部２６に記録するので、情報を同時に取得する場合であっても、情報取得時におけるお互いの操作内容を把握することができる。

また、本発明の実施の形態２によれば、第２表示制御部２８３が第２取得部２１によって取得された画像データに対応するライブビュー画像ＬＶ１に、検出部２８２によって検出された端末装置１０の撮影領域に対応する枠Ｗ１を重畳して第２表示部２４に表示させる。これにより、ユーザは、装着装置２０の第２表示部２４において表示されるライブビュー画像ＬＶ１上で、端末装置１０の撮影領域を確認しながら撮影を行うことができる。

（その他の実施の形態）
なお、上述した実施の形態では、外部機器を装着装置として説明していたが、装着装置を端末装置と読み替えることができる。即ち、装着装置の機能を端末装置に組み込んだ場合であっても適用することができる。具体的には、端末装置の第１状態制御部の機能を装着装置に組み込んだり、装着装置の検出部の機能を端末装置に組み込んだりしてもよい。また、本実施の形態では、外部機器が端末装置として機能する場合、第２情報が第１情報となり、端末装置が外部機器として機能する場合、第１情報が第２情報となる。

また、ここまでは主として無線通信を行う場合を説明してきたが、本実施の形態は有線通信を用いても実現することが可能である。また、各装置が独立して姿勢や向きや安定性を変えられるものであれば、本実施の形態を適用することが可能である。また、情報処理装置が通信候補の各装置間の姿勢関係や各装置の固定の具合を判定することにより、特定の装置を選択するようにしてもよい。

また、端末装置または装着装置が通信の信号強度や位置関係などを考慮して反映した制御を行ってもよい。この場合、ユーザが各装置を把持状態であるかどうかを判定する人体通信部またはタッチセンサと、装置同士の高度の関係などを検出する気圧センサとを具備させ、これらのいずれかを利用して、装置同士の位置関係に基づく各装置の通信や動作制御、連携制御を行うようにしてもよい。

また、情報取得システム全体を制御する機能は、その情報取得システムを構成する装置のいずれかに内蔵されていればよい。

なお、端末装置がスマートフォン等の携帯情報端末などである場合には、端末装置がネットワークを介してアプリソフトをダウンロードすることにより、本実施の形態に係る情報取得システムの動作を制御する機能を取得できるようにしてもよい。

また、撮像装置以外の情報取得装置を用いて本実施の形態に係る通信システムを構成することも可能である。このような情報取得装置として、ＩＣレコーダ、体温計、体重計などを挙げることができる。

また、本実施の形態において、第１通信部を画像データの送受信に特化することなく、各種指示信号の少なくとも一部の通信を担わせるようにしてもよい。

また、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

また、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、上述した実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

また、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記憶部が記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記憶部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１・・・情報取得システム；１０・・・端末装置；１１・・・第１取得部；１２・・・第１位置検出部；１３・・・第１表示部；１４・・・第１操作部；１５・・・第１記録部；１６・・・第１通信部；１７・・・第１制御部；２０・・・装着装置；２１・・・第２取得部；２２・・・第２位置検出部；２３・・・装着検出部；２４・・・第２表示部；２５・・・第２操作部；２６・・・第２記録部；２７・・・第２通信部；２８・・・第２制御部；１５１・・・第１プログラム記録部；１５２・・・第１データ記録部；１５３・・・第１機器情報記録部；１５４・・・第１制御情報記録部；１７１・・・第１判定部；１７２・・・第１状態制御部；１７３・・・第１表示制御部；１７４・・・第１通信制御部；１７５・・・第１記録制御部；２６１・・・第２プログラム記録部；２６２・・・第２データ記録部；２６３・・・第２機器情報記録部；２６４・・・第２制御情報記録部；２８１・・・第２判定部；２８２・・・検出部；２８３・・・第２表示制御部；２８４・・・第２通信制御部；２８５・・・第２記録制御部

Claims (11)

1. 情報を取得する取得部と、
   外部機器と通信可能であり、前記取得部が取得した前記情報を前記外部機器に送信するとともに、前記取得部が前記情報を取得した取得時に前記外部機器において取得された外部機器情報を受信する通信部と、
   前記通信部が受信した前記外部機器情報と、前記取得部が取得した前記情報と、を対応付けて記録部に記録する記録制御部と、
   を備えたことを特徴とする端末装置。
2. 前記取得部が取得した前記情報を表示可能な表示部と、
   前記外部機器情報を前記取得部が取得した前記情報に合成して前記表示部に表示させる表示制御部と、
   をさらに備えたことを特徴とする請求項１に記載の端末装置。
3. 前記取得部が前記情報を取得する際における前記取得部の状態の変更を指示する指示信号の入力を受け付ける入力部をさらに備え、
   前記通信部は、前記指示信号に対応する操作内容を含む第１操作情報を前記外部機器にさらに送信することを特徴とする請求項２に記載の端末装置。
4. 前記取得部が取得した前記情報と前記外部機器情報とに基づいて、前記取得部の状態を制御する状態制御部と、
   をさらに備えたことを特徴とする請求項３に記載の端末装置。
5. 前記取得部は、被写体を撮像して該被写体の第１画像データを前記情報として取得し、
   前記外部機器情報は、前記被写体を含む第２画像データを含み、
   前記状態制御部は、前記第１画像データおよび前記第２画像データに基づいて、前記取得部が前記被写体を撮像する際のピント位置または露出を制御することを特徴とする請求項４に記載の端末装置。
6. 前記取得部は、前記被写体の被写体像を結像する第１光学系を有し、
   前記外部機器は、前記第１光学系より焦点距離が短い第２光学系を備えることを特徴とする請求項５に記載の端末装置。
7. 前記第１画像データに対応する第１画像上における前記第２画像データに対応する第２画像の撮影領域を検出する検出部をさらに備え、
   前記表示制御部は、前記検出部が検出した前記撮影領域に対応する検出結果を前記第１画像上に表示して前記表示部に表示させることを特徴とする請求項５に記載の端末装置。
8. 前記記録制御部は、前記検出部が検出した検出結果と、前記通信部が受信した前記外部機器情報と、前記取得部が取得した前記情報と、を対応付けて前記記録部に記録させることを特徴とする請求項７に記載の端末装置。
9. ユーザに把持された状態で使用される端末装置と、前記ユーザに装着された状態で使用される外部機器と、を備えた情報取得システムであって、
   前記端末装置は、
   第１情報を取得する第１取得部と、
   前記外部機器と通信可能であり、前記第１取得部が取得した前記第１情報を前記外部機器に送信するとともに、前記第１取得部が前記第１情報を取得した取得時に前記外部機器において取得された外部機器情報を受信する第１通信部と、
   前記第１通信部を介して受信した前記外部機器情報と、前記第１取得部が取得した前記第１情報と、を対応付けて第１記録部に記録させる第１記録制御部と、
   を備え、
   前記外部機器は、
   前記外部機器情報を取得する第２取得部と、
   前記端末装置と通信可能であり、前記第１取得部が前記第１情報を取得した取得時に前記第２取得部が取得した前記外部機器情報を前記端末装置に送信するとともに、前記第１取得部が取得した前記第１情報を前記端末装置から受信する第２通信部と、
   前記第２通信部を介して受信した前記第１情報と、前記第２取得部が取得した前記外部機器情報と、を対応付けて第２記録部に記録させる第２記録制御部と、
   を備えることを特徴とする情報取得システム。
10. 情報を取得可能な取得部を備える端末装置が実行する情報取得方法であって、
    外部機器と通信可能であり、前記取得部が取得した前記情報を前記外部機器に送信するとともに、前記取得部が前記情報を取得した取得時に前記外部機器において取得された外部機器情報を受信する通信ステップと、
    前記通信ステップが受信した前記外部機器情報と、前記取得部が取得した前記情報と、を対応付けて記録部に記録する記録制御ステップと、
    を含むことを特徴とする情報取得方法。
11. 情報を取得可能な取得部を備える端末装置に、
    外部機器と通信可能であり、前記取得部が取得した前記情報を前記外部機器に送信するとともに、前記取得部が前記情報を取得した取得時に前記外部機器において取得された外部機器情報を受信する通信ステップと、
    前記通信ステップが受信した前記外部機器情報と、前記取得部が取得した前記情報と、を対応付けて記録部に記録する記録制御ステップと、
    を実行させることを特徴とするプログラム。

Images