JP2017126980A - 情報処理装置、撮像装置、表示装置、情報処理方法、撮像装置の制御方法、表示装置の制御方法、情報処理プログラム、撮像装置の制御プログラム、および表示装置の制御プログラム - Google Patents

Abstract

【課題】ユーザが所望する動作を様々な状況下で的確に実行する情報処理装置等を提供する。【解決手段】撮像装置から、撮像装置の動き状態または姿勢状態に関する情報を受信し、表示装置から、表示装置の姿勢状態に関する情報を受信する情報処理装置側通信部と、情報処理装置側通信部が受信した撮像装置の状態に関する情報および表示装置の状態に関する情報を用いて、撮像装置および表示装置が連携可能な状態にあるかどうかを判定する情報処理装置側状態判定部と、情報処理装置側状態判定部の判定結果に基づいて、情報処理装置側通信部を介して撮像装置と表示装置の間を通信で連携させる連携指示信号を出力する情報処理装置側通信制御部と、を備える。【選択図】図２

Description

本発明は、情報処理装置、撮像装置、表示装置、情報処理方法、撮像装置の制御方法、表示装置の制御方法、情報処理プログラム、撮像装置の制御プログラム、および表示装置の制御プログラムに関する。

従来、動作を非接触で検出する非接触センサ、または音を検出するセンサを備え、検出した動作または音を予め記憶している操作指示の動作パターンまたは音と照合し、照合結果に基づく処理を行う電子機器が知られている（例えば、特許文献１を参照）。この技術によれば、ユーザが物理ボタンを用いずに電子機器を操作することができる。

特開２０１４−２１９７１０号公報

しかしながら、上述した電子機器では、想定される状況以外の場合には、ユーザが所望する動作を的確に実行することができなかった。

本発明は、上記に鑑みてなされたものであって、ユーザが所望する動作を様々な状況下で的確に実行することができる情報処理装置、撮像装置、表示装置、情報処理方法、撮像装置の制御方法、表示装置の制御方法、情報処理プログラム、撮像装置の制御プログラム、および表示装置の制御プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、外部の撮像装置および表示装置の各々と通信する情報処理装置であって、前記撮像装置から、前記撮像装置の動き状態または姿勢状態に関する情報を受信し、前記表示装置から、前記表示装置の姿勢状態に関する情報を受信する情報処理装置側通信部と、前記情報処理装置側通信部が受信した前記撮像装置の状態に関する情報および前記表示装置の状態に関する情報を用いて、前記撮像装置および前記表示装置が連携可能な状態にあるかどうかを判定する情報処理装置側状態判定部と、前記情報処理装置側状態判定部の判定結果に基づいて、前記情報処理装置側通信部を介して前記撮像装置と前記表示装置の間を通信で連携させる連携指示信号を出力する情報処理装置側通信制御部と、を備えたことを特徴とする。

本発明に係る撮像装置は、外部の情報処理装置および表示装置の各々と通信する撮像装置であって、当該撮像装置の動きまたは姿勢を検出する撮像装置側状態検出部と、前記撮像装置側状態検出部で検出された動きまたは姿勢から、撮像装置の状態に関する情報を判定する撮像装置側状態判定部と、前記撮像装置側状態検出部が検出した撮像装置の状態に関する情報を前記情報処理装置へ送信する撮像装置側通信部と、前記情報処理装置から、前記表示装置との連携を指示する連携指示信号を受信した場合、前記撮像装置側通信部を介して前記表示装置との通信を確立する制御を行う撮像装置側通信制御部と、を備えたことを特徴とする。

本発明に係る表示装置は、外部の撮像装置および情報処理装置の各々と通信する表示装置であって、当該表示装置の姿勢を検出する表示装置側状態検出部と、前記表示装置側状態検出部で検出された姿勢から、表示装置の状態に関する情報を判定する表示装置側状態判定部と、前記表示装置側状態検出部が検出した表示装置の状態に関する情報を前記情報処理装置に送信する表示装置側通信部と、前記表示装置側通信部が前記情報処理装置から、前記撮像装置との連携を指示する連携指示信号を受信した場合、前記撮像装置との通信を確立する制御を行う表示装置側通信制御部と、を備えたことを特徴とする。

本発明に係る情報処理方法は、撮像装置から、前記撮像装置の動き状態または姿勢状態に関する情報を受信し、表示装置から、前記表示装置の姿勢状態に関する情報を受信する受信ステップと、前記撮像装置の状態に関する情報および前記表示装置の状態に関する情報を用いて、前記撮像装置および前記表示装置が連携可能な状態にあるかどうかを判定する判定ステップと、前記判定の結果に基づいて、前記撮像装置と前記表示装置の間を通信で連携させる連携指示を出力する出力ステップと、を有することを特徴とする。

本発明に係る撮像装置の制御方法は、外部の情報処理装置および表示装置の各々と通信する撮像装置の制御方法であって、当該撮像装置の動きまたは姿勢を検出する検出ステップと、前記動きまたは姿勢から、撮像装置の状態に関する情報を判定する判定ステップと、撮像装置の状態に関する情報を前記情報処理装置へ送信する送信ステップと、前記情報処理装置から、前記表示装置との連携を指示する連携指示信号を受信した場合、前記表示装置との通信を確立する通信確立ステップと、を有することを特徴とする。

本発明に係る表示装置の制御方法は、外部の撮像装置および情報処理装置の各々と通信する表示装置の制御方法であって、当該表示装置の姿勢を検出する検出ステップと、前記姿勢から、表示装置の状態に関する情報を判定する判定ステップと、表示装置の状態に関する情報を前記情報処理装置に送信する送信ステップと、前記情報処理装置から、前記撮像装置との連携を指示する連携指示信号を受信した場合、前記撮像装置との通信を確立する通信確立ステップと、を有することを特徴とする。

本発明に係る情報処理プログラムは、撮像装置から、前記撮像装置の動き状態または姿勢状態に関する情報を受信し、表示装置から、前記表示装置の姿勢状態に関する情報を受信する受信ステップと、前記撮像装置の状態に関する情報および前記表示装置の状態に関する情報を用いて、前記撮像装置および前記表示装置が連携可能な状態にあるかどうかを判定する判定ステップと、前記判定の結果に基づいて、前記撮像装置と前記表示装置の間を通信で連携させる連携指示を出力する出力ステップと、を情報処理装置に実行させることを特徴とする。

本発明に係る撮像装置の制御プログラムは、外部の情報処理装置および表示装置の各々と通信する撮像装置の制御プログラムであって、当該撮像装置の動きまたは姿勢を検出する検出ステップと、前記動きまたは姿勢から、撮像装置の状態に関する情報を判定する判定ステップと、撮像装置の状態に関する情報を前記情報処理装置へ送信する送信ステップと、前記情報処理装置から、前記表示装置との連携を指示する連携指示信号を受信した場合、前記表示装置との通信を確立する通信確立ステップと、を前記撮像装置に実行させることを特徴とする。

本発明に係る表示装置の制御プログラムは、外部の撮像装置および情報処理装置の各々と通信する表示装置の制御プログラムであって、当該表示装置の姿勢を検出する検出ステップと、前記姿勢から、表示装置の状態に関する情報を判定する判定ステップと、表示装置の状態に関する情報を前記情報処理装置に送信する送信ステップと、前記情報処理装置から、前記撮像装置との連携を指示する連携指示信号を受信した場合、前記撮像装置との通信を確立する通信確立ステップと、を前記表示装置に実行させることを特徴とする。

本発明によれば、ユーザが所望する動作を様々な状況下で的確に実行することができる。

図１は、本発明の一実施の形態に係る通信システムの全体構成を模式的に示す図である。 図２は、本発明の一実施の形態に係る通信システムの機能構成を示すブロック図である。 図３Ａは、ユーザが水面を確認しながら撮像装置を水面の近くに配置する状況を模式的に示す図である。 図３Ｂは、ユーザが表示装置に表示されるスルー画を見ながら撮影を行う状況を模式的に示す図である。 図４Ａは、表示装置の出力部が何も表示していない状態を模式的に示す図である。 図４Ｂは、表示装置の出力部がスルー画を表示している状態を模式的に示す図である。 図５は、本発明の一実施の形態に係る情報処理装置が行う処理の概要を示すフローチャートである。 図６は、本発明の一実施の形態に係る情報処理装置の出力部におけるモード選択画面の表示例を示す図である。 図７は、本発明の一実施の形態に係る情報処理装置の出力部における通信中画面の表示例を示す図である。 図８は、本発明の一実施の形態に係る情報処理装置の出力部における撮影モード画面の表示例を示す図である。 図９は、本発明の一実施の形態に係る情報処理装置の出力部における連携中画面の表示例を示す図である。 図１０は、本発明の一実施の形態に係る情報処理装置の出力部における連携条件設定画面の表示例を示す図である。 図１１は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。 図１２は、本発明の一実施の形態に係る表示装置が行う処理の概要を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

図１は、本発明の一実施の形態に係る通信システムの全体構成を模式的に示す図である。同図に示す通信システム１は、撮像装置２と、情報処理装置３と、表示装置４とを備える。撮像装置２、情報処理装置３および表示装置４は、相互に無線通信を行うことが可能である。なお、無線通信以外にも、人体に電極を接触させて電流を流して通信したり、人体に電位を与えて通信する人体通信を必要に応じて利用または併用してもよい。人体通信を用いる場合は、各装置に人体通信を実現するための人体通信部を具備させる。人体通信を用いることにより、ユーザによる装置の把持の有無や把持の開始時刻等を通信の信号強度や通信の有無に応じて判定し、装置の状態を判定することが可能となる。

撮像装置２は、例えば小型の筒状または立方体などの形状をなしており、被写体を撮像して画像データを生成し、生成した画像データを情報処理装置３および表示装置４に送信可能である。情報処理装置３は、例えば携帯型の端末であり、撮像装置２が撮像した画像を表示可能であるとともに、撮像装置２と表示装置４との間の通信を仲介する機能を有する。表示装置４は、例えば腕時計の形状をなしており、撮像装置２が撮像した画像を表示可能であるとともに、時計としての機能も有する。ここで、表示装置４の形状は手首に巻く腕時計の形状に限られるわけではなく、例えば手の甲や上腕や四肢の一部などに装着可能なウエアラブル端末としての構成を有していてもよい。また、近年では、衣料に端末等の様々な機能を設けるものも知られている。そこで、例えば表示装置４を衣料の一部として実現することも可能である。

図２は、通信システム１の機能構成を示すブロック図である。以下、図２を参照して撮像装置２、情報処理装置３および表示装置４の機能構成を説明する。

撮像装置２は、被写体を撮像し、被写体の画像データを生成する撮像部２１と、外部の音を集音して音声データを生成する集音部２２と、撮像装置２の操作指示信号を含む各種信号の入力を受け付ける入力部２３と、撮像装置２の動きまたは姿勢を検出する状態検出部２４（撮像装置側状態検出部）と、情報処理装置３および表示装置４との間で通信を行う通信部２５（撮像装置側通信部）と、撮像装置２の動作を制御する制御部２６と、撮像部２１が生成した画像データおよび集音部２２が生成した音声データ、ならびに撮像装置２の動作を制御するための各種情報を記憶する記憶部２７と、を有する。

撮像部２１は、被写体像を結像する光学系と、該光学系が結像した被写体像を受光して光電変換を行うことによって被写体の画像データを生成するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、光学系が集光した光の入射量を制限することにより露出の調整を行う絞りと、撮像素子の状態を露光状態または遮光状態に設定するシャッタと、を有する。

集音部２２は、マイクロフォン等を用いて構成され、集音した音を音声データに変換して出力する。

入力部２３は、静止画撮影を指示するレリーズ指示信号の入力を受け付けるレリーズスイッチ、動画撮影の開始および終了を指示する動画スイッチ、および電源のオンオフの入力を受け付ける電源スイッチを含む。

状態検出部２４は、互いに直交する３軸方向の加速度を検出する加速度センサを用いて構成される。

通信部２５は、状態検出部２４が検出した撮像装置２の状態に関する情報を情報処理装置３へ送信する。通信部２５は、互いに異なる通信規格にしたがって無線通信を行う第１通信部２５１（撮像装置側第１通信部）および第２通信部２５２（撮像装置側第２通信部）を有する。第１通信部２５１は、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ（Local Area Network）による通信を行う。一方、第２通信部２５２は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）による通信を行う。以下、第１通信部２５１がしたがう通信規格を第１通信規格といい、第２通信部２５２がしたがう通信規格を第２通信規格という。第１通信部２５１は、例えば情報処理装置３または表示装置４へ画像データを送信する。第２通信部２５２は、例えば撮像装置２と表示装置４の間を通信で連携させる連携指示信号を情報処理装置３から受信する。

制御部２６は、撮像部２１が行う撮影動作を制御する撮影制御部２６１と、撮像部２１が生成した画像データに対して所定の処理を施す画像処理部２６２と、状態検出部２４の検出結果をもとに撮像装置２の状態を判定する状態判定部２６３（撮像装置側状態判定部）と、第１通信部２５１および第２通信部２５２における外部機器との通信を制御する通信制御部２６４（撮像装置側通信制御部）と、を有する。制御部２６は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサを用いて構成される。これらは、必要に応じて、人体に電極を接触させて電流を流して通信したり、人体に電位を与えて通信する人体通信に置き換えてもよい。

撮影制御部２６１は、入力部２３のレリーズスイッチがレリーズ信号の入力を受け付けた場合、撮像部２１に静止画撮影を実行させる。撮影制御部２６１は、所定の静止画フォーマットにしたがって画像処理部２６２が処理を施した静止画データを記憶部２７に書き込んで記憶させる。また、撮影制御部２６１は、動画スイッチが開始指示信号の入力を受け付けた場合、所定の動画フォーマットにしたがって、動画スイッチが終了指示信号の入力を受け付けるまで、撮像部２１に動画撮影を実行させる。撮影制御部２６１は、動画撮影した画像データに対して集音部２２が生成した音声データを加えて動画ファイルを生成し、記憶部２７に書き込んで記憶させる。ここで、静止画フォーマットとしては、例えばＪＰＥＧ、Ｅｘｉｆ等を挙げることができる。また、動画フォーマットとしては、例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、ＡＶＣＨＤ等を挙げることができる。

画像処理部２６２は、Ａ／Ｄ変換処理、オプティカルブラック減算処理、ホワイトバランス調整処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。撮像部２１の撮像素子がベイヤー配列の場合、画像処理部２６２は画像データの同時化処理を行う。

通信制御部２６４は、通信部２５が情報処理装置３から表示装置４との連携を指示する連携指示信号を受信した場合、通信部２５を介して表示装置４との通信を確立する制御を行う。通信制御部２６４は、通信部２５が画像データの表示装置４への送信を指示する画像データ送信指示信号を受信した場合、通信部２５を介して画像データを表示装置４へ送信させる制御を行ってもよい。

状態判定部２６３は、状態検出部２４が出力した加速度センサからの検出信号に基づいて、撮像装置２の姿勢または動きを判定する。

記憶部２７は、例えば撮像部２１が撮像した画像データや集音部２２が集音した音声データに加え、撮像装置２が実行する制御プログラム等の各種プログラムを記憶する。記憶部２７は、ＲＡＭ（Random Access Memory）等の揮発性メモリおよびＲＯＭ（Read Only Memory）等の不揮発性メモリを用いて構成される。このうち、ＲＡＭは、画像処理部２６２から入力される処理済みの画像データおよび撮像装置２の処理中の情報を一時的に記憶する一時記憶部としての機能を有する。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部２７を構成してもよい。

情報処理装置３は、情報処理装置３の操作指示信号を含む各種信号の入力を受け付ける入力部３１と、画像や音声を出力する出力部３２と、撮像装置２および表示装置４との間で無線通信を行う通信部３３（情報処理装置側通信部）と、情報処理装置３の動作を制御する制御部３４と、情報処理装置３の動作を制御するための各種情報などを記憶する記憶部３５と、を有する。

入力部３１は、出力部３２の画面表示領域に重ねて設けられるタッチパネルや、情報処理装置３の本体表面に設けられる各種スイッチまたは各種ボタン等のユーザーインターフェースを用いて構成される。

出力部３２は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルと、音声を出力するスピーカとを有する。

通信部３３は、第１通信規格にしたがって無線通信を行う第１通信部３３１（情報処理装置側第１通信部）と、第２通信規格にしたがって無線通信を行う第２通信部３３２（情報処理装置側第２通信部）とを有する。なお、無線通信以外にも、人体に電極を接触させて電流を流して通信したり、人体に電位を与えて通信する人体通信を必要に応じて利用したり併用してもよい。人体通信を用いる場合は、通信部３３に人体通信を実現するための人体通信部を具備させる。第１通信部３３１は、例えば撮像装置２からの画像データを受信する。第２通信部３３２は、例えば連携指示信号を撮像装置２に送信する。

制御部３４は、撮像装置２および表示装置４からそれぞれ送られてくる状態情報を用いて撮像装置２および表示装置４の状態を判定する状態判定部３４１（情報処理装置側状態判定部）と、状態判定部３４１の判定結果に基づいて、撮像装置２と表示装置４を連携させる連携指示信号を、通信部３３を介して出力する制御を行う通信制御部３４２と、出力部３２の出力を制御する出力制御部３４３とを有する。上述した「連携」の具体的な内容については後述する。制御部３４は、ＣＰＵ等の汎用プロセッサを用いて構成される。

通信制御部３４２は、連携指示信号として、通信部３３に対し、撮像装置２および表示装置４の少なくともいずれか一方に、撮像装置２から表示装置４への画像データの送信を指示する画像データ送信指示信号を送信させる制御を行う。また、通信制御部３４２は、状態判定部によって撮像装置２および表示装置４の状態が連携可能な状態にあると判定された場合、通信部３３に対し、ユーザが知覚可能な情報の出力を指示する出力指示信号を表示装置４に送信させる指示を行ってもよい。

記憶部３５は、撮像装置２から送られてくる静止画または動画のデータに加え、情報処理装置３が実行するプログラムを記憶する。記憶部３５は、ＲＡＭ等の揮発性メモリおよびＲＯＭ等の不揮発性メモリを用いて構成される。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部３５を構成してもよい。

以上の機能構成を有する情報処理装置３は、スマートフォン、タブレットＰＣ、またはＰＤＡ等でもよい。この場合、情報処理装置３は撮像機能を有してもよい。

表示装置４は、表示装置４の操作指示信号を含む各種信号の入力を受け付ける入力部４１と、表示装置４の姿勢を検出する状態検出部４２（表示装置側状態検出部）と、画像や音声を出力する出力部４３（表示装置側出力部）と、撮像装置２および表示装置４との間で無線通信を行う通信部４４（表示装置側通信部）と、撮像装置２の動作を制御する制御部４５と、表示装置４の動作を制御するための各種情報などを記憶する記憶部４６と、を有する。

入力部４１は、出力部４３の画面表示領域に積層して設けられるタッチパネルや、表示装置４の本体表面に設けられる各種スイッチまたは各種ボタン等のユーザーインターフェースを用いて構成される。

状態検出部４２は、互いに直交する３軸方向の加速度を検出する加速度センサを用いて構成される。

出力部４３は、液晶または有機ＥＬ等からなる表示パネルと、音声を出力するスピーカとを有する。

通信部４４は、状態検出部４２が検出した表示装置の状態に関する情報を情報処理装置３に送信する。通信部４４は、第１通信規格にしたがって無線通信を行う第１通信部４４１（表示装置側第１通信部）と、第２通信規格にしたがって無線通信を行う第２通信部４４２（表示装置側第２通信部）とを有する。

制御部４５は、状態検出部４２が検出した姿勢から、表示装置４の状態に関する情報を判定する状態判定部４５１（表示装置側状態判定部）と、状態判定部４５１の判定結果に基づいて、撮像装置２との通信を確立する制御を、通信部４４を介して行う通信制御部４５２（表示装置側通信制御部）と、出力部４３の出力を制御する出力制御部４５３と、を有する。制御部４５は、ＣＰＵ等の汎用プロセッサを用いて構成される。

状態判定部４５１は、状態検出部４２が出力した加速度センサからの検出信号に基づいて、表示装置４の姿勢または動きを判定する。

通信制御部４５２は、情報処理装置３から、撮像装置２との連携を指示する連携指示信号を受信した場合、撮像装置２との通信を確立する制御を行う。通信制御部４５２は、通信部４４が撮像装置２との間の画像データの送受信を指示する信号を受信した場合、通信部４４に対し、画像データの送信を要求する画像データ送信要求信号を撮像装置２へ送信させる制御を行ってもよい。また、通信制御部４５２は、通信部４４が情報処理装置３から知覚可能な情報の出力を指示する出力指示信号を受信した場合、出力部４３に知覚可能な情報を出力させてもよい。

記憶部４６は、例えば表示装置４が実行する制御プログラム等の各種プログラムを記憶する。記憶部４６は、ＲＡＭ等の揮発性メモリおよびＲＯＭ等の不揮発性メモリを用いて構成される。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部４６を構成してもよい。

以上の機能構成を有する通信システムにおいて、情報処理装置３は、撮像装置２および表示装置４の状態に関する情報を各装置から受信して状態判定を行い、撮像装置２および表示装置４が特定の状態になっている場合、撮像装置２と表示装置４とを連携させる。

図３Ａおよび図３Ｂは、通信システム１の利用シーンの例を説明する図である。具体的には、図３Ａおよび図３Ｂは、通信システム１の利用シーンとして、ユーザが船に乗って川を下っている状況下で、水面の近くから見た川下の景色を撮影する状況を模式的に示す図である。

まずユーザ１００は、図３Ａに示すように、船２００の外で水面を確認しながら撮像装置２を水面の近くに配置する。この段階において、ユーザは撮像装置２を水面の近くまで持っていくことに集中しているため、撮像装置２が撮像した画像を見る必要はない。したがって、図４Ａに示すように、表示装置４の出力部４３には何も表示されない。

その後、撮像装置２による撮像の構図を決める際には、撮像装置２が撮像した画像を見る必要が生じる。そこで、図３Ｂに示すように、ユーザ１００は撮像装置２が撮像した画像（スルー画）を表示装置４で見ながら撮像装置２の位置を調整して構図を決める。この際には、図４Ｂに示すように、表示装置４の出力部４３には撮像装置２が撮像しているスルー画が表示される。

図３Ａと図３Ｂの違いは、撮像装置２および表示装置４の動きや姿勢である。図３Ａに示す状況下では、撮像装置２および表示装置４の位置や姿勢は定まっていない。これに対して、図３Ｂに示す状況下では、撮像装置２の位置がほぼ固定されており、ユーザ１００は表示装置４の出力部４３によって撮像装置２が撮像した画像を見ようとして表示パネルを略水平な状態にしている。情報処理装置３は、この状態の違いに基づいて撮像装置２と表示装置４との連携、すなわち撮像装置２から表示装置４への画像データの送信を制御する。換言すれば、情報処理装置３は、撮像装置２と表示装置４との連携通信の仲介を行う。

このような利用シーンにおいて、ユーザ１００は、撮像装置２が撮像した画像をハンズフリーでより簡単に確認しながら所望の撮影を行うことができる。また、例えば船２００が揺れたとしても、ユーザ１００は撮像装置２を持っていない方の手で船２００につかまることができるため、ユーザ１００の両手がふさがってしまうことがなく安全である。

次に、通信システム１が行う処理の概要を説明する。以下、情報処理装置３、撮像装置２および表示装置４の順に、各機器が行う処理の概要を説明する。

図５は、情報処理装置３が行う処理の概要を示すフローチャートである。まず、出力制御部３４３は、出力部３２にモード選択画面を表示させる（ステップＳ１０１）。図６は、出力部３２におけるモード選択画面の表示例を示す図である。図６に示すモード選択画面１０１は、外部カメラモードを選択するための外部カメラアイコン１１１、電話モードを選択するための電話アイコン１１２、メールモードを選択するためのメールアイコン１１３、および情報処理装置３を終了するための終了アイコン１１４が表示されている。なお、モード選択画面１０１では３つのモードが選択可能であるが、これは一例に過ぎない。ユーザがいずれかのアイコンを指でタッチすると、表示画面に重ねて設けられて入力部３１の一部をなすタッチパネルが、そのアイコンに対応した指示信号の入力を受け付ける。以下の説明においても、ユーザがアイコンをタッチした場合、タッチパネルがそのアイコンに対応する指示信号の入力を受け付ける点は同じである。そこで、以下において、タッチパネルのアイコンに対応する部分がタッチされ、タッチパネルがそのアイコンに対応する機能を実行する信号の入力を受け付けることを、単に「アイコンに対応する機能（モード、終了等）が選択された」ということもある。

外部カメラモードが選択された場合（ステップＳ１０２：Ｙｅｓ）、情報処理装置３は通信対象の撮像装置２との間で第１通信規格および第２通信規格にしたがった通信をそれぞれ確立する（ステップＳ１０３）。例えば、通信規格がＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、人体通信などの場合、情報処理装置３は所定の手順にしたがって撮像装置２との間で相互認証を行うことにより、通信を確立する。この際、情報処理装置３は、ユーザによる通信対象機器の選択や認証に関わる操作入力に基づいて通信を確立する。通信規格がＢｌｕｅｔｏｏｔｈ（登録商標）の場合、情報処理装置３は、初期設定時を除いて撮像装置２との間で自動的に通信を確立することも可能である。なお、ステップＳ１０３で通信が確立しない場合には、出力部３２がエラー表示を行うようにしてもよい。

撮像装置２との通信が確立した後、出力制御部３４３は、出力部３２に通信中画面を表示させる（ステップＳ１０４）。図７は、出力部３２における通信中画面の表示例を示す図である。同図に示す通信中画面１０２は、通信中であることを示す通信中アイコン１２１、通信を解除するための通信解除アイコン１２２、撮影モードへ移行するための撮影モードアイコン１２３、および再生モードへ移行するための再生モードアイコン１２４を表示する。なお、通信中画面１０２が通信相手の端末情報をさらに表示してもよいし、通信中アイコン１２１が選択された場合に通信相手の端末情報を表示するようにしてもよい。

撮影モードが選択された場合（ステップＳ１０５：Ｙｅｓ）、出力制御部３４３は出力部３２に撮影モード画面を表示させる（ステップＳ１０６）。図８は、出力部３２における撮影モード画面の表示例を示す図である。同図に示す撮影モード画面１０３は、第１通信部２５１が撮像装置２から受信したスルー画１３１、動画撮影を行うための動画撮影アイコン１３２、静止画撮影を行うための静止画撮影アイコン１３３、撮像装置２と表示装置４とを連携させるための連携アイコン１３４、および通信中画面１０２へ戻るための戻るアイコン１３５を表示する。

撮影モード画面１０３で連携機能が選択された場合（ステップＳ１０７：Ｙｅｓ）、第２通信部３３２は撮像装置２に対し、表示装置４との連携を指示する連携指示信号を送信する（ステップＳ１０８）。この連携指示信号には、表示装置４のアクセス情報が含まれる。

第２通信部３３２が連携指示信号を送信してから所定時間内に撮像装置２から連携通信の開始信号を受信した場合（ステップＳ１０９：Ｙｅｓ）、情報処理装置３は表示装置４との間で第１通信規格および第２通信規格にしたがった通信をそれぞれ確立する（ステップＳ１１０）。この通信確立の際、あらかじめ通信相手の装置が決まっている場合、情報処理装置３は、所定の通信規格のアプリを立ち上げるなどのプロセスを経て、相手装置を探すプログラム制御を実行してもよい。一方、通信相手の装置が決まっていない場合、情報処理装置３は、通信の信号強度、装置間の位置関係および姿勢関係、ならびに各装置の固定の具合などを判定して、通信候補となる特定の装置を選択してもよい。

続いて、出力制御部３４３は出力部３２に連携中画面を表示させる（ステップＳ１１１）。図９は、出力部３２における連携中画面の表示例を示す図である。同図に示す連携中画面１０４は、連携中であることを表示する連携中アイコン１４１、連携条件を表示する連携条件表示部１４２、連携条件を設定するための条件設定アイコン１４３および連携を解除するための連携解除アイコン１４４を表示する。連携中画面１０４ではスルー画は表示されない。図９に示す場合、連携条件は、送信画像の種類が「スルー画」、撮像装置２が「固定」、かつ表示装置４が「水平」である。すなわち、図９に示す場合、撮像装置２に動きがなく、即ち、撮像装置２が固定され、表示装置４の出力部４３の表示パネルの姿勢が水平な状態になっている場合、撮像装置２は表示装置４に対してスルー画を送信する。なお、連携中アイコン１４１において、文字以外の絵や模様等によって連携中であることを示す情報を表示してもよい。また、連携中画面１０４が連携している２つの端末情報をさらに表示してもよいし、連携中アイコン１４１が選択された場合に連携している２つの端末情報を表示するようにしてもよい。また、所定時間が経過した後に出力部４３が連携中画面１０４の表示を終了するようにしてもよい。このように、ユーザが条件を指定したり設定することができるようにしておけば、複数の装置の状態がその条件を満たした時にのみ、情報処理装置３が自動的に様々な制御を行うようにすることができる。その結果、ユーザが所望する条件を満たすようなタイミングを逃すことなく、省エネ性にも優れた通信システム１を容易に構成することができる。さらに、ユーザによる操作性に優れるとともに、高品質の情報を取得することができる通信システム１をユーザに提供することができる。

なお、図９のような個別の設定を行う構成とする代わりに、多くのユーザが撮影時に無意識に行う共通の仕草や姿勢を想定した上で、装置間の姿勢関係や各装置の固定の具合を判定して各装置を制御するための条件をあらかじめ設定してもよい。この場合、情報処理装置は、各装置の姿勢や加速度に基づいた制御してもよいし、それらを用いずに装置間の通信時の信号強度や通信状態、各装置の位置関係などに基づいて制御を行ってもよい。また、情報処理装置は、各装置の姿勢、加速度、装置間の通信時の信号強度や通信状態、各装置の位置関係のいずれかまたは適当な組み合わせに基づいて制御を行ってもよい。

連携中画面１０４で連携条件設定機能が選択された場合（ステップＳ１１２：Ｙｅｓ）、出力制御部３４３は出力部３２に連携条件設定画面を表示させる（ステップＳ１１３）。図１０は、出力部３２における連携条件設定画面の表示例を示す図である。同図に示す連携条件設定画面１０５は、撮像装置２が連携先に送信する画像の種類を表示する画像種類表示部１５１、撮像側（撮像装置２）の状態を表示する撮像側状態表示部１５２および表示側（表示装置４）の状態を表示する表示側状態表示部１５３、連携条件を変更するための変更アイコン１５４および連携中画面１０４に戻るための戻るアイコン１５５を表示する。画像種類表示部１５１、撮像側状態表示部１５２および表示側状態表示部１５３はプルダウンメニューになっている。図１０において設定されている連携条件は、図９に示す連携条件と同じである。ユーザは、各表示部で複数の候補から所望の種類または状態を選択入力することによって連携条件を設定する。例えば、画像の種類として、「スルー画」の他に「再生画像」、「撮影画像」などを選択可能である。また、撮像側状態として、撮像装置の動きがない「固定」の他に、撮像装置の姿勢が「水平」、画像から被写体の顔を認識して検出する「顔検出」、撮影モードの設定が「マクロ」、「風景」などの１つまたは複数を選択可能である。また、表示側状態として、「水平」の他に表示装置の動きが「往復動」などを選択可能である。

連携条件設定画面１０５で設定変更機能が選択された場合（ステップＳ１１４：Ｙｅｓ）、制御部３４は連携条件の設定を変更する（ステップＳ１１５）。この後、情報処理装置３はステップＳ１１１に戻る。

外部カメラモードが選択されない場合（ステップＳ１０２：Ｎｏ）において、他のモード（電話モードまたはメールモード）が選択されたとき（ステップＳ１１６：Ｙｅｓ）、情報処理装置３は選択されたモードへ移行する。他のモードの動作は公知の技術であるため、説明を省略する。一方、ステップＳ１１６で他のモードが選択されないとき（ステップＳ１１６：Ｎｏ）、終了が選択されれば（ステップＳ１１７：Ｙｅｓ）、情報処理装置３は処理を終了する。ここで情報処理装置３が電源をオフするようにしてもよい。ステップＳ１１７で終了が選択されなければ（ステップＳ１１７：Ｎｏ）、情報処理装置３はステップＳ１０１に戻る。

ステップＳ１０５において撮影モードが選択されない場合（ステップＳ１０５：Ｎｏ）において、通信解除機能が選択されたとき（ステップＳ１１８：Ｙｅｓ）、制御部３４は撮像装置２との通信を解除する（ステップＳ１１９）。その後、情報処理装置３はステップＳ１０１へ戻る。ステップＳ１１８において、通信解除機能が選択されない場合（ステップＳ１１８：Ｎｏ）、再生モードが選択される。この場合、情報処理装置３は再生モードへ移行する。再生モードは公知の技術であるため、説明を省略する。

撮影モード画面１０３で連携機能が選択されない場合（ステップＳ１０７：Ｎｏ）において、動画または静止画撮影機能が選択されたとき（ステップＳ１２０：Ｙｅｓ）、通信制御部３４２は第２通信部３３２に対して撮像装置２へ撮影指示信号を送信させる（ステップＳ１２１）。続いて、第１通信部３３１が撮像装置２から撮影画像のデータを受信し、出力制御部３４３が出力部３２に撮影画像を表示させる（ステップＳ１２２）。この後、情報処理装置３はステップＳ１０６に戻る。

ステップＳ１０９で第２通信部３３２が所定時間経過しても開始信号を受信しない場合（ステップＳ１０９：Ｎｏ）、出力制御部３４３は出力部３２に警告を表示させる（ステップＳ１２３）。この後、情報処理装置３はステップＳ１０６に戻る。

ステップＳ１１２で条件設定機能が選択されない場合（ステップＳ１１２：Ｎｏ）において、連携解除機能が選択されたとき（ステップＳ１２４：Ｙｅｓ）、第２通信部３３２は撮像装置２に連携解除を指示する解除指示信号を送信する（ステップＳ１２５）。この後、情報処理装置３はステップＳ１０６へ戻る。

ステップＳ１２４で連携解除機能が選択されないとき（ステップＳ１２４：Ｎｏ）、状態判定部３４１は、第２通信部３３２が撮像装置２および表示装置４からそれぞれ取得した状態信号を用いて撮像装置２および表示装置４の状態を判定する（ステップＳ１２６）。判定の結果、撮像装置２および表示装置４が連携条件を満足している場合（ステップＳ１２７：Ｙｅｓ）、第２通信部３３２は通信制御部３４２（情報処理装置側通信制御部）の制御のもと連携条件で設定された種類（図９ではスルー画）の画像データの送信を指示する画像データ送信指示信号を撮像装置２へ送信する（ステップＳ１２８）。この後、情報処理装置３はステップＳ１１１へ戻る。

ステップＳ１２７において、撮像装置２および表示装置３が連携条件を満足していない場合（ステップＳ１２７：Ｎｏ）、情報処理装置３はステップＳ１１１へ戻る。

ステップＳ１１４において連携条件設定画面１０５で設定変更機能が選択されない場合（ステップＳ１１４：Ｎｏ）において、戻る機能が選択されたとき（ステップＳ１２９：Ｙｅｓ）、情報処理装置３はステップＳ１１１へ戻る。ステップＳ１２９において戻る機能が選択されないとき（ステップＳ１２９：Ｎｏ）、情報処理装置３はステップＳ１１４に戻る。

ステップＳ１２０において、動画または静止画撮影機能が選択されないとき（ステップＳ１２０：Ｎｏ）、戻る機能が選択されれば（ステップＳ１３０：Ｙｅｓ）、情報処理装置３はステップＳ１０４に戻る。一方、ステップＳ１３０において戻る機能が選択されなければ（ステップＳ１３０：Ｎｏ）、情報処理装置３はステップＳ１０６に戻る。

図１１は、撮像装置２が行う処理の概要を示すフローチャートである。以下の説明では、便宜上、連携通信が図９に示す条件で設定されている場合を説明する。

撮像装置２がスルー画の送信先との通信が確立している場合（ステップＳ２０１：Ｙｅｓ）において、スルー画の送信先が情報処理装置３であるとき（ステップＳ２０２：Ｙｅｓ）、通信制御部２６４は第１通信部２５１にスルー画のデータを情報処理装置３へ送信させる（ステップＳ２０３）。

撮像装置２がスルー画の送信先との通信が確立している場合（ステップＳ２０１：Ｙｅｓ）において、スルー画の送信先が情報処理装置３でないとき（ステップＳ２０２：Ｎｏ）、その送信先は連携通信を行う装置、例えば表示装置４である。このとき、第２通信部２５２が情報処理装置３からスルー画の送信を指示する送信指示信号を受信すると（ステップＳ２０４：Ｙｅｓ）、通信制御部２６４は第１通信部２５１に対し、スルー画のデータを表示装置４に送信させる制御を行う（ステップＳ２０３）。第２通信部２５２が情報処理装置３から送信指示信号を受信しない場合（ステップＳ２０４：Ｎｏ）、撮像装置２はステップＳ２０１に戻る。

ステップＳ２０３の後、状態判定部２６３は、状態検出部２４の検出結果をもとに撮像装置２の状態を判定する（ステップＳ２０５）。状態判定部２６３が特定の状態にあると判定した場合（ステップＳ２０６：Ｙｅｓ）、通信制御部２６４は第２通信部２５２に対し、特定の状態に対応する状態信号を情報処理装置３へ送信させる（ステップＳ２０７）。状態判定部２７３が特定の状態にないと判定した場合（ステップＳ２０６：Ｎｏ）、撮像装置２は後述するステップＳ２０８へ移行する。ここでの特定の状態は、図９に示す場合、位置が固定された状態である。なお、撮像装置２が、特定の状態以外の場合でも状態検出部２４の検出結果に対応する状態信号を定期的に情報処理装置３へ送信してもよい。この場合には、撮像装置２の状態が特定の状態であるか否かの判定を、情報処理装置３が行う。

ステップＳ２０７の後、入力部２３がレリーズ信号の入力を受け付けたとき（ステップＳ２０８：Ｙｅｓ）、通信制御部２６４は第１通信部２５１に対し、撮像部２１が撮影した画像データをスルー画の送信先へ送信させる制御を行う（ステップＳ２０９）。制御部２６は、撮影した画像データを記憶部２７に書き込んで記憶させる（ステップＳ２１０）。なお、情報処理装置３は、ステップＳ２０９とステップＳ２１０を並行して実行してもよいし、ステップＳ２０９とステップＳ２１０を逆の順序で実行してもよい。入力部２３がレリーズ信号の入力を受け付けないとき（ステップＳ２０８：Ｎｏ）、撮像装置２はステップＳ２０１へ戻る。

ステップＳ２１０の後、撮像装置２が終了指示信号の入力を受け付けた場合（ステップＳ２１１：Ｙｅｓ）、撮像装置２は一連の処理を終了する。一方、撮像装置２が終了指示信号の入力を受け付けない場合（ステップＳ２１１：Ｎｏ）、撮像装置２はステップＳ２０１へ戻る。

ステップＳ２０１において、撮像装置２がスルー画の送信先との通信が確立していない場合（ステップＳ２０１：Ｎｏ）を説明する。この場合において、情報処理装置３から通信要求信号を受信したとき（ステップＳ２１２：Ｙｅｓ）、撮像装置２は情報処理装置３との通信を確立し（ステップＳ２１３）、スルー画の送信先を情報処理装置３としてステップＳ２０３へ移行する。

ステップＳ２１２において情報処理装置３から通信要求信号を受信せず（ステップＳ２１２：Ｎｏ）、かつ情報処理装置３から連携指示信号を受信した場合（ステップＳ２１４：Ｙｅｓ）、通信制御部２６４は第１通信部２５１に、連携指示信号に含まれる連携通信先（例えば表示装置４）に対して通信要求を送信させる（ステップＳ２１５）。

その後、所定時間内に表示装置４との通信が確立した場合（ステップＳ２１６：Ｙｅｓ）、通信制御部２６４は第２通信部２５２に対し、情報処理装置３へ開始信号を送信させる制御を行う（ステップＳ２１７）。一方、所定時間経過しても表示装置４との通信が確立しない場合（ステップＳ２１６：Ｎｏ）、通信制御部２６４は第２通信部２５２に対し、情報処理装置３へエラー信号を送信させる制御を行う（ステップＳ２１８）。ステップＳ２１７またはＳ２１８の後、撮像装置２はステップＳ２０１へ戻る。

ステップＳ２１２において情報処理装置３から通信要求信号を受信しない場合（ステップＳ２１２：Ｎｏ）において、情報処理装置３から連携指示信号を受信しないとき（ステップＳ２１４：Ｎｏ）、撮像装置２はステップＳ２１１へ移行する。

図１２は、表示装置４の処理の概要を示すフローチャートである。以下の説明においても、便宜上、連携通信が図９に示す条件で設定されている場合を説明する。表示装置４が連携通信状態にない場合（ステップＳ３０１：Ｎｏ）、表示装置４は単独機能で動作する（ステップＳ３０２）。この場合、表示装置４は、例えば時計として機能する。その後、表示装置４はステップＳ３０１へ戻る。

表示装置４が連携通信状態にある場合（ステップＳ３０１：Ｙｅｓ）において、情報処理装置３から連携解除信号を受信したとき（ステップＳ３０３：Ｙｅｓ）、表示装置４はステップＳ３０２へ移行する。

ステップＳ３０３において情報処理装置３から連携解除信号を受信せず（ステップＳ３０３：Ｎｏ）、かつ第１通信部４４１が撮像装置２から画像データを受信した場合（ステップＳ３０４：Ｙｅｓ）、出力制御部４５３は出力部４３に受信した画像データに対応する画像を表示させる（ステップＳ３０５）。ステップＳ３０４において、第１通信部４４１が撮像装置２から画像データを受信しない場合（ステップＳ３０４：Ｎｏ）、表示装置４は後述するステップＳ３０６へ移行する。

ステップＳ３０５の後、状態判定部４５１（表示装置側状態判定部）は、状態検出部４２の検出結果をもとに表示装置４の状態を判定する（ステップＳ３０６）。状態判定部４５１が特定の状態にあると判定した場合（ステップＳ３０７：Ｙｅｓ）、通信制御部４５２は第２通信部４４２に対し、特定の状態に対応する状態信号を情報処理装置３へ送信させる（ステップＳ３０８）。状態判定部４５１が特定の状態にないと判定した場合（ステップＳ３０７：Ｎｏ）、表示装置４は後述するステップＳ３０９へ移行する。ここでの特定の状態は、図９に示す場合、表示装置４の表示パネルの姿勢が水平になっている状態である。なお、表示装置４が、特定の状態以外の場合でも状態検出部４２の検出結果に対応する状態信号を定期的に情報処理装置３へ送信してもよい。この場合には、表示装置４の状態が特定の状態であるか否かの判定を、情報処理装置３が行う。

ステップＳ３０８の後、出力部４３が画像を表示中である場合（ステップＳ３０９：Ｙｅｓ）において、画像の表示終了条件を満たしたとき（ステップＳ３１０：Ｙｅｓ）、出力制御部４５３は出力部４３に表示を終了させる（ステップＳ３１１）。ここでの表示終了条件は、表示装置４の動きや表示時間等の条件に応じて適宜設定される。例えば、表示装置４の加速度が所定の閾値より大きい場合、または表示時間が所定時間を超えた場合に表示を終了するように設定することができる。ステップＳ３１１の後、表示装置４はステップＳ３０１へ戻る。

ステップＳ３０９において出力部４３が画像を表示中でない場合（ステップＳ３０９：Ｎｏ）、ステップＳ３１０において画像の表示終了条件を満たさない場合（ステップＳ３１０：Ｎｏ）、表示装置４はステップＳ３０１に戻る。

以上説明した本発明の一実施の形態によれば、情報処理装置が、状態判定部の判定結果に基づいて、撮像装置と表示装置を連携させる制御を行うため、ユーザが所望する動作を、操作困難な状況を含む様々な状況下で的確に実行することができる。

また、本実施の形態によれば、情報処理装置との通信が必要な表示装置の場合、情報処理装置が撮像装置との直接の連携を行う仲介役となり、スムーズな連携を実現することができる。

本実施の形態の変形例１において、情報処理装置３は、撮像装置２および表示装置４が特定状態にあると判定した場合、表示装置４に対して、ユーザが知覚可能な振動、音または光等のいずれかを含む知覚情報の出力を指示する出力指示信号を送信する。本変形例において、第２通信部４４２が情報処理装置３から知覚情報の出力指示信号を受信した場合、出力制御部４５３は出力部４３に知覚情報を出力させる。これにより、ユーザは、撮像装置２が所望の特定状態にあることを容易に知覚することができる。

本実施の形態の変形例２において、情報処理装置３が撮像装置２に対する表示装置４への画像データの送信を指示する連携指示信号としての画像データ送信指示信号を表示装置４へ送信する。この場合、情報処理装置３は、まず表示装置４との間で第１および第２通信規格にしたがった通信をそれぞれ確立した後、第２通信部３３２が表示装置４に対して撮像装置２のアクセス情報を含む連携指示信号を送信する。連携指示信号を受信した表示装置４は、撮像装置２との間で第１および第２通信規格にしたがった通信をそれぞれ確立する。

その後、情報処理装置３が撮像装置２と表示装置４の特定状態を判定した場合、表示装置４に対して撮像装置２との間で画像データの送受信を指示する信号を送信する。この信号を受信した表示装置４では、通信制御部４５２が、撮像装置２に対して画像データの送信を要求する送信要求信号を送信する。送信要求信号を受信した撮像装置２は、表示装置４に画像データを送信する。

なお、本実施の形態に係る撮像装置は、観察用装置、検査用装置、または診断用装置として機能させることもできる。例えば、本実施の形態に係る撮像装置は、医療用および工業用の内視鏡ならびに顕微鏡のように、撮像機能を備えた装置全般に適用することが可能である。この場合には、内視鏡用のプロセッサを情報処理装置とし、内視鏡、プロセッサおよび表示装置を備えた通信システムを構成すればよい。

また、ここまでは主として無線通信を行う場合を説明してきたが、本実施の形態は有線通信を用いても実現することが可能である。また、各装置が独立して姿勢や向きや安定性を変えられるものであれば、本実施の形態を適用することが可能である。また、情報処理装置が通信候補の各装置間の姿勢関係や各装置の固定の具合を判定することにより、特定の装置を選択するようにしてもよい。

また、情報処理装置が通信の信号強度や位置関係などを考慮して反映した制御を行ってもよい。この場合、ユーザが各装置を把持状態であるかどうかを判定する人体通信部またはタッチセンサと、装置同士の高度の関係などを検出する気圧センサとを具備させ、これらのいずれかを利用して、装置同士の位置関係に基づく各装置の通信や動作制御、連携制御を行うようにしてもよい。

なお、通信部が受信する撮像装置および表示装置の状態としては、各装置の姿勢、各装置の姿勢の時間変化（率）、装置間の位置関係、装置間の位置関係の時間変化（率）、各装置の通信状態またはその時間変化などを想定している。

また、通信システム全体を制御する機能は、その通信システムを構成する装置のいずれかに内蔵されていればよい。

なお、情報処理装置がスマートフォンなど携帯情報端末などである場合には、情報処理装置がネットワークを介してアプリソフトをダウンロードすることにより、本実施の形態に係る通信システムの動作を制御する機能を取得できるようにしてもよい。

また、撮像装置以外の情報取得装置を用いて本実施の形態に係る通信システムを構成することも可能である。このような情報取得装置として、ＩＣレコーダ、体温計、体重計などを挙げることができる。この場合、図９に示す連携条件に代えて、ウエアラブルな撮像装置、或いは表示装置の状態検出部で光センサによる血流の変化、色センサによる肌の状態、圧力センサによる脈拍、温度センサによる体温、湿度センサによる保湿状態、などにより生体情報を検出し、何れかの状態に基づいて連携条件を設定することも可能である。

また、本実施の形態において、第１通信部を画像データの送受信に特化することなく、各種指示信号の少なくとも一部の通信を担わせるようにしてもよい。

本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、上述した実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

また、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記憶部が記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記憶部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１・・・通信システム；２・・・撮像装置；３・・・情報処理装置；４・・・表示装置；２１・・・撮像部；２４・・・状態検出部；２５、３３、４４・・・通信部；２６、３４、４５・・・制御部；２７、３５、４６・・・記憶部；３２、４３・・・出力部；１０１・・・モード選択画面；１０２・・・通信中画面；１０３・・・撮影モード画面；１０４・・・連携中画面；１０５・・・連携条件設定画面；２６１・・・撮影制御部；２６２・・・画像処理部；２６３、３４１、４５１・・・状態判定部；２６４、３４２、４５２・・・通信制御部；３４３、４５３・・・出力制御部

Claims (17)

1. 外部の撮像装置および表示装置の各々と通信する情報処理装置であって、
   前記撮像装置から、前記撮像装置の動き状態または姿勢状態に関する情報を受信し、前記表示装置から、前記表示装置の姿勢状態に関する情報を受信する情報処理装置側通信部と、
   前記情報処理装置側通信部が受信した前記撮像装置の状態に関する情報および前記表示装置の状態に関する情報を用いて、前記撮像装置および前記表示装置が連携可能な状態にあるかどうかを判定する情報処理装置側状態判定部と、
   前記情報処理装置側状態判定部の判定結果に基づいて、前記情報処理装置側通信部を介して前記撮像装置と前記表示装置の間を通信で連携させる連携指示信号を出力する情報処理装置側通信制御部と、
   を備えたことを特徴とする情報処理装置。
2. 前記情報処理装置側通信制御部は、
   前記連携指示信号として、前記情報処理装置側通信部に対し、前記撮像装置および前記表示装置の少なくともいずれか一方に、前記撮像装置から前記表示装置への画像データの送信を指示する画像データ送信指示信号を送信させる制御を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記情報処理装置側通信制御部は、
   前記情報処理装置側状態判定部によって前記撮像装置および前記表示装置の状態が連携可能な状態にあると判定された場合、前記情報処理装置側通信部に対し、ユーザが知覚可能な情報の出力を指示する出力指示信号を前記表示装置に送信させる指示を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記情報処理装置側通信部は、
   前記撮像装置から画像データを受信する情報処理装置側第１通信部と、
   前記情報処理装置側第１通信部と異なる通信規格にしたがって通信を行い、前記連携指示信号を送信する情報処理装置側第２通信部と、
   を有することを特徴とする請求項１に記載の情報処理装置。
5. 外部の情報処理装置および表示装置の各々と通信する撮像装置であって、
   当該撮像装置の動きまたは姿勢を検出する撮像装置側状態検出部と、
   前記撮像装置側状態検出部で検出された動きまたは姿勢から、撮像装置の状態に関する情報を判定する撮像装置側状態判定部と、
   前記撮像装置側状態検出部が検出した撮像装置の状態に関する情報を前記情報処理装置へ送信する撮像装置側通信部と、
   前記情報処理装置から、前記表示装置との連携を指示する連携指示信号を受信した場合、前記撮像装置側通信部を介して前記表示装置との通信を確立する制御を行う撮像装置側通信制御部と、
   を備えたことを特徴とする撮像装置。
6. 前記撮像装置側通信制御部は、
   前記撮像装置側通信部が画像データの前記表示装置への送信を指示する画像データ送信指示信号を受信した場合、前記撮像装置側通信部を介して前記画像データを前記表示装置へ送信させる制御を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記撮像装置側通信部は、
   前記情報処理装置または前記表示装置へ画像データを送信する撮像装置側第１通信部と、
   前記撮像装置側第１通信部と異なる通信規格にしたがって通信を行い、前記連携指示信号を受信する撮像装置側第２通信部と、
   を有することを特徴とする請求項５に記載の撮像装置。
8. 外部の撮像装置および情報処理装置の各々と通信する表示装置であって、
   当該表示装置の姿勢を検出する表示装置側状態検出部と、
   前記表示装置側状態検出部で検出された姿勢から、表示装置の状態に関する情報を判定する表示装置側状態判定部と、
   前記表示装置側状態検出部が検出した表示装置の状態に関する情報を前記情報処理装置に送信する表示装置側通信部と、
   前記表示装置側通信部が前記情報処理装置から、前記撮像装置との連携を指示する連携指示信号を受信した場合、前記撮像装置との通信を確立する制御を行う表示装置側通信制御部と、
   を備えたことを特徴とする表示装置。
9. 前記表示装置側通信制御部は、
   前記表示装置側通信部が前記撮像装置との間の画像データの送受信を指示する信号を受信した場合、前記表示装置側通信部に対し、前記画像データの送信を要求する画像データ送信要求信号を前記撮像装置へ送信させる制御を行うことを特徴とする請求項８に記載の表示装置。
10. ユーザが知覚可能な情報を出力する表示装置側出力部をさらに備え、
    前記表示装置側通信制御部は、
    前記表示装置側通信部が前記情報処理装置から前記知覚可能な情報の出力を指示する出力指示信号を受信した場合、前記表示装置側出力部に前記知覚可能な情報を出力させることを特徴とする請求項８に記載の表示装置。
11. 前記表示装置側通信部は、
    前記撮像装置によって送信される画像データを受信する第１通信部と、
    前記第１通信部と異なる通信規格にしたがって通信を行い、前記連携指示信号を受信する第２通信部と、
    を有することを特徴とする請求項８に記載の表示装置。
12. 撮像装置から、前記撮像装置の動き状態または姿勢状態に関する情報を受信し、表示装置から、前記表示装置の姿勢状態に関する情報を受信する受信ステップと、
    前記撮像装置の状態に関する情報および前記表示装置の状態に関する情報を用いて、前記撮像装置および前記表示装置が連携可能な状態にあるかどうかを判定する判定ステップと、
    前記判定の結果に基づいて、前記撮像装置と前記表示装置の間を通信で連携させる連携指示を出力する出力ステップと、
    を有することを特徴とする情報処理方法。
13. 外部の情報処理装置および表示装置の各々と通信する撮像装置の制御方法であって、
    当該撮像装置の動きまたは姿勢を検出する検出ステップと、
    前記動きまたは姿勢から、撮像装置の状態に関する情報を判定する判定ステップと、
    撮像装置の状態に関する情報を前記情報処理装置へ送信する送信ステップと、
    前記情報処理装置から、前記表示装置との連携を指示する連携指示信号を受信した場合、前記表示装置との通信を確立する通信確立ステップと、
    を有することを特徴とする撮像装置の制御方法。
14. 外部の撮像装置および情報処理装置の各々と通信する表示装置の制御方法であって、
    当該表示装置の姿勢を検出する検出ステップと、
    前記姿勢から、表示装置の状態に関する情報を判定する判定ステップと、
    表示装置の状態に関する情報を前記情報処理装置に送信する送信ステップと、
    前記情報処理装置から、前記撮像装置との連携を指示する連携指示信号を受信した場合、前記撮像装置との通信を確立する通信確立ステップと、
    を有することを特徴とする表示装置の制御方法。
15. 撮像装置から、前記撮像装置の動き状態または姿勢状態に関する情報を受信し、表示装置から、前記表示装置の姿勢状態に関する情報を受信する受信ステップと、
    前記撮像装置の状態に関する情報および前記表示装置の状態に関する情報を用いて、前記撮像装置および前記表示装置が連携可能な状態にあるかどうかを判定する判定ステップと、
    前記判定の結果に基づいて、前記撮像装置と前記表示装置の間を通信で連携させる連携指示を出力する出力ステップと、
    を情報処理装置に実行させることを特徴とする情報処理プログラム。
16. 外部の情報処理装置および表示装置の各々と通信する撮像装置の制御プログラムであって、
    当該撮像装置の動きまたは姿勢を検出する検出ステップと、
    前記動きまたは姿勢から、撮像装置の状態に関する情報を判定する判定ステップと、
    撮像装置の状態に関する情報を前記情報処理装置へ送信する送信ステップと、
    前記情報処理装置から、前記表示装置との連携を指示する連携指示信号を受信した場合、前記表示装置との通信を確立する通信確立ステップと、
    を前記撮像装置に実行させることを特徴とする撮像装置の制御プログラム。
17. 外部の撮像装置および情報処理装置の各々と通信する表示装置の制御プログラムであって、
    当該表示装置の姿勢を検出する検出ステップと、
    前記姿勢から、表示装置の状態に関する情報を判定する判定ステップと、
    表示装置の状態に関する情報を前記情報処理装置に送信する送信ステップと、
    前記情報処理装置から、前記撮像装置との連携を指示する連携指示信号を受信した場合、前記撮像装置との通信を確立する通信確立ステップと、
    を前記表示装置に実行させることを特徴とする表示装置の制御プログラム。

Images