JP2020043554A - 撮像装置、通信システム及び通信方法 - Google Patents

Abstract

【課題】簡易な構成で通信の失敗に対応できる撮像装置、通信システム及び通信方法を提供すること。【解決手段】撮像装置は、キャプチャ回路１０４と、キャプチャ回路１０４で取得された第１の画像を連続して外部表示装置に送信する通信回路１１４と、通信回路１１４による１フレーム以上の第１の画像の送信が失敗したか否かを判定し、第１の画像の送信が失敗したと判定したときに未送信の第１の画像を加工し、通信の回復後に、加工により得られた第２の画像を送信するように通信回路１１４を制御するように構成された制御回路１０２とを備える。【選択図】図１

Description

本発明は、撮像装置、通信システム及び通信方法に関する。

通信中に障害が発生することにより、通信が失敗することがある。通信が失敗した場合の対策として、例えば送信できなかったデータの再送を要求する技術が知られている。また、特許文献１では、ｅラーニングのシンクロナス型での学習中にネットワーク障害によって通信が中断されたときには、オンデマンド型の学習に切り替えることが提案されている。

特開２００７−３３４７９７号公報

通信の失敗時にデータの再送を要求するシステムでは遅延が発生しやすい。その一方で再送が要求されないと、必要なデータは送信されないことになる。また、特許文献１において開示されているような通信の中断時に別の通信方式に切り替えるシステムでは、構成が複雑化しやすい。

本発明は、前記の事情に鑑みてなされたものであり、簡易な構成で通信の失敗に対応できる撮像装置、通信システム及び通信方法を提供することを目的とする。

本発明の第１の態様の撮像装置は、撮像により複数の第１の画像を取得するキャプチャ回路と、前記第１の画像を連続して外部表示装置に送信する送信回路と、前記送信回路による１フレーム以上の前記第１の画像の送信が失敗したか否かを判定し、前記第１の画像の送信が失敗したと判定したときに未送信の前記第１の画像を加工し、通信の回復後に、前記加工により得られた第２の画像を送信するように前記送信回路を制御するように構成された制御回路とを具備する。

本発明の第２の態様の通信システムは、撮像により複数の画像を取得するキャプチャ回路と、前記撮像によって得られた第１の画像を連続して外部表示装置に送信する送信回路と、前記送信回路による１フレーム以上の前記第１の画像の送信が失敗したか否かを判定し、前記第１の画像の送信が失敗したと判定したときに未送信の前記第１の画像を加工し、通信の回復後に前記加工によって得られた第２の画像を送信するように前記送信回路を制御するように構成された制御回路とを具備する撮像装置と、前記撮像装置から送信された前記第１の画像又は前記第２の画像を受信する受信回路と、受信された前記第１の画像又は前記第２の画像を表示する表示素子とを具備する前記外部表示装置とを有する。

本発明の第３の態様の通信方法は、撮像装置において複数の第１の画像を取得することと、前記撮像装置から連続して前記第１の画像を外部表示装置に送信することと、前記撮像装置による１フレーム以上の前記第１の画像の送信が失敗したか否かを判定することと、前記第１の画像の送信が失敗したと判定したときに未送信の前記第１の画像を加工することと、通信の回復後に、前記加工によって得られた第２の画像を送信することを具備する。

本発明によれば、簡易な構成で通信の失敗に対応することができる撮像装置、通信システム及び通信方法を提供することができる。

図１は、各実施形態に係る通信システムの一例の構成を示す図である。 図２Ａは、第１の実施形態における通信システムの適用例を示す図である。 図２Ｂは、第１の実施形態における通信システムの動作を示す図である。 図３は、第１の実施形態における撮像装置の動作の一例を示すフローチャートである。 図４は、対策処理について示すフローチャートである。 図５は、第１の実施形態における端末の動作の一例を示すフローチャートである。 図６は、第１の実施形態における通信システムの第１の変形例を示す図である。 図７は、第１の実施形態における通信システムの第２の変形例を示す図である。 図８は、第１の実施形態における通信システムの第３の変形例を示す図である。 図９は、第１の実施形態における通信システムの第４の変形例を示す図である。 図１０は、第１の実施形態における通信システムの第５の変形例を示す図である。 図１１Ａは、第１の実施形態における通信システムの第６の変形例を示す図である。 図１１Ｂは、第１の実施形態における通信システムの第７の変形例を示す図である。 図１２は、第２の実施形態における通信システムの適用例を示す図である。 図１３Ａは、眼鏡型の端末の概略の構成を示す図である。 図１３Ｂは、眼鏡型の端末の装着時の状態を示す図である。 図１４Ａは、第２の実施形態における眼鏡型の端末の動作の一例を示すフローチャートである。 図１４Ｂは、第２の実施形態における眼鏡型の端末の動作の一例を示すフローチャートである。 図１５Ａは、第２の実施形態における端末の動作の一例を示すフローチャートである。 図１５Ｂは、第２の実施形態における端末の動作の一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
第１の実施形態について説明する。図１は、各実施形態に係る通信システムの一例の構成を示す図である。通信システム１は、例えば、撮像装置１００と、端末２００とを有している。撮像装置１００と端末２００とは、例えば無線で通信をする。無線通信の方式は、例えばＷｉ−Ｆｉ（登録商標）である。無線通信の方式は、Ｗｉ−Ｆｉに限らず、Ｂｌｕｅｔｏｏｔｈ（登録商標）等であってもよい。

通信装置の一例としての撮像装置１００は、撮像によって画像を取得する。撮像装置１００は、例えばデジタルカメラ（デジタルスチルカメラ又はデジタルムービーカメラ）である。撮像装置１００は、音声も取得できてよい。図１の例では、撮像装置１００は、制御回路１０２と、キャプチャ回路１０４と、メモリ１０６と、記録媒体１０８と、表示素子１１０と、操作部１１２と、通信回路１１４とを有している。撮像装置１００は、図１で示した以外の構成を有していてもよいし、図１で示した一部の構成を有していなくてもよい。例えば、撮像装置１００は、表示素子を有していなくてもよい。

制御回路１０２は、撮像装置１００の各部の動作を制御する。また、制御回路１０２は、キャプチャ回路１０４で取得される画像に対して種々の画像処理を施す。この画像処理は、画像表示のための処理、画像記録のための処理を含む。さらに、この画像処理は、通信が失敗したときの画像の加工処理を含む。制御回路１０２は、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、メインメモリといったハードウェアを備えている。制御回路１０２は、単独のＣＰＵ等によって構成されてもよいし、複数のＣＰＵ等によって構成されてもよい。また、制御回路１０２による一部の処理は、ソフトウェアによって実現されてもよい。

キャプチャ回路１０４は、対象物の画像を取得する。キャプチャ回路１０４は、例えば光学系、撮像素子及び前処理回路を含む。光学系は、対象物からの光を撮像素子に入射させる。撮像素子は、対象物からの光を電気信号に変換する。前処理回路は、撮像素子で得られた電気信号に対して前処理を施す。この前処理は、例えば相関二重サンプリング処理、ゲイン調整処理、アナログ／デジタル変換処理を含む。また、キャプチャ回路１０４は、対象物の音声も取得するように構成されていてもよい。この場合、キャプチャ回路１０４は、マイクロホン及び前処理回路を含む。マイクロホンは、対象物からの音声を電気信号に変換する。前処理回路は、マイクロホンで得られた電気信号に対して前処理を施す。この前処理は、例えばゲイン調整、ノイズ除去、アナログ／デジタル変換処理を含む。

メモリ１０６は、ＲＡＭ及びＲＯＭといったメモリである。メモリ１０６には、撮像装置１００の動作のためのプログラム及びパラメータが記憶される。メモリ１０６は、単一であっても複数であってもよい。

記録媒体１０８は、フラッシュメモリといったメモリを含む。記録媒体１０８には、撮像装置１００で取得される画像が記録される。記録媒体１０８は、撮像装置１００に内蔵されていなくてもよい。例えば、記録媒体１０８は、撮像装置１００に対して着脱できるように構成されていてもよい。

表示素子１１０は、各種の画像を表示する。表示素子１１０は、液晶ディスプレイ又は有機ＥＬディスプレイといった表示素子である。また、表示素子１１０は、音声を再生するためのスピーカ等を有していてもよい。

操作部１１２は、ボタン、スイッチ、ダイヤルといった機械的な操作部材を含む。また、操作部１１２は、タッチパネルを含んでいてもよい。撮像装置１００が表示素子を含んでいるときには、タッチパネルは表示素子と一体的に設けられていてもよい。

通信回路１１４は、撮像装置１００が端末２００と通信するための回路を含む。通信回路１１４は、例えばＷｉ−Ｆｉのための通信回路である。通信回路１１４は、例えばＢｌｕｅｔｏｏｔｈのための通信回路を含んでいてもよい。

端末２００は、スマートホン、タブレット端末、携帯ゲーム機、パーソナルコンピュータ（ＰＣ）といった表示素子を備えた外部表示装置である。端末２００は、撮像装置１００から送られてきた画像を表示したり、記憶したりする。図１の例では、端末２００は、制御回路２０２と、メモリ２０４と、記録媒体２０６と、表示素子２０８と、操作部２１０と、通信回路２１２とを有している。端末２００は、図１で示した以外の構成を有していてもよい。例えば、端末２００は、キャプチャ回路を有していてもよい。

制御回路２０２は、端末２００の各部の動作を制御する。制御回路２０２は、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、メインメモリといったハードウェアを備えている。制御回路２０２は、単独のＣＰＵ等によって構成されてもよいし、複数のＣＰＵ等によって構成されてもよい。また、制御回路２０２による一部の処理は、ソフトウェアによって実現されてもよい。

メモリ２０４は、ＲＡＭ及びＲＯＭといったメモリである。メモリ２０４には、端末２００の動作のためのプログラム及びパラメータが記憶される。また、メモリ２０４には、撮像装置１００との連携撮影のための連携アプリケーションが記憶されてもよい。メモリ２０４は、単一であっても複数であってもよい。

記録媒体２０６は、フラッシュメモリといったメモリを含む。記録媒体２０６には、例えば撮像装置１００から送られてきた画像が記録される。記録媒体２０６は、端末２００に内蔵されていなくてもよい。例えば、記録媒体２０６は、端末２００に対して着脱できるように構成されていてもよい。

表示素子２０８は、各種の画像を表示する。表示素子２０８は、液晶ディスプレイ又は有機ＥＬディスプレイといった表示素子である。また、表示素子２０８は、音声を再生するためのスピーカ等を有していてもよい。

操作部２１０は、ボタン、スイッチ、ダイヤルといった機械的な操作部材を含む。また、操作部２１０は、タッチパネルを含んでいてもよい。タッチパネルは、表示素子２０８と一体的に設けられていてもよい。

通信回路２１２は、端末２００が撮像装置１００と通信するための回路を含む。例えば、通信回路２１２は、例えばＷｉ−Ｆｉのための通信回路である。通信回路２１２は、例えばＢｌｕｅｔｏｏｔｈのための通信回路を含んでいてもよい。

以下、第１の実施形態に係る通信システム１の動作を説明する。図２Ａ及び図２Ｂは、第１の実施形態に係る通信システム１の動作を説明するための図である。

図２Ａは、第１の実施形態における通信システム１の適用例を示している。図２Ａの例では、撮影現場への適用例が示されている。つまり、カメラマンＣは、撮像装置１００を用いて被写体Ｓを撮影する。撮像装置１００は、例えばデジタルスチルカメラである。

撮像装置１００で取得された画像は、端末２００に送られる。端末２００の表示素子２０８には、撮像装置１００から送られてきた画像が表示される。端末２００は、例えばＰＣである。ユーザＵは、表示素子２０８に表示された画像を見て必要に応じてカメラマンＣに対して被写体Ｓをどのように撮影すべきかを指示する。

端末２００において被写体Ｓの状態をリアルタイムで確認できるようにするため、撮像装置１００は、例えば図２Ｂの（ａ）で示すように一定間隔で連続して被写体Ｓを撮像する。そして、図２Ｂの（ｂ）で示すように、撮像装置１００は、連続の撮像で得られた第１の画像を順次に端末２００に送信する。この結果、端末２００の表示素子２０８には、図２Ｂの（ｃ）で示すように、撮像装置１００で得られた第１の画像がリアルタイムで表示される。

ここで、撮像装置１００と端末２００との通信は、種々の障害によって失敗し得る。通信が失敗している間、撮像装置１００で取得された画像Ｉ１、Ｉ２、Ｉ３は、端末２００には送信されないことになる。このままでは、端末２００のユーザＵは、画像Ｉ１、Ｉ２、Ｉ３を確認することできない。

本実施形態の撮像装置１００は、未送信の第１の画像を加工し、加工により得られた第２の画像を通信の再開後に端末２００に送信する。例えば、撮像装置１００は、通信が失敗している間に取得した未送信の画像Ｉ１、Ｉ２、Ｉ３、及び通信が再開した直後に取得した未送信の画像Ｉ４の縮小画像を１フレームの画像内に並べる加工をする。そして、撮像装置１００は、図２Ｂの（ｃ）に示すようにして、組画像Ｉ５を画像Ｉ４の送信タイミングに合わせて端末２００に送信する。ここで、組画像Ｉ５の画像サイズは、画像Ｉ１、Ｉ２、Ｉ３及びＩ４と同一のサイズであってよい。このような組画像の生成は、未送信の画像の内容の要約を生成することに対応する。なお、組画像の中に並べられる画像の数は、４フレームに限るものではない。未送信の画像の数が少なければ３フレーム以下の画像が並べられてもよいし、未送信の画像の数が多ければ５フレーム以上の画像が並べられてもよい。また、組画像が２フレーム以上生成されてもよい。組画像が４フレームの画像を並べるものである場合、例えば、５フレーム目以降の未送信の画像が２フレーム目の組画像の中に並べられてもよい。複数の縮小画像が１フレームの画像内に並べられる場合、縮小画像の数が多くなると、並べられたときに個々の画像を判別することが困難になる。したがって、縮小画像の数が所定数以上となったときにはその後に取得される画像が別の画像内に並べられることで、個々の画像の判別が容易になる。

このように、撮像装置１００は、通信の再開後に組画像Ｉ５を端末２００に送信する。これにより、端末２００のユーザＵは、通信が失敗している間に撮像装置１００で取得された画像も確認することができる。また、組画像Ｉ５の画像サイズと画像Ｉ１、Ｉ２、Ｉ３及びＩ４とが同一のサイズであれば、組画像Ｉ５は、画像Ｉ１、Ｉ２、Ｉ３又はＩ４と同一の時間長で送信される。このため、撮像装置１００は、通信再開後も通信再開前と同様のタイミングで画像を送信することができる。

以下、第１の実施形態における通信システム１の動作をさらに詳しく説明する。図３は、第１の実施形態における撮像装置１００の動作の一例を示すフローチャートである。図３の処理は、例えば制御回路１０２によって制御される。

ステップＳ１において、制御回路１０２は、撮像装置１００の動作モードが連携撮影モードに設定されているか否かを判定する。撮像装置１００は、例えば連携撮影モードと通常撮影モードの２つの動作モードを有している。連携撮影モードは、撮像装置１００と端末２００との通信を伴って撮影が行われる動作モードである。通常撮影モードは、撮像装置１００の単独で撮影が行われる動作モードである。勿論、撮像装置１００は、連携撮影モードと通常撮影モード以外の動作モードを有していてもよい。動作モードは、例えばカメラマンＣによる操作部１１２の操作によって設定される。ステップＳ１において、撮像装置１００の動作モードが連携撮影モードに設定されていないと判定されたときには、処理はステップＳ２に移行する。ステップＳ１において、撮像装置１００の動作モードが連携撮影モードに設定されていると判定されたときには、処理はステップＳ３に移行する。

ステップＳ２において、撮像装置１００は、通常撮影モードの処理を行う。その後、処理は、ステップＳ１３に移行する。通常撮影モードの処理については簡単に説明する。通常撮影モードにおいては、ユーザの操作部１１２による撮影開始の操作を受けて、制御回路１０２は、キャプチャ回路１０４による撮像を実行する。そして、制御回路１０２は、キャプチャ回路１０４で得られた画像を記録できるような形式となるように画像処理し、画像処理によって得られる画像ファイルを記録媒体１０８に記録する。

ステップＳ３において、制御回路１０２は、通信回路１１４によって、端末２００から通信要求信号を受信したか否かを判定する。ステップＳ３において、端末２００から通信要求信号を受信していないと判定されたときに、処理はステップＳ１３に移行する。ステップＳ３において、端末２００からの通信要求信号を受信したと判定されたときに、処理はステップＳ４に移行する。

ステップＳ４において、制御回路１０２は、通信回路１１４を用いて、端末２００に対して応答信号を送信する。

ステップＳ５において、制御回路１０２は、キャプチャ回路１０４による撮像を実行する。ステップＳ５における撮像は、カメラマンＣの操作部１１２による撮影開始の操作を受けて行われてもよい。この場合、一定時間、撮影開始の操作がなかったときには、処理はステップＳ９に移行してよい。また、制御回路１０２は、キャプチャ回路１０４による撮像とともにキャプチャ回路１０４による収音も実行してよい。ステップＳ６において、制御回路１０２は、キャプチャ回路１０４で得られた画像をメモリ１０６に記憶させる。ステップＳ７において、制御回路１０２は、通信回路１１４を用いて、メモリ１０６に記憶された画像を端末２００に送信する。このとき、制御回路１０２は、送信する画像をメモリ１０６にコピーしておく。メモリ１０６に記憶されるコピーは、例えば一定数の画像の送信が完了する毎に古いものから削除されてもよい。

ステップＳ８において、制御回路１０２は、画像の送信が失敗したか否かを判定する。送信の失敗は、実際に失敗した場合及び失敗と見なせる場合の両方を含む。具体的には、送信の失敗は、例えば画像の送信ができない状態、画像の送信はできたけれども端末２００において正しく画像が受信されなかった状態を含む。例えば、制御回路１０２は、通信回路１１４によって検出される端末２００からの電波の電波強度が閾値以下であるときに、画像の送信ができない状態であると判定する。また、例えば、制御回路１０２は、通信回路１１４によって、端末２００から所定の回数以上のパケットの再送要求を受信したときに、端末２００において画像が正しく受信されなかったと判定する。この他、撮像装置１００と端末２００との通信がアクセスポイントを介したＷｉ−Ｆｉ通信によって行われているときには、制御回路１０２は、アクセスポイントに接続しているか否か、通信回路１１４によって検出されるアクセスポイントにおける電波強度が閾値以下であるか否かによって、通信ができる状態であるか否かを判定してもよい。また、撮像装置１００と端末２００との通信がＢｌｕｅｔｏｏｔｈ通信によって行われているときには、制御回路１０２は、通信回路１１４による撮像装置１００と端末２００とのペアリングが継続しているか否かによって、通信ができる状態であるか否かを判定してもよい。このように、ステップＳ８における判定は、特定の手法に限定されるものではない。ステップＳ８において、通信が失敗したと判定されたときには、処理はステップＳ９に移行する。ステップＳ８において、通信が失敗していないと判定されたときには、処理はステップＳ１０に移行する。

ステップＳ９において、制御回路１０２は、通信失敗時の対策処理を行う。対策処理の詳細については後で説明する。対策処理の終了後、処理はステップＳ１０に移行する。

ステップＳ１０において、制御回路１０２は、画像の送信を終了するか否かを判定する。例えば、端末２００から画像の送信の終了指示が通信回路１１４で受信されたときに、画像の送信を終了すると判定される。ステップＳ１０において、画像の送信を終了しないと判定されたときに、処理はステップＳ５に戻る。この場合、制御回路１０２は、画像の取得、記憶及び送信を継続する。ステップＳ１０において、画像の送信を終了すると判定されたときに、処理はステップＳ１１に移行する。

ステップＳ１１において、制御回路１０２は、端末２００から画像の再送信の要求を通信回路１１４で受信したか否かを判定する。後で説明するように、本実施形態では、画像の送信が失敗したときであっても、端末２００において画像の表示が継続している間は、未送信の画像を加工することによって生成された画像が端末２００に送信される。一方で、未送信の画像のそのものが必要となる場合もあり得る。このため、端末２００における画像の表示が終了した後に、端末２００からの要求に応じて未送信の画像を送信できるようにしておく。ステップＳ１１は、この再送信の有無の判定である。ステップＳ１１において、画像の再送信の要求があったと判定されたときに、処理はステップＳ１２に移行する。ステップＳ１１において、画像の再送信の要求がないと判定されたときに、処理はステップＳ１３に移行する。

ステップＳ１２において、制御回路１０２は、通信回路１１４を用いて、端末２００から要求された未送信の画像を端末２００に送信する。画像の送信の完了後、処理はステップＳ１３に移行する。ステップＳ１２では、端末２００における画像のリアルタイムの表示が行われていないので、撮像装置１００からの画像の送信は成功するまで繰り返されてもよい。

ステップＳ１３において、制御回路１０２は、撮像装置１００の動作を終了させるか否かを判定する。例えば、カメラマンＣの操作部１１２によって撮像装置１００の電源のオフが指示されたとき、操作部１１２の無操作状態が継続されたときには、撮像装置１００の動作を終了させると判定される。ステップＳ１３において、撮像装置１００の動作を終了させないと判定されたときには、処理はステップＳ１に戻る。ステップＳ１３において、撮像装置１００の動作を終了させると判定されたときには、制御回路１０２は、撮像装置１００の動作を終了させる。

図４は、対策処理について示すフローチャートである。ステップＳ１０１において、キャプチャ回路１０４による撮像を実行する。ステップＳ１０１における撮像は、カメラマンＣの操作部１１２による撮影開始の操作を受けて行われてもよい。この場合、一定時間、撮影開始の操作がなかったときには、処理はステップＳ１０４に移行してよい。ステップＳ１０２において、制御回路１０２は、キャプチャ回路１０４で得られた画像をメモリ１０６に記憶させる。

ステップＳ１０３において、制御回路１０２は、メモリ１０６にコピーされている未送信の画像を取得し、取得した未送信の画像を加工する。例えば、制御回路１０２は、ステップＳ７においてメモリ１０６にコピーされている画像の縮小画像と、ステップＳ１０２において新たにメモリ１０６に記憶された画像の縮小画像とを１フレームの画像内に並べる加工をする。その後、処理はステップＳ１０４に移行する。

ステップＳ１０４において、制御回路１０２は、通信が回復したか否かを判定する。例えば、制御回路１０２は、端末２００からの電波の電波強度が閾値を超えたときに、通信が回復したと判定する。ステップＳ１０４における判定は、特定の手法に限定されるものではない。ステップＳ１０４において、通信が回復したと判定されていないときには、処理はステップＳ１０１に戻る。つまり、通信が回復するまでは、画像の取得、記憶、加工が繰り返される。この繰り返しにおいては、加工によって変化が生じない画像については加工が行われず、加工によって変化が生じる画像についてのみ加工が行われるようにしてもよい。ステップＳ１０４において、通信が回復したと判定されたときには、処理はステップＳ１０５に移行する。

ステップＳ１０５において、制御回路１０２は、通信回路１１４を用いて、加工によって得られた画像と、未送信の画像の情報とを端末２００に送信する。未送信の画像の情報は、例えば未送信のフレーム番号を含む。未送信の画像の情報は、端末２００において未送信の画像を特定できる情報であればよく、フレーム番号に限るものではない。

ステップＳ１０６において、制御回路１０２は、すべての加工によって得られた画像の送信が完了しているか否かを判定する。ステップＳ１０６において、すべての加工によって得られた画像の送信が完了していないと判定されたときには、処理はステップＳ１０１に戻る。ステップＳ１０６において、すべての加工によって得られた画像の送信が完了したと判定されたときには、処理はステップＳ１０７に移行する。

ステップＳ１０７において、制御回路１０２は、最初の画像の送信から所定時間が経過したか否かを判定する。ステップＳ１０７において、所定時間が経過していないと判定されていないときには、処理はステップＳ１０１に戻る。つまり、通信が回復した場合であっても、所定時間が経過して通信が安定したと判定されるまでは、画像の取得、記憶、加工、送信が繰り返される。ステップＳ１０７において、所定時間が経過したと判定されたときには、制御回路１０２は図４の処理を終了させる。この場合、処理は図３のステップＳ９に移行する。そして、ステップＳ９において画像の送信を終了しないと判定されれば、処理はステップＳ５に戻る。以降、通常の画像の取得、記憶、送信の動作が再開される。

図５は、第１の実施形態における端末２００の動作の一例を示すフローチャートである。図５の処理は、例えば制御回路２０２によって制御される。

ステップＳ２０１において、制御回路２０２は、連携アプリケーションが起動されたか否かを判定する。ステップＳ２０１において、連携アプリケーションが起動されていないと判定されたときには、処理はステップＳ２０２に移行する。ステップＳ２０１において、連携アプリケーションが起動されたと判定されたときには、処理はステップＳ２０３に移行する。

ステップＳ２０２において、制御回路２０２は、連携アプリケーションが起動されたとき以外のその他の処理を行う。その他の処理は、例えば電子メールの送受信の処理、ブラウザの起動処理といった処理を含む。その他の処理の後、処理はステップＳ２１４に移行する。

ステップＳ２０３において、制御回路２０２は、通信回路２１２を用いて、撮像装置１００に対して通信要求信号を送信する。ステップＳ２０４において、制御回路２０２は、通信回路２１２により、撮像装置１００から応答信号を受信したか否かを判定する。ステップＳ２０４において、応答信号を受信していないと判定されたとき、処理はステップＳ２０３に戻る。つまり、応答信号が受信されるまで、通信回路２１２による通信要求信号の送信が繰り返される。一定回数の通信要求信号の送信をした後、制御回路２０２は、処理をタイムアウトさせてもよい。この場合、処理はステップＳ２１４に移行する。ステップＳ２０４において、応答信号を受信したと判定されたとき、処理はステップＳ２０５に移行する。

ステップＳ２０５において、制御回路２０２は、画像の受信が失敗したか否かを判定する。例えば、制御回路２０２は、所定時間の間に誤りなく画像を受信することができたか否かを判定する。そして、所定時間の間に誤りなく画像を受信することができたと判定したときには、制御回路２０２は、画像の受信が失敗していないと判定する。一方、所定時間の間に画像を受信することができなかった又は受信した画像に誤りがあったと判定したときには、制御回路２０２は、撮像装置１００に対して画像の再送を要求する。この画像の再送の要求回数が所定回数以上となったとき、画像の受信が失敗したと判定する。ステップＳ２０５において、画像の受信が失敗していないと判定されたとき、処理はステップＳ２０９に移行する。ステップＳ２０５において、画像の受信が失敗したと判定されたとき、処理はステップＳ２０６に移行する。

ステップＳ２０６において、制御回路２０２は、最も新しく受信された画像を画像ファイルとして記録媒体２０６に記録する。通信の失敗直前に受信された最新の画像を残しておくことで、この最新の画像は、通信の失敗直前の証拠となる画像として何等かの形で利用され得る。

ステップＳ２０７において、制御回路２０２は、通信が回復したか否かを判定する。例えば、制御回路２０２は、通信回路２１２によって検出される撮像装置１００からの電波の電波強度が閾値を超えたときに、通信が回復したと判定する。ステップＳ２０７における判定は、特定の手法に限定されるものではない。ステップＳ２０７において、通信が回復したと判定されるまで、判定は繰り返される。一定回数の判定の後、制御回路２０２は、処理をタイムアウトさせてもよい。この場合、処理は、ステップＳ２１４に移行する。ステップＳ２０７において、通信が回復したと判定されたときには、処理はステップＳ２０８に移行する。

ステップＳ２０８において、制御回路２０２は、撮像装置１００からの画像の受信を待つ。通信回路２１２によって撮像装置１００から画像が受信されたとき、制御回路２０２は、受信された画像をメモリ２０４に記憶させる。また、制御回路２０２は、画像とともに受信された未送信の画像の情報を、自身の未受信の画像の情報としてメモリ２０４に記憶させる。その後、処理はステップＳ２０９に移行する。

ステップＳ２０９において、制御回路２０２は、受信した画像を表示素子２０８に表示させる。これにより、図２Ａに示すように、ユーザＵは、撮像装置１００で取得された画像を端末２００において確認することができる。ここで、通信の再開直後は、前述したように撮像装置１００において加工された画像が撮像装置１００から送信される。この場合も、制御回路２０２は、撮像装置１００において加工された画像を表示素子２０８に表示させる。

ステップＳ２１０において、制御回路２０２は、画像の表示を終了するか否かを判定する。例えば、ユーザＵの操作部２１０の操作によって連携アプリケーションを終了させる指示がされたときに、画像の表示を終了すると判定される。ステップＳ２１０において、画像の表示を終了しないと判定されたときに、処理はステップＳ２０５に戻る。ステップＳ２１０において、画像の表示を終了すると判定されたときに、処理はステップＳ２１１に移行する。

ステップＳ２１１において、制御回路２０２は、加工された要約画像しか受信しておらず、オリジナルの画像を受信していないことから、自身の未受信の画像の情報を記録媒体２０６に記録する。その後、処理はステップＳ２１２に移行する。未受信の画像の情報を記録媒体２０６に記録しておくことにより、端末２００は、例えば連携アプリケーションの終了後であっても、必要に応じて未受信の画像の送信を撮像装置１００に対して要求することができる。また、受信画像をファイルとして記録してもよい。未受信の画像は、他の順調に受信された画像と合わせて（加工された画像のフレームと置き換えて）動画ファイルとして記録されてもよい。例えば、通信が不調な時に、何か出来事が起こった場合等は、未受信の画像の中に重要なエビデンスがあることから、こうして撮像したものと同じような画像が記録されることが好ましい。また、エビデンスである以上、未受信であったが、後から修復されたフレームがどれであるかを示す信号を記録する仕様とすることで、データの信頼性や証拠性を高めることができる。このように送信側と受信側が連携して成り立つシステムであるが、受信側にも重要なポイントがある。つまり、無線通信によって撮像装置から送信された画像を受信する受信装置において、失敗なしに連続して送信されてきた第１の画像を受信し、通信に失敗があった場合は、第１の画像の送信ができなかった事を判定した情報を受信し、通信の回復した後の表示終了後に、送信が失敗したフレームの画像を受信する画像受信装置の通信方法は、通信に失敗があったとしても、その回復後に前記送信が失敗したフレームの画像を受信して、送信が失敗しなかったフレームと合わせて動画ファイルとして記録する通信方法の工夫と言える。画像送受信の失敗のあった時には、副次的に様々なトラブルがあった可能性もあり、逆に他のトラブルの副次作用として画像送受信が失敗した可能性もあるので、この通信中断中に起こった事を確認可能に、あるいは証拠として記録可能にしておく仕様は、監視カメラのようなものでも重要な技術となる。

ステップＳ２１２において、制御回路２０２は、未受信の画像の再送信が指示されたか否かを判定する。例えば、ユーザＵの操作部２１０の操作によって特定の未受信の画像の再送信が指示されたときに、未受信の画像の再送信が指示されたと判定される。ステップＳ２１２において、未受信の画像の再送信が指示されたと判定されたときに、処理はステップＳ２１３に移行する。ステップＳ２１２において、未受信の画像の再送信が指示されていないと判定されたときに、処理はステップＳ２１４に移行する。

ステップＳ２１３において、制御回路２０２は、通信回路２１２を用いて、未受信の画像の再送信を撮像装置１００に対して要求する。なお、再送信の要求後に受信される画像は、表示されてもよいし、記録されてもよい。

ステップＳ２１４において、制御回路２０２は、端末２００の動作を終了させるか否かを判定する。例えば、ユーザＵの操作部２１０によって端末２００の電源のオフが指示されたとき、端末２００の動作を終了させると判定される。ステップＳ２１４において、端末２００の動作を終了させないと判定されたときには、処理はステップＳ２０１に戻る。ステップＳ２１４において、端末２００の動作を終了させると判定されたときには、制御回路２０２は、端末２００の動作を終了させる。

以上説明したように本実施形態の撮像装置は、通信が失敗している間に取得した画像を加工し、加工した画像を通信の再開後に端末に送信する。この加工は、例えば通信が失敗している間に取得した画像及び通信が再開した直後に取得した画像の縮小画像を１フレームの画像内に並べる加工を含む。このような加工によって生成される組画像により、端末のユーザは、通信が失敗している間に撮像装置で取得された画像を通信の遅れなく確認することができる。すなわち、本実施形態は、通信の障害等の発生によって通信の失敗が発生したときに、多少の通信の失敗を許容して画像の再送信の回数を抑制するものである。

［第１の実施形態の変形例］
以下、第１の実施形態の変形例を説明する。第１の実施形態では、通信が失敗している間に取得した画像に対する加工の例として、通信が失敗している間に取得した画像及び通信が再開した直後に取得した画像の縮小画像を１フレームの画像内に並べる加工が例示されている。しかしながら、加工は、必ずしも縮小画像を１フレームの画像内に並べる加工に限るものではない。

例えば、撮像装置１００は、図６の（ａ）のようにして取得している画像のうちの通信が失敗している間に取得した未送信の画像Ｉ１、Ｉ２、Ｉ３の縮小画像だけを１フレームの画像内に並べる加工をし、この加工によって得られた組画像Ｉ６と通信が再開した直後に取得した現在の未送信の画像Ｉ４の縮小画像Ｉ７とを図６の（ｂ）のようにしてそれぞれ端末２００に送信してもよい。そして、端末２００は、図６の（ｃ）に示すように、組画像Ｉ６と現在の画像Ｉ７とを表示素子２０８の別の表示領域に表示させてもよい。図６のような表示では、ユーザＵは、組画像によって通信の失敗時の画像を要約して見ることができるとともに、現在の画像もリアルタイムで見ることができる。

また、例えば、撮像装置１００は、図７の（ａ）のようにして取得している画像のうちの通信が失敗している間に取得した未送信の画像Ｉ１、Ｉ２、Ｉ３の縮小画像を生成するだけの加工をしてもよい。このとき、撮像装置１００は、図７の（ｂ）のようにして、未送信の画像の縮小画像Ｉ７、Ｉ８、Ｉ９を通常の画像よりも速い送信速度で送信してもよい。そして、端末２００は、図７の（ｃ）に示すように、縮小画像Ｉ７、Ｉ８、Ｉ９を順次に表示素子２０８に表示させてもよい。なお、縮小画像が送信される場合、端末２００は、通信失敗中に取得された画像を早送りで再生したり、タイムラプスで再生したりしてもよい。縮小画像であれば、比較的に短時間で送信が完了するので、通信の回復後に縮小画像が送信されたとしても、比較的に短時間で元の表示に復帰させることができる。

また、撮像装置１００は、通信失敗中に取得される画像の画像特徴が同一の場合には、一部の未送信の画像だけを用いて組画像を生成したり、一部の未送信の画像だけの縮小画像を生成したりしてもよい。例えば、撮像装置１００は、図８の（ａ）のようにして取得している画像のうちの、例えば通信失敗中に取得された最初の画像Ｉ１と通信が再開した直後に取得された画像Ｉ４を１フレームの画像に並べる加工をし、この加工によって得られた組画像Ｉ１０を図８の（ｂ）のようにして端末２００に送信してもよい。そして、端末２００は、図８の（ｃ）に示すように、組画像Ｉ１０を表示素子２０８に表示させてもよい。また、撮像装置１００は、図９の（ａ）のようにして取得している画像のうちの、例えば通信失敗中に取得された最初の画像Ｉ１の縮小画像を生成するだけの加工をし、この加工によって得られた縮小画像Ｉ１１を図９の（ｂ）のようにして端末２００に送信してもよい。そして、端末２００は、図９の（ｃ）に示すように、縮小画像Ｉ１１を表示素子２０８に表示させてもよい。

この他、撮像装置１００は、通信失敗中に取得される画像の画像特徴からシーンの変化、対象物の変化といった特徴的な変化が検出されたときだけ、その変化の前後の画像を１フレームの画像に並べたり、その変化の前後の画像の縮小画像を生成したりしてもよい。例えば、対象物である人物が部屋に入ってから出るまでの一連の画像を取得している際に通信の失敗が生じたときには、撮像装置１００は、人物が部屋に入ったときの画像と出たときの画像だけを１フレームの画像に並べたり、それらの画像の縮小画像を生成したりしてもよい。また、製品製造の一連の流れの画像を取得している際に通信の失敗が生じたときには、撮像装置１００は、工程の変化が生じている画像だけを１フレームの画像に並べたり、それらの画像の縮小画像を生成したりしてもよい。さらには、通信失敗時に送るべき画像の特徴をユーザ等のボタン操作や音声指示の入力によって設定できるようにしてもよい。

また、加工された画像は、必ずしも通信の回復の直後に送信される必要はない。例えば、撮像装置１００は、図１０の（ａ）のようにして取得している画像のうちの、通信が失敗している間に取得した未送信の画像Ｉ１、Ｉ２、Ｉ３の縮小画像を１フレームの画像内に並べる加工をする。そして、撮像装置１００は、図１０の（ｂ）に示すように、加工によって生成された組画像Ｉ５を、撮像の終了後に端末２００に送信してもよい。そして、端末２００は、図１０の（ｃ）に示すように、組画像Ｉ５を表示素子２０８に表示させてもよい。撮像装置１００の撮像の終了後であれば通信のための十分な時間を確保することができる。このため、画像は、確実に送信され得る。

また、撮像装置１００は、画像の取得とともに音声の取得をすることもあり得る。加工された画像の送信時には、音声も併せて送信されてよい。それぞれの加工された画像に対応づけられる音声は、例えばそのまま送信されてもよいし、圧縮されて送信されてもよい。図２Ｂのように、１フレームの画像に複数の縮小画像が並べられて構成される組画像については、個々の縮小画像に対して音声が関連付けされている。この場合、端末２００は、例えば図１１Ａに示すように組画像とともに音声再生マークＭも表示素子２０８に表示させる。音声再生マークＭが選択されたとき、端末２００の制御回路２０２は、選択された音声再生マークＭと対応する音声を再生する。

また、撮像装置１００は、取得した音声を周知の音声認識技術によって文字化してもよい。この場合、撮像装置１００は、組画像とともに文字データを端末２００に送信してよい。この場合、端末２００は、例えば図１１Ｂに示すように組画像とともに音声を表す文字をテロップＴとして表示素子２０８に表示させてよい。テロップＴは、すべての音声について生成される必要はない。例えば、撮像装置１００は、通信失敗中に取得される画像の画像特徴からシーンの変化、対象物の変化といった特徴的な変化が検出されたとき又は特徴のある音声が発生されたときだけ、テロップを生成してもよい。さらには、テロップを生成すべき画像又は音声の特徴を端末２００において設定できるようにしてもよい。各画像に対応した音声をさらに取得できるようにしておけば、制御回路は、通信失敗の回復後に、送れなかった画像のそれぞれと対応する音声を文字化して加工した画像送信するように送信回路を制御するといった工夫が可能となる。もちろん、この加工は受信側の機器が重畳表示するように行ってもよい。この場合、音声か、その音声をテキスト化した信号を受信して表示時に加工すればよい。

［第２の実施形態］
次に第２の実施形態について説明する。図１２は、第２の実施形態における通信システム１の適用例を示す図である。図１２の例では、工場等への適用例が示されている。つまり、作業員Ｗは、設備の点検等の作業をしている。作業員Ｗは、撮像装置１００である装着型の端末３００を身に着けている。端末３００は、作業員Ｗの顔の方向の画像を取得する。撮像装置１００によって取得された画像は、遠隔地に居るオペレータＯの端末２００に送られる。

図１３Ａは、端末３００の概略の構成を示す図である。端末３００は、例えば眼鏡型の端末である。一例の端末３００は、作業者Ｗの片耳に装着される眼鏡状の外形を有しており、１つのテンプル（つる）３０２を有している。ここで、つる３０２の先端側をモダンの側、基端側をフレームの側としたとき、つる３０２の先端側、より詳しくは端末３００が装着される際におおよそ作業者Ｗの耳に位置する位置には、スピーカ３０４が設けられている。スピーカ３０４は、各種の音声を発する。なお、スピーカ３０４は、さらに圧電素子等からなる振動発生器を有していてもよい。この場合、スピーカ３０４は、必要に応じて作業者Ｗの耳の付近に振動を与える。

また、つる３０２の基端から回路収納部３０６が延びている。回路収納部３０６には、前述した制御回路１０２と、キャプチャ回路１０４と、メモリ１０６と、記録媒体１０８と、表示素子１１０と、操作部１１２と、通信回路１１４とが設けられている。そして、回路収納部３０６の前面、すなわち端末３００が装着される際に作業者の目線の向きに位置する回路収納部３０６の面には、キャプチャ回路１０４の対物光学系１０４ａが露出している。また、回路収納部３０６の側面、すなわち端末３００が装着される際に作業者の顔と対向する回路収納部３０６の面には、表示素子１１０の表示パネル１１０ａが露出している。

さらに、表示パネル１１０ａと対向するように導光素子３０８が配置されている。導光素子３０８は、例えばプリズムによって構成され、表示パネル１１０ａから射出された表示光を、端末３００を装着した作業者Ｗの目Ｅまで導く。この導光素子３０８は、端末が装着された際に図１３Ｂに示すように作業者の目の半分程度を隠す程度の幅を有している。このような構成により、作業者Ｗは、導光素子３０８によって隠されていない部分に目線を向けることで素通しの視界を得ることができる一方、導光素子３０８に目線を向けることで表示パネル１１０ａに表示された画像を見ることができる。

また、導光素子３０８には、キャプチャ回路１０４のマイクロホン１０４ｂが取り付けられている。このマイクロホン１０４ｂによって作業者Ｗの音声が取得される。

端末２００は、スマートホン、タブレット端末、パーソナルコンピュータ（ＰＣ）といった表示素子を備えた外部表示装置である。端末２００は、撮像装置１００から送られてきた画像を表示したり、記憶したりする。端末２００は、図１で示した制御回路２０２と、メモリ２０４と、記録媒体２０６と、表示素子２０８と、操作部２１０と、通信回路２１２とを有している。また、端末２００は、図１で示した以外の構成を有していてもよい。例えば、端末２００は、キャプチャ回路を有していてもよい。

以下、第２の実施形態における通信システム１の動作をさらに詳しく説明する。図１４Ａ及び図１４Ｂは、第２の実施形態における端末３００の動作の一例を示すフローチャートである。図１４Ａ及び図１４Ｂの処理は、例えば制御回路１０２によって制御される。なお、図１４Ａ及び図１４Ｂにおいて、図３と共通の処理については説明を適宜に省略する。

ステップＳ４０１において、制御回路１０２は、通信回路１１４によって、端末２００から通信要求信号を受信したか否かを判定する。ステップＳ４０１において、端末２００から通信要求信号を受信していないと判定されたときに、処理はＳ４１６に移行する。ステップＳ４０１において、端末２００からの通信要求信号を受信したと判定されたときに、処理はステップＳ４０２に移行する。

ステップＳ４０２において、制御回路１０２は、通信回路１１４を用いて、端末２００に対して応答信号を送信する。

ステップＳ４０３において、制御回路１０２は、動作モードが画像送信モードに設定されているか否かを判定する。端末３００は、動作モードとして画像送信モードとガイドモードとを有している。画像送信モードは、キャプチャ回路１０４で取得された画像を端末２００に送信するモードである。端末２００に送信された画像は、端末２００の表示素子２０８に表示される。一方、ガイドモードは、端末３００の表示素子１１０に作業者Ｗのためのガイドを表示させるモードである。ガイドの内容は、作業の内容等に応じて種々に変更され得る。ステップＳ４０３において、動作モードが画像送信モードに設定されていないと判定されたときに、処理はステップＳ４０４に移行する。ステップＳ４０３において、動作モードが画像送信モードに設定されたと判定されたときに、処理はステップＳ４０５に移行する。

ステップＳ４０４において、制御回路１０２は、現在の状況に応じたガイドを表示素子１１０に表示させる。その後、処理はステップＳ４１６に移行する。前述したように、表示素子１１０に表示された画像に基づく表示光は、表示パネル１１０ａから射出されて導光素子３０８に入射する。導光素子３０８は、入射した表示光を作業者Ｗの目Ｅまで導く。作業者Ｗは、目線を導光素子３０８に向けることでガイドを見ることができる。

ステップＳ４０５において、制御回路１０２は、キャプチャ回路１０４による撮像を実行する。また、制御回路１０２は、キャプチャ回路１０４による撮像とともにキャプチャ回路１０４のマイクロホン１０４ｂによる収音も実行してよい。ステップＳ４０６において、制御回路１０２は、キャプチャ回路１０４で得られた画像をメモリ１０６に記憶させる。ステップＳ４０７において、制御回路１０２は、通信回路１１４を用いて、メモリ１０６に記憶された画像を端末２００に送信する。このとき、制御回路１０２は、送信する画像をメモリ１０６にコピーしておく。メモリ１０６に記憶されるコピーは、例えば一定数の画像の送信が完了する毎に古いものから削除されてもよい。また、ステップＳ４０７において、制御回路１０２は、音声も端末２００に送信してよい。

ステップＳ４０８において、制御回路１０２は、画像の送信が失敗したか否かを判定する。画像の送信が失敗したか否かの判定は、第１の実施形態のステップＳ８と同様でよい。ステップＳ４０８において、通信が失敗したと判定されたときには、処理はステップＳ４０９に移行する。ステップＳ４０８において、通信が失敗していないと判定されたときには、処理はステップＳ４１１に移行する。なお、通信失敗時には作業者Ｗに通信が失敗したことを報知するようにしてもよい。

ステップＳ４０９において、制御回路１０２は、通信が失敗してから所定の時間が経過したか否かを判定する。この所定の時間は、端末２００における表示が中断しても影響のない程度の時間である。短時間で画像の変化が生じる場合には、この所定時間は短く設定される。例えば、キャプチャ回路１０４による撮像の対象物の動きが速かったり、撮像されるシーンが短時間で変化したりするときには所定時間は短く設定される。逆に、対象物の動きが遅かったり、撮像されるシーンが殆ど変化しなかったりするときには所定時間は長く設定される。また、対象物の動きではなく、端末３００の動きが速かったりする場合にも所定時間は短くされてよい。さらに、所定時間は、作業者Ｗ等のユーザによって設定されてもよい。ステップＳ４０９において、通信が失敗してから所定の時間が経過していないと判定されたときには、処理はステップＳ４０８に戻る。つまり、短時間の障害等で表示に影響がないと考えられるときには、対策処理が行われない。ステップＳ４０９において、通信が失敗してから所定の時間が経過したと判定されたときには、処理はステップＳ４１０に移行する。

ステップＳ４１０において、制御回路１０２は、通信失敗時の対策処理を行う。対策処理は、第１の実施形態と同様でよいので説明を省略する。対策処理の終了後、処理はステップＳ４１１に移行する。

ステップＳ４１１において、制御回路１０２は、端末３００からの指示を通信回路１１４で受信したか否かを判定する。ステップＳ４１１において、端末３００からの指示を受信したと判定されたときには、処理はステップＳ４１２に移行する。ステップＳ４１１において、端末３００からの指示を受信していないと判定されたときには、処理はステップＳ４１３に移行する。

ステップＳ４１２において、制御回路１０２は、端末２００からの指示を再生する。端末２００から音声が受信されてきたときには、制御回路１０２は、受信された音声をスピーカ３０４から再生する。これにより、作業者Ｗは、オペレータＯからの音声指示を聞くことができる。また、端末２００から画像が受信されてきたときには、制御回路１０２は、受信された画像を表示素子１１０に再生する。これにより、作業者Ｗは、表示パネル１１０ａに再生されているオペレータＯからの画像による指示を、導光素子３０８を介して確認できる。なお、音声又は画像による指示があったときには、制御回路１０２は、必要に応じてスピーカ３０４から振動を発生させることで指示があったことを作業者Ｗに認知させてもよい。

ステップＳ４１３において、制御回路１０２は、画像の送信を終了するか否かを判定する。例えば、端末２００から画像の送信の終了指示が通信回路１１４で受信されたときに、画像の送信を終了すると判定される。ステップＳ４１３において、画像の送信を終了しないと判定されたときに、処理はステップＳ４０５に戻る。この場合、制御回路１０２は、画像の取得、記憶及び送信を継続する。ステップＳ４１３において、画像の送信を終了すると判定されたときに、処理はステップＳ４１４に移行する。

ステップＳ４１４において、制御回路１０２は、端末２００から画像の再送信の要求を通信回路１１４で受信したか否かを判定する。ステップＳ４１４において、画像の再送信の要求があったと判定されたときに、処理はステップＳ４１５に移行する。ステップＳ４１４において、画像の再送信の要求がないと判定されたときに、処理はステップＳ４１６に移行する。

ステップＳ４１５において、制御回路１０２は、通信回路１１４を用いて、端末２００から要求された未送信の画像を端末２００に送信する。画像の送信の完了後、処理はステップＳ４１６に移行する。ステップＳ４１５では、端末２００におけるリアルタイムの画像の表示が行われていないので、撮像装置１００からの画像の送信は成功するまで繰り返されてもよい。

ステップＳ４１６において、制御回路１０２は、端末３００の動作を終了させるか否かを判定する。例えば、作業者Ｗの操作部１１２によって端末３００の電源のオフが指示されたとき、操作部１１２の無操作状態が継続されたときには、端末３００の動作を終了させると判定される。ステップＳ４１６において、端末３００の動作を終了させないと判定されたときには、処理はステップＳ４０１に戻る。ステップＳ４１６において、端末３００の動作を終了させると判定されたときには、制御回路１０２は、端末３００の動作を終了させる。

図１５Ａ及び図１５Ｂは、第２の実施形態における端末２００の動作の一例を示すフローチャートである。図１５Ａ及び図１５Ｂの処理は、例えば制御回路２０２によって制御される。

ステップＳ５０１において、制御回路２０２は、連携アプリケーションが起動されたか否かを判定する。ステップＳ５０１において、連携アプリケーションが起動されていないと判定されたときには、処理はステップＳ５０２に移行する。ステップＳ５０１において、連携アプリケーションが起動されたと判定されたときには、処理はステップＳ５０３に移行する。

ステップＳ５０２において、制御回路２０２は、連携アプリケーションが起動されたとき以外のその他の処理を行う。その他の処理は、例えば電子メールの送受信の処理、ブラウザの起動処理といった処理を含む。その他の処理の後、処理はステップＳ５１６に移行する。

ステップＳ５０３において、制御回路２０２は、通信回路２１２を用いて、端末３００に対して通信要求信号を送信する。ステップＳ５０４において、制御回路２０２は、端末３００から応答信号を通信回路２１２で受信したか否かを判定する。ステップＳ５０４において、応答信号を受信していないと判定されたとき、処理はステップＳ５０３に戻る。つまり、応答信号が受信されるまで、通信要求信号の送信が繰り返される。通信回路２１２によって一定回数の通信要求信号の送信をした後、制御回路２０２は、処理をタイムアウトさせてもよい。この場合、処理はステップＳ５１６に移行する。ステップＳ５０４において、応答信号を受信したと判定されたとき、処理はステップＳ５０５に移行する。

ステップＳ５０５において、制御回路２０２は、画像の受信が失敗したか否かを判定する。画像の受信が失敗したか否かの判定は、第１の実施形態のステップＳ２０５と同様でよい。ステップＳ５０５において、画像の受信が失敗していないと判定されたとき、処理はステップＳ５０９に移行する。ステップＳ５０５において、画像の受信が失敗したと判定されたとき、処理はステップＳ５０６に移行する。

ステップＳ５０６において、制御回路２０２は、最も新しく受信された画像を画像ファイルとして記録媒体２０６に記録する。

ステップＳ５０７において、制御回路２０２は、通信が回復したか否かを判定する。通信が回復したか否かの判定は、第１の実施形態のステップＳ２０７と同様でよい。ステップＳ５０７において、通信が回復したと判定されるまで、判定は繰り返される。一定回数の判定の後、制御回路２０２は、処理をタイムアウトさせてもよい。この場合、処理は、ステップＳ５１６に移行する。ステップＳ５０７において、通信が回復したと判定されたときには、処理はステップＳ５０８に移行する。

ステップＳ５０８において、制御回路２０２は、通信回路２１２による撮像装置１００からの画像の受信を待つ。撮像装置１００から画像が受信されたとき、制御回路２０２は、受信された画像をメモリ２０４に記憶させる。また、制御回路２０２は、画像とともに受信された未送信の画像の情報を、自身の未受信の画像の情報としてメモリ２０４に記憶させる。その後、処理はステップＳ５０９に移行する。

ステップＳ５０９において、制御回路２０２は、受信した画像を表示素子２０８に表示させる。ここで、第１の実施形態と同様に第２の実施形態においても、通信の再開直後は、前述したように撮像装置１００において加工された画像が撮像装置１００から送信される。この場合も、制御回路２０２は、端末３００において加工された画像を表示素子２０８に表示させる。

ステップＳ５１０において、制御回路２０２は、オペレータＯから端末３００に対する指示が入力されたか否かを判定する。この指示は、音声による指示であってもよいし、画像による指示であってもよい。また、この指示は、特定のボタンの操作による指示であってもよい。ステップＳ５１０において、オペレータＯから端末３００に対する指示が入力されたと判定されたとき、処理はステップＳ５１１に移行する。ステップＳ５１０において、オペレータＯから端末３００に対する指示が入力されていないと判定されたとき、処理はステップＳ５１２に移行する。

ステップＳ５１１において、制御回路２０２は、通信回路２１２を用いて、端末３００に対して指示を送信する。

ステップＳ５１２において、制御回路２０２は、画像の表示を終了するか否かを判定する。例えば、ユーザＵの操作部２１０の操作によって連携アプリケーションを終了させる指示がされたときに、画像の表示を終了すると判定される。ステップＳ５１２において、画像の表示を終了しないと判定されたときに、処理はステップＳ５０５に戻る。ステップＳ５１２において、画像の表示を終了すると判定されたときに、処理はステップＳ５１３に移行する。

ステップＳ５１３において、制御回路２０２は、自身の未受信の画像の情報を記録媒体２０６に記録する。その後、処理はステップＳ５１４に移行する。未受信の画像の情報を記録媒体２０６に記録しておくことにより、端末２００は、例えば連携アプリケーションの終了後であっても、必要に応じて未受信の画像の送信を撮像装置１００に対して要求することができる。

ステップＳ５１４において、制御回路２０２は、未受信の画像の再送信が指示されたか否かを判定する。例えば、オペレータＯの操作部２１０の操作によって特定の未受信の画像の再送信が指示されたときに、未受信の画像の再送信が指示されたと判定される。ステップＳ５１４において、未受信の画像の再送信が指示されたと判定されたときに、処理はステップＳ５１５に移行する。ステップＳ５１４において、未受信の画像の再送信が指示されていないと判定されたときに、処理はステップＳ５１６に移行する。

ステップＳ５１５において、制御回路２０２は、通信回路２１２を用いて、未受信の画像の再送信を撮像装置１００に対して要求する。なお、再送信の要求後に受信される画像は、表示されてもよいし、記録されてもよい。

ステップＳ５１６において、制御回路２０２は、端末２００の動作を終了させるか否かを判定する。例えば、ユーザＵの操作部２１０によって端末２００の電源のオフが指示されたとき、端末２００の動作を終了させると判定される。ステップＳ５１６において、端末２００の動作を終了させないと判定されたときには、処理はステップＳ５０１に戻る。ステップＳ５１６において、端末２００の動作を終了させると判定されたときには、制御回路２０２は、端末２００の動作を終了させる。

以上説明したように本実施形態の撮像装置は、通信が失敗している間に取得した画像を加工し、加工した画像を通信の再開後に端末に送信する。このような加工により、端末のユーザは、通信が失敗している間に撮像装置で取得された画像を通信の遅れなく確認することができる。また、本実施形態では、通信が失敗してから外部表示装置における表示に影響を与えない程度の所定の時間が経過するまでは対策処理が行われない。これにより、撮像装置１００における処理の負荷を軽減することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。本実施形態の技術は、特に遠隔地で取得された画像をリアルタイムで確認することが要求される状況に好適である。このため、本実施形態の技術は、セキュリティ用途等でも利用され得る。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御回路１０２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御回路１０２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

なお、実施形態において、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵ等のプロセッサ、又はＦＰＧＡ等のシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線又は無線の通信回路が介在する。通信は、Ｂｌｕｅｔｏｏｔｈ通信、Ｗｉ−Ｆｉ通信、電話回線等で行われればよく、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。

１ 通信システム、１００ 撮像装置、１０２ 制御回路、１０４ キャプチャ回路、１０６ メモリ、１０８ 記録媒体、１１０ 表示素子、１１２ 操作部、１１４ 通信回路、２００ 端末、２０２ 制御回路、２０４ メモリ、２０６ 記録媒体、２０８ 表示素子、２１０ 操作部、２１２ 通信回路、３００ 端末。

Claims (13)

1. 撮像により複数の第１の画像を取得するキャプチャ回路と、
   前記第１の画像を連続して外部表示装置に送信する送信回路と、
   前記送信回路による１フレーム以上の前記第１の画像の送信が失敗したか否かを判定し、
   前記第１の画像の送信が失敗したと判定したときに未送信の前記第１の画像を加工し、
   通信の回復後に、前記加工により得られた第２の画像を送信するように前記送信回路を制御する、
   ように構成された制御回路と、
   を具備する撮像装置。
2. 未送信の前記第１の画像は２枚以上であり、
   前記制御回路は、
   前記未送信の前記第１の画像を並べることによって前記第２の画像である組画像を生成する加工をし、
   前記通信の回復後に前記組画像を送信する、
   請求項１に記載の撮像装置。
3. 前記制御回路は、
   前記未送信の前記第１の画像を縮小することによって前記第２の画像である縮小画像を生成する加工をし、
   前記通信の回復後に、前記縮小画像を、連続して前記第１の画像を送信するときの送信速度よりも速い送信速度で送信するように前記送信回路を制御する、
   請求項１に記載の撮像装置。
4. 前記制御回路は、通信の回復後、かつ、前記キャプチャ回路による前記撮像の終了後に、前記第２の画像を送信するように前記送信回路を制御する、
   請求項１に記載の撮像装置。
5. 未送信の前記第１の画像は２枚以上であり、
   前記制御回路は、一部の前記第１の画像を加工する、
   請求項１に記載の撮像装置。
6. 未送信の前記第１の画像は２枚以上であり、
   前記制御回路は、未送信の前記第１の画像のうちの前記外部表示装置から要求された前記第１の画像を再送信するように前記送信回路を制御する、
   請求項１に記載の撮像装置。
7. 前記制御回路は、前記第１の画像の送信が失敗している期間が所定期間よりも長いときに前記加工をする、
   請求項１に記載の撮像装置。
8. 前記キャプチャ回路は、それぞれの前記第１の画像に対応した音声をさらに取得し、
   前記制御回路は、前記通信の回復後に、前記第２の画像のそれぞれと対応する前記音声も送信するように前記送信回路を制御する、
   請求項１に記載の撮像装置。
9. 前記キャプチャ回路は、それぞれの前記第１の画像に対応した音声をさらに取得し、
   前記制御回路は、前記通信の回復後に、前記第２の画像のそれぞれと対応する前記音声を文字化し、前記第２の画像とともに送信するように前記送信回路を制御する、
   請求項１に記載の撮像装置。
10. 撮像により複数の画像を取得するキャプチャ回路と、
    前記撮像によって得られた第１の画像を連続して外部表示装置に送信する送信回路と、
    前記送信回路による１フレーム以上の前記第１の画像の送信が失敗したか否かを判定し、
    前記第１の画像の送信が失敗したと判定したときに未送信の前記第１の画像を加工し、
    通信の回復後に前記加工によって得られた第２の画像を送信するように前記送信回路を制御する、
    ように構成された制御回路と、
    を具備する撮像装置と、
    前記撮像装置から送信された前記第１の画像又は前記第２の画像を受信する受信回路と、
    受信された前記第１の画像又は前記第２の画像を表示する表示素子と、
    を具備する前記外部表示装置と、
    を有する通信システム。
11. 撮像装置において複数の第１の画像を取得することと、
    前記撮像装置から連続して前記第１の画像を外部表示装置に送信することと、
    前記撮像装置による１フレーム以上の前記第１の画像の送信が失敗したか否かを判定することと、
    前記第１の画像の送信が失敗したと判定したときに未送信の前記第１の画像を加工することと、
    通信の回復後に、前記加工によって得られた第２の画像を送信することと、
    を具備する通信方法。
12. 無線通信によって撮像装置から送信された画像を表示する表示装置の通信方法であって、
    前記撮像装置から連続して送信される第１の画像を受信することと、
    前記第１の画像を表示することと、
    前記撮像装置から前記無線通信による１フレーム以上の前記第１の画像の送信ができなかったことを示す情報を受信することと、
    通信の回復後であって前記表示装置による前記第１の画像の表示の終了後に、前記送信が失敗したフレームの前記第１の画像を受信することと、
    を具備する通信方法。
13. 前記通信の回復後であって前記表示装置による前記第１の画像の表示の終了後に受信された前記送信が失敗したフレームの前記第１の画像と、送信が失敗しなかったフレームの前記第１の画像とを合わせて動画ファイルとして記録すること、
    をさらに具備する請求項１２に記載の通信方法。