JP2013207751A - 撮像装置、撮像システム、テキスト生成方法、及びプログラム - Google Patents

Abstract

【課題】撮像情報を正確に通知できるとともに、受信端末の処理負荷を軽減する
【解決手段】画像解析部４０１は、撮像データを解析した解析データを生成する。メインメモリ２０６は、テキストの生成条件、テキスト生成方法を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報、を関連付けて記憶する。条件判断部４０２は、解析データと生成条件に基づいて、対応するテキスト生成情報、アプリケーション情報、及び通知先情報を抽出する。テキスト生成部４０４は、抽出したテキスト生成情報に基づいて、テキストを生成する。フォーマットデータ生成部４０５は、生成したテキストを、抽出したアプリケーション情報に応じて整形する。送受信部４０６は、整形したフォーマットデータを条件判断部４０２が抽出した通知先情報の指し示す通知先に送信する。
【選択図】図３

Description

本発明は撮像装置、撮像システム、テキスト生成方法、及びプログラムに関する。

ビデオカメラ等の撮像装置を用いて動画や静止画を撮像する場合、特定の画像（パターン）を検出したい場合がある。例えば、特許文献１、２には、人の顔にかかる画像を効果的に検出する技術が開示されている。同様に特許文献３には、特定画像（認識対象の画像）を効率的に検出する技術が開示されている。

ところで、撮像装置とユーザが物理的に離れた位置にいる場合、ユーザは撮像装置内の撮像画像等を取得したい場合がある。特許文献４には、遠隔地にいるユーザとの撮像画像等のやり取りを行う撮像装置が開示されている。ユーザは、撮像画像等が添付された電子メールを当該撮像装置から受信し、必要に応じて当該撮像装置に対して指示（コントロールメール）を送信して撮像装置を制御する。当該撮像装置は、撮像画像等を所定のメールアドレスに一定時間毎に送信する。

特開２００３−９２７２６号公報 特開平６−２９５３３１号公報 特開２００２−１５３１９号公報 特開２００３−１４１０４８号公報

特許文献４に記載の撮像装置は、ユーザのメールアドレスに対して人の顔等を撮像した撮像画像を送信することができる。しかしながら、撮像画像は、一般的にデータサイズが大きい。そのため、撮像画像を受信する端末の処理負荷が大きく、場合によっては通信処理が正常に終了しないといった問題が生じていた。

そこで、本発明は、撮像データを取得する撮像部（１００）と、撮像データを解析した解析データを生成する画像解析部（４０１）と、テキストの生成条件、テキスト生成規則を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報、が関連付けられたテキスト生成ルール情報を格納するテキスト生成ルール情報格納部（５０１）と、ユーザからの入力を受け付けて前記テキスト生成ルール情報格納部（５０１）内の前記テキスト生成ルール情報を設定する条件設定部（４０３）と、前記解析データと、前記生成条件と、に基づいて、対応する前記テキスト生成情報、前記アプリケーション情報、及び前記通知先情報を抽出する条件判断部（４０２）と、前記条件判断部（４０２）が抽出したテキスト生成情報に基づいて、テキストを生成するテキスト生成部（４０４）と、前記テキスト生成部（４０５）が生成したテキストを、前記条件判断部（４０２）が抽出した前記アプリケーション情報に応じて整形したフォーマットデータを生成するフォーマットデータ生成部（４０５）と、前記フォーマットデータを前記条件判断部（４０２）が抽出した前記通知先情報の指し示す通知先に送信する送信部（４０６）と、を備えることを特徴とする撮像装置（１）を提供する。
上記撮像装置（１）において、テキスト生成に用いるテンプレートを少なくとも一つ格納するテンプレート格納部（５０２）を更に備え、前記テキスト生成情報は、前記テンプレート格納部（５０２）が記憶するテンプレートの識別子であるテンプレート情報を含み、前記テキスト生成部（４０４）は、前記条件判断部（４０２）が抽出した前記テキスト生成情報内の前記識別子に対応するテンプレートを前記テンプレート格納部（５０２）から読み出し、読み出したテンプレートに前記解析データ内の情報または前記解析データから特定できる情報を埋め込んだテキストを生成してもよい。
上記撮像装置（１）において、前記テンプレート格納部（５０２）に含まれるテンプレートの各々は、送信先において実行可能なコマンド情報の生成に用いるコマンドタグ情報を含み、前記フォーマットデータ生成部（４０５）は、前記条件判断部（４０２）が抽出した前記アプリケーション情報と、前記コマンドタグ情報に基づいて、前記テキスト生成部（４０４）が生成したテキストに実行可能コマンドを埋め込んだ前記フォーマットデータを生成してもよい。
上記撮像装置（１）において、前記撮像装置（１）の周辺状況情報を取得するセンサ部（４０８）を更に備え、前記条件判断部（４０２）は、前記センサ部（４０８）が取得した周辺状況情報に基づいて前記テキスト生成情報、アプリケーション情報、及び前記通知先情報の抽出を行ってもよい。
上記撮像装置（１）において、前記テキスト生成部（４０４）が生成したテキストと前記撮像データを合わせたＯＳＤ画像、または、前記テキスト生成部（４０４）が生成したテキストを画像化した埋め込み用テキスト画像を生成する表示制御部（表示制御部４０９）と、前記ＯＳＤ画像、または前記埋め込み用テキスト画像が埋め込まれた画像を表示する表示部（液晶モニタ３０４）と、を更に備えてもよい。
上記撮像装置（１）において、前記テキスト生成部（４０４）が生成したテキストに基づいて、前記撮像装置（１）の処理を制御する撮像装置制御部（４１０）を更に備えてもよい。
本願発明にかかる撮像システム（１０）の一態様は、撮像装置（１）とサーバ（２）とを備える撮像システム（１０）であって、前記撮像装置（１）は、撮像データを解析した解析データを生成する画像解析部（４０１）と、ユーザからの入力を受け付けて、テキストの生成条件、テキスト生成規則を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報、が関連付けられたテキスト生成ルール情報を設定する条件設定部（４０３）と、前記解析データ及び前記テキスト生成ルール情報を前記サーバ（２）に送信する第１送信部（４０６）と、を備え、前記サーバ（２）は、前記テキスト生成ルール情報を記憶するテキスト生成ルール情報格納部（６０５）と、前記解析データと、前記生成条件と、に基づいて、対応する前記テキスト生成情報、前記アプリケーション情報、及び前記通知先情報を抽出する条件判断部（６０２）と、前記条件判断部（６０２）が抽出したテキスト生成情報に基づいて、テキストを生成するテキスト生成部（６０３）と、前記テキスト生成部（６０３）が生成したテキストを、前記条件判断部（６０２）が抽出した前記アプリケーション情報に応じて整形したフォーマットデータを生成するフォーマットデータ生成部（６０４）と、前記フォーマットデータを前記条件判断部（６０２）が抽出した前記通知先情報の指し示す通知先に送信する送信部（６０１）と、を備えることを特徴とする。
本願発明にかかるテキスト生成方法の一態様は、撮像データを解析した解析データを生成するステップと、予め記憶されたテキストの生成条件と、前記解析データと、に基づいて、テキスト生成規則を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報を抽出するステップと、前記抽出したテキスト生成情報に基づいて、テキストを生成するステップと、前記生成したテキストを、前記抽出した前記アプリケーション情報に応じて整形したフォーマットデータを生成するステップと、前記フォーマットデータを前記抽出した前記通知先情報の指し示す通知先に送信するステップと、からなることを特徴とする。
本願発明にかかるプログラムの一態様は、コンピュータに、撮像データを解析した解析データを生成するステップと、予め記憶されたテキストの生成条件と、前記解析データと、に基づいて、テキスト生成方法を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報を抽出するステップと、前記抽出したテキスト生成情報に基づいて、テキストを生成するステップと、前記生成したテキストを、前記抽出した前記アプリケーション情報に応じて整形したフォーマットデータを生成するステップと、前記フォーマットデータを前記抽出した前記通知先情報の指し示す通知先に送信するステップと、を実行させることを特徴とする。

本発明では、撮像情報を正確に通知できるとともに、受信端末の処理負荷を軽減した撮像装置、撮像システム、テキスト生成方法、及びプログラムを提供することができる。

実施の形態１にかかる撮像装置１の外観図である。 実施の形態１にかかる撮像装置１の内部構成を示すブロック図である。 実施の形態１にかかる中央制御部４００の内部構成を示すブロック図である。 実施の形態１にかかるテキスト生成ルール情報を示す図である。 実施の形態１にかかるテンプレート格納部５０２の構成例を示す図である。 実施の形態１にかかるフォーマットデータ生成部４０５が生成したフォーマットデータの例を示す図である。 実施の形態２にかかる中央制御部４００の内部構成を示すブロック図である。 実施の形態２にかかるテンプレート格納部５０２の構成例を示す図である。 実施の形態２にかかるフォーマットデータ生成部４０５が生成したフォーマットデータの例を示す図である。 実施の形態３にかかる中央制御部４００の内部構成を示すブロック図である。 実施の形態４にかかる中央制御部４００の内部構成を示すブロック図である。 実施の形態５にかかる撮像システムの構成を示すブロック図である。 実施の形態６にかかる撮像システムの構成を示すブロック図である。 実施の形態７にかかる撮像システムの構成を示すブロック図である。 実施の形態７にかかるテキスト生成ルール情報を示す図である。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態に係る撮像装置１の全体的な構成を示す外観図である。以下の説明では、説明の明確化のため、図に示すようなｘｙｚ直交座標系を用いて、説明を行う。

ここでは、ｘ軸が、撮像装置１の前後方向を示し、ｙ軸が撮像装置１の上下方向（鉛直方向）を示し、ｚ軸が撮像装置１の左右方向（横方向、幅方向）を示している。すなわち、ｘ方向が、撮像装置１に設けられたレンズの光軸に平行な方向であり、ｙ方向、及びｚ方向が撮像装置１に設けられたレンズの光軸と垂直な方向である。さらに、撮像装置１を把持するユーザを基準に方向を特定する。すなわち、＋ｘ側が後方側（レンズ鏡筒の開口部側の反対側）、−ｘ側が前方側（レンズ鏡筒の開口部側）、＋ｙ側が上方側、−ｙ側が下方側、＋ｚ側が左側、−ｚ側が右側とする。もちろん、上記の方向は、相対的なものであり、撮像装置１の向きに応じて変化する。

次に、図２を参照して、撮像装置１の内部構成について説明する。図２は、本実施の形態に係る撮像装置１の内部構成の例を示すブロック図である。撮像装置１は動画及び静止画を撮像することができる。

中央制御部４００はＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び撮像に関するインターフェイス選択等の撮像装置１全体の処理を統括的に制御する。中央制御部４００の内部構成は、図３を参照して後述する。

撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。

撮像部１を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。

デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

マイク１０９は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像データと併せてメインメモリ２０６に格納する。

多重化部１１３は、メインメモリ２０６に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。

圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従い、メインメモリ２０６に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部４００からの指令に従い、メインメモリ２０６等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の撮像装置１では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。

音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０６から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０６から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ３０４の代わりに有機ＥＬ（Electro - Luminescence）モニタ等の他のモニタを用いることも可能である。

ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。

ＶＲＡＭ２０５は、表示用の画像データの一時記憶領域として使用される。メインメモリ２０６は、各種画像データの一時記憶領域として使用されるとともに、中央制御部４００の演算作業領域としても使用される。

ジャイロセンサ２０８は、３軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ２０８の検出結果に応じて、液晶モニタ３０４の表示向きを変える。時計２０９は、撮像データの取得日時の情報を生成し、端末画像を撮像装置１のカメラ画像と重畳する際の、タイムスタンプの共有に使用される。

液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばＶＲＡＭ２０５やメインメモリ２０６に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ３０５は、例えばメインメモリ２０６に一時記録された音声を出力する。操作部３０６は、操作ボタン、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

無線モジュール３０９は、バス２００及び無線Ｉ／Ｆ３０８を介して、各データを他の装置との間で送受信する。各種情報及び撮像データ等の無線通信はＩＥＥＥ８０２．１１規格に準拠した方式で行われる。より具体的には、無線モジュール３０９は、Ｗｉ−Ｆｉ等の無線ＬＡＮ規格に準拠した通信処理を行う。

通信モジュール３１１は、バス２００及び通信Ｉ／Ｆ３１０を介して、他の通信端末とのメールの送受信、インターネット接続などを行う。これらの無線通信は、例えば、Ｗ−ＣＤＭＡやＣＤＭＡ２０００等の通信規格に準拠した方式で行われる。これにより、基地局との通信が可能になる。もちろん、通信モジュール３１１での通信による通信規格は特に限定されるものではない。通信モジュール３１１は、無線モジュール３０９と異なる通信方式で無線通信を行う。

次に、図３を参照して、中央制御部４００内の詳細構成について説明する。中央制御部４００は、画像解析部４０１と、条件判断部４０２と、条件設定部４０３と、テキスト生成部４０４と、フォーマットデータ生成部４０５と、送受信部４０６と、を備える。なお、前述したように、中央制御部４００は、図示しないもののＲＯＭやＲＡＭ等を備える。

画像解析部４０１は、撮像データをメインメモリ２０６から適宜読み出す。画像解析部４０１は、撮像データの画像解析を行う。詳細には、画像解析部４０１は、所定物体（たとえば人間の顔やペット）の検出を行い、検出物の種類や画像内での位置座標、大きさを示す解析データを条件判断部４０２に供給する。例えば、画像解析部４０１は、座標（Ｘ１，Ｙ１）を始点とする２００ピクセル×３００ピクセルの領域に鳥が検出された場合、（１（鳥を示す識別番号）,（Ｘ１，Ｙ１），（２００，３００））という解析データを条件判断部４０２に供給する。なお、画像解析部４０１の構成は、一般的なビデオカメラ等に用いられる画像解析モジュールにより構成すればよい。

条件判断部４０２は、画像解析部４０１から供給された解析データが、テキスト生成ルール情報格納部５０１内に格納されたテキスト生成ルール情報に設定された各条件に合致しているかを判定する。テキスト生成ルール情報は、テキスト生成部４０４が行うテキスト生成に関する規則が規定されている。テキスト生成ルール情報格納部５０１は、例えばメインメモリ２０６内の一領域として構成される。条件判断部４０２は、テキスト生成ルール情報をメインメモリ２０６から読み出す。

図４は、テキスト生成ルール情報の構成例を示す概念図である。図示するように、テキスト生成ルール情報は、属性として条件と、テキスト生成情報と、アプリケーション情報と、通知先情報と、を含む。条件とは、テキスト生成部４０４がテキスト生成を開始する条件が設定されている。条件には、画像解析部４０１の検出した検出物と、その検出物の検出位置等を示す検出状態と、が設定される。テキスト生成情報とは、条件を満たした場合にテキスト生成部４０４が行うテキスト生成規則が規定されている。テキスト生成情報には、どのテンプレート（テキスト生成の例文）を用いるのかを示すテンプレート識別子の情報（テンプレート情報）、またはテキストのいずれかが設定される。アプリケーション情報とは、通知先のアプリケーションを示す情報（たとえばメール通知を行う、ミニブログにテキストをアップロードするといったアプリケーションの種別を示す情報）である。通知先情報とは、テキスト生成部４０４が生成したテキストの通知先が規定されている。

たとえば図４（Ｎｏ．１）では、識別番号１（鳥）のオブジェクトが画面上部に検出された場合にテンプレート１（後述）を用いてメール通知用のテキストを作成し、作成したテキストをＡさんのメールアドレス（Ａ＠ｍａｉｌ．ｃｏｍ）に送信することが規定されている。図４（Ｎｏ．４）では、識別番号７（ライオン）のオブジェクトが画面下部に検出された場合にテキスト「ライオン発見！」をミニブログに送信することが規定されている。

条件判断部４０２は、解析データがテキスト生成ルール情報内の各条件に合致しているか否かを判定し、合致した条件が存在する場合には当該条件に対応するテキスト生成情報、アプリケーション情報、及び通知先情報をテキスト生成部４０４に通知する。

条件設定部４０３は、液晶モニタ３０４上に表示された入力画面を操作すること等により入力された情報を受け付け、テキスト生成ルール情報格納部５０１内のテキスト生成ルール情報に新規のデータ行を追加する。また、条件設定部４０３は、ユーザからの入力情報を受け付け、テキスト生成ルール情報格納部５０１内のテキスト生成ルール情報データ行の削除や一部変更を行う。すなわち、条件設定部４０３は、ユーザの入力に応じてテキスト生成ルール情報格納部５０１内のテキスト生成ルール情報の設定を行う。

テキスト生成部４０４は、条件判断部４０２から供給されたテキスト生成ルール情報を基にテキストを生成する。テキスト生成部４０４は、テキスト生成情報としてテキストが記載されている場合には、当該テキストを生成テキストとみなす。以下、テキスト生成情報にテンプレートの識別子が記載されている場合について説明する。テキスト生成部４０３は、テキスト生成情報に含まれるテンプレート情報を取得し、当該テンプレート情報を検索キーとしてテンプレート格納部５０２からテンプレートを読み出す。テンプレート格納部５０２の構成例を図５に示す。

テンプレート格納部５０２は、テキスト生成に用いるテンプレートを複数保持している。テンプレート格納部５０２は、例えばメインメモリ２０６内に一領域として構成される。各テンプレートは、例えばＸＭＬ（eXtensible Markup Language）形式で記載されている。ここで、各テンプレートは、画像解析部４０１による解析データ（または解析データから導出されるテキスト）が埋め込み可能な形式で記載されている。図５では、タグ＜ｉｎｓｅｒｔ／＞の箇所に、検出された物体名が埋め込み可能となっている。

テキスト生成部４０４は、取得したテンプレートのタグ＜ｉｎｓｅｒｔ／＞を検出した物体名で置換したテキストを生成し、アプリケーション情報、及び通知先情報と共にテキストをフォーマットデータ生成部４０５に供給する。

例えば、図４に記載の２行目（Ｎｏ．２）の条件にマッチした場合、テキスト生成部４０４は、テンプレート３（"＜ｍｅｓｓａｇｅ＞画面下部に＜ｉｎｓｅｒｔ／＞が出現しました。＜／ｍｅｓｓａｇｅ＞）をテンプレート格納部５０２から読み出す。そして、テキスト生成部４０４は、タグ＜ｉｎｓｅｒｔ／＞を物体の検出結果に応じて置き換える。例えば、画像解析部４０１が「４（猫）」を検出した場合、テキスト生成部４０４は、「画面下部に猫が出現しました。」というテキストを生成する。

なお、テンプレートは、必ずしもタグ＜ｉｎｓｅｒｔ／＞を含む必要はない。テンプレートがタグ＜ｉｎｓｅｒｔ／＞を含まない場合、テキスト生成部４０４は、読み出したテンプレート内のテキストをそのままフォーマットデータ生成部４０５に供給する。

フォーマットデータ生成部４０５には、テキストデータ生成部４０４が生成したテキストと、アプリケーション情報と、通知先情報と、が供給される。フォーマットデータ生成部４０５は、通知されたテキストをアプリケーションに応じて整形したフォーマットデータを作成する。

図６は、フォーマットデータの生成例を示す図である。フォーマットデータ生成部４０５には、テキスト、アプリケーション情報、通知先情報の組である（"画面下部に猫が出現しました！"，"ｍａｉｌ" ，"C@mail.com"）というデータがテキスト生成部４０４から供給される。これらの情報を受信したフォーマットデータ生成部４０５は、図６に示すように、メールクライアント用に整形（この場合にはＤａｔｅ属性等を追加する）したフォーマットデータを生成する。フォーマットデータ生成部４０５は、フォーマットデータと通知先情報を送受信部４０６に供給する。

なお、アプリケーションとしてメールクライアントのみを想定する場合には、フォーマットデータ生成部４０５にアプリケーション情報がフォーマットデータ生成部４０５に通知される必要はない。この場合、フォーマットデータ生成部４０５は、自動的にメール用にフォーマットデータを生成すればよい。

再び、図３を参照する。送受信部４０６は、供給されたフォーマットデータを通知先情報が示す通知先に送信する。例えば、送受信部４０６は、供給されたフォーマットデータを通知先情報が指し示すメールアドレスに送信する。送受信部４０６による送受信処理は、無線モジュール３０９や通信モジュール３１１に対してデータを受け渡すことにより実現する。

以上、本実施の形態にかかる撮像装置１の構成及び動作について説明した。本実施の形態にかかる撮像装置１の比較対象として、従来の技術について改めて説明する。従来の技術では、メール等に対して画像データを添付して送信するという手法が用いられていた。この場合、画像データのデータサイズが大きいために通信回線速度が低い場合には送信に時間がかかり、場合によっては通信遮断等により送信が完了しないといった問題が生じていた。さらに、受信端末に画像データのビューワーソフトが必要となる。受信端末にビューワーソフトがある場合であっても、送信した画像データの表示サイズが受信端末のビューワーソフトとマッチしていない場合には画像全体を表示することができない場合があった。さらにまた、メールアプリケーションが添付ファイルのデータサイズ制限を行っているような場合、画像データを送信できない場合があった。さらに、受信端末が画像データを受信できた場合であっても、受信端末のユーザは、画像を参照してもどのような事象が生じているかを正確に把握できないという問題があった。

一方、本実施の形態にかかる撮像装置１では、解析データを基にテキスト生成の条件を判定し、条件判定結果に応じてテキストを生成している。撮像装置１は、生成したテキストを通知先情報が示す通知先に送信している。すなわち、撮像装置１は、画像データを送信することなく、所定の撮影条件を満たす事象が起きたことをテキストでユーザに通知している。そのため、送信するデータのデータサイズを大幅に削減でき、受信端末の処理負荷を大幅に軽減することができる。また、メールシステムのデータサイズ制限等を考慮する必要が無くなるため、情報をより確実に送信することができる。さらにまた、受信端末のユーザは、受信したテキストを参照することにより、どのような事象が生じたかを正確に把握することができる。受信端末のユーザは撮像対象の状況を適切に判断できるため、受信端末を操作して撮像装置１に対するコマンド（撮影開始、撮影終了、ズーム処理、パンチルト処理等）を的確に送信することができる。

さらに、上述したようにテキスト生成部４０４は、解析データを埋め込んだテキストを生成することができる。例えば、図５のテンプレート３（"＜ｍｅｓｓａｇｅ＞画面下部に＜ｉｎｓｅｒｔ／＞が出現しました。＜／ｍｅｓｓａｇｅ＞"）から「画面下部に猫が出現しました！」というテキストを生成することができる。このようなテキストの埋め込み処理により、撮像状況をより正確にユーザに伝えることが可能となる。

＜実施の形態２＞
本実施の形態にかかる撮像装置は、受信端末から実行可能なコマンドを埋め込んだテキストを生成することを特徴とする。本実施の形態にかかる撮像装置１について、実施の形態１と異なる点を以下に説明する。なお、同一の符号を付して特に言及しない処理部については、実施の形態１と同一の処理を行うものとする（以降の実施の形態においても同様である。）。

図７は、本実施の形態にかかる中央制御部４００の構成を示すブロック図である。本実施の形態にかかる中央制御部４００は、図３と比べ、フォーマットデータ生成部４０５内にコマンド整形部４０７を備える。

本実施の形態にかかるテキスト生成ルール情報格納部５０１に格納されたテキスト生成ルール情報には、テキスト生成情報として、コマンドタグを使用しているテンプレートの識別子が記載可能である。テンプレート格納部５０２は、コマンドタグを含むテンプレートを保持する。図８は、コマンドタグを含むテンプレートの一例を示す図である。図示するように、テンプレートには、２つのコマンドタグ（＜ｃｍｄ ａｃｔｉｏｎ＝"ｆｉｌｍｉｎｇ" ｔｉｔｌｅ＝"（動画撮影開始）" ／＞，＜ｃｍｄ ａｃｔｉｏｎ＝"ｆｉｌｍｉｎｇＳｔｉｌｌＩｍａｇｅ" ｔｉｔｌｅ＝"（静止画撮像）" ／＞）が記載されている。コマンドタグは、受信端末から撮像装置１を操作するためのコマンドの生成に用いる情報が記載されたタグである。図８では、受信端末から撮像装置１の撮像開始を指示するためのコマンドの生成に用いるコマンドタグが記載されている。

図９は、フォーマットデータ生成部４０５によるテンプレートのフォーマット例を示す図である。テキスト生成部４０４は、コマンドタグを整形することなくテキスト化し、生成したテキストをアプリケーション情報及び通知先情報とともにフォーマットデータ生成部４０５に供給する。フォーマットデータ生成部４０５内のコマンド整形部４０７は、アプリケーション情報に合わせてコマンドタグを整形する。図１０の例では、メールクライアントにあわせて、コマンドタグをＨＴＭＬメール用のフォームタグ（Ｆｏｒｍタグ）に変換する（図１０下部）。フォーマットデータ生成部４０５は、コマンドタグの整形の後に前述のフォーマットデータ生成処理を行う。その他の処理については、実施の形態１と同様である。

上述したように、本実施の形態にかかるフォーマットデータ生成部４０５は、受信端末のユーザが撮像装置１に対してコマンドを送信可能となるようにテキストを整形する。例えば、撮像装置１は、撮像画面上に所定のユーザが出現した場合、撮像開始を指示するコマンドを埋め込んだメールを受信端末に送信する。これにより、受信端末のユーザは、画像内の物体の検出状況に応じて、撮像装置１の制御を容易に行うことができる。

＜実施の形態３＞
本実施の形態にかかる撮像装置は、周辺状況情報を取得し、取得した周辺状況情報を条件判断に用いることを特徴とする。本実施の形態にかかる撮像装置１について、実施の形態１と異なる点を以下に説明する。

図１０は、本実施の形態にかかる中央制御部４００の構成を示すブロック図である。中央制御部４００は、図３の構成に加えてセンサ部４０８をさらに備える。センサ部４０８は、撮像装置１に備えられた各種のセンサ（ジャイロセンサ２０８、温度感知センサ、湿度感知センサ、位置取得センサ（いわゆるＧＰＳ）、輝度センサ等）からの情報を取得する。センサ部４０８は、例えば取得したセンサ情報を条件判断部４０２で処理が容易なＸＭＬ形式に変換する。センサ部４０８は、変換したＸＭＬ形式のセンサ情報を条件判断部４０２に供給する。

テキスト生成ルール情報格納部５０１は、センサ情報を条件として設定可能なテキスト生成ルール情報を保持する。例えば、テキスト生成ルール情報は、「湿度が８０％である場合であって、猫が画面上に写り込んできた場合」といったような条件を保持できる。条件判断部４０２は、テキスト生成ルール情報格納部５０１から上述のような条件を含むテキスト生成ルール情報を読み出す。そして、条件判断部４０２は、画像解析部４０１からの解析データと、センサ情報と、読み出したテキスト生成ルール情報と、を用いて条件判断を行う。その他の処理については、実施の形態１と同様である。

上述のように撮像装置１は、任意のセンサ情報を取得可能な構成であり、解析データとセンサ情報を基にテキスト生成の条件判定を行う。撮像装置１を取り巻く様々な周辺状況情報（位置、温度、湿度等）を考慮することにより、より的確な条件判断を行うことができ、より適切なテキスト生成を実現することができる。

＜実施の形態４＞
本実施の形態にかかる撮像装置は、テキスト生成部４０４が生成したテキストを撮像装置１の表示部（液晶モニタ３０４）に表示することができることを特徴とする。本実施の形態にかかる撮像装置１について、実施の形態１と異なる点を以下に説明する。

図１１は、本実施の形態にかかる中央制御部４００の構成を示すブロック図である。中央制御部４００は、図３の構成に加えて表示制御部４０９を備える。表示制御部４０９には、テキスト生成部４０４が生成したテキストと、撮像データと、が供給される。表示制御部４０９は、撮像データにテキストを重畳または合成した画像データを作成する。すなわち、表示制御部４０９は、テキスト生成部４０４が生成したテキストをＯＳＤ（On-Screen Display）の表示テキストとして用いる。表示制御部４０９は、生成した画像データを液晶モニタ３０４に供給する。なお、表示制御部４０９は、テキスト生成部４０４が生成したテキストを画像化し、画像化した埋め込みテキスト画像データを撮像データに埋め込んだ画像データを生成しても良い。

なお、図１１には図示していないが、表示制御部４０９は、画像解析部４０１から解析データを取得しても良い。そして、表示制御部４０９は、物体の検出位置と大きさに応じてテキストを表示する位置を決定しても良い。例えば、表示制御部４０９は、画面上部に鳥が写っている場合、テキストを画面下部に表示するように画像データを作成する。これにより、ユーザが確認したい対象物とテキストをより的確に確認することができる。

上述のように撮像装置１は、テキスト生成部４０４が生成したテキストを液晶モニタ３０４に表示可能である。これにより、撮像装置１のユーザは、撮像中にどのような画像を撮像中であるかを液晶モニタ３０４上のテキストで確認することができる。

＜実施の形態５＞
本発明の第５の実施の形態は、撮像装置１とサーバ２とを備える撮像システム１０から構成される。以下、本実施の形態にかかる撮像システム１０の構成について説明する。

図１２は、本実施の形態にかかる撮像システム１０の構成を示すブロック図である。図示するように、撮像システム１０は、撮像装置１と、サーバ２と、を備える。撮像装置１は、中央制御部４００内に画像解析部４０１、条件設定部４０３、センサ部４０８、及び送受信部４０６を備える。なお、中央制御部４００は、センサ部４０８を有さない構成でも良い。

画像解析部４０１、条件設定部４０３、及びセンサ部４０８は、各々が取得した情報（解析データ、テキスト生成ルール、センサ情報）を送受信部４０６に供給する。送受信部４０６は、供給された情報（解析データ、テキスト生成ルール、センサ情報）をサーバ２内の送受信部６０１に供給する。

サーバ２は、内部に送受信部６０１、条件判断部６０２、テキスト生成部６０３、フォーマットデータ生成部６０４、テキスト生成ルール情報格納部６０５、及びテンプレート格納部６０６を備える。条件判断部６０２、テキスト生成部６０３、フォーマットデータ生成部６０４、テキスト生成ルール情報格納部６０５、及びテンプレート格納部６０６は、順に実施の形態１の条件判断部４０２、テキスト生成部４０４、フォーマットデータ生成部４０５、テキスト生成ルール情報格納部５０１、テンプレート格納部５０２と対応する（略同一の処理を行う、または略同一の情報を記憶する）。

フォーマットデータ生成部６０４は、生成したフォーマットデータを送受信部６０１に供給する。また、条件判断部６０２は、通知先情報を送受信部６０１に供給する。送受信部６０１は、フォーマットデータ及び通知先情報を撮像装置１内の送受信部４０６に送信する。送受信部４０６は、通知先情報の示す通知先に対してフォーマットデータを送信する。

上述のように、サーバ２が条件判断処理及びテキスト生成処理を行う。サーバ２は、他のネットワークシステムから各種の情報（たとえばアメダスサーバからの詳細情報、他の場所にあるセンサ情報、他の場所にあるカウンタ値情報等）を取得することが容易なので、テキスト生成の条件判断をより的確に実行することができる。例えば、他の場所の気温を考慮することにより、火災検知を行うことができる。同様に他の場所にある人物カウンタ値を用いることにより侵入者監視を行うことができる。

＜実施の形態６＞
本実施の形態にかかる撮像システム１０は、サーバ２がフォーマットデータを通知先に送信することを特徴とする。本実施の形態にかかる撮像システム１０について、実施の形態６と異なる点を以下に説明する。

図１３は、本実施の形態にかかる撮像システム１０の構成を示すブロック図である。本実施の形態にかかる撮像システム１０は、図１２の構成と比べ、送受信部６０１がフォーマットデータを撮像装置１内の送受信部４０６に送信することなく、そのまま通知先情報が指し示す通知先に対して送信する点が異なる。他の処理については、図１２の構成と略同一であればよい。

図１３に示す構成では、サーバ２が生成したテキストを直接、通知先に送信する。これにより、実施の形態５と比較して、撮像装置１の処理負荷が更に軽減される。

＜実施の形態７＞
本実施の形態にかかる撮像システム１０は、複数の撮像装置１からサーバ２に対して情報を送信可能であることを特徴とする。本実施の形態にかかる撮像システム１０について、実施の形態６と異なる点を以下に説明する。

図１４は、本実施の形態にかかる撮像システム１０の構成を示すブロック図である。図示するように、撮像システム１０は、複数の撮像装置１を備える。撮像装置１は、それぞれ送受信部４０６から情報（解析データ、テキスト生成ルール、センサ情報）をサーバ２内の送受信部６０１に供給する。

テキスト生成ルール情報格納部６０５は、複数の撮像装置１に関連するテキスト生成ルール情報を保持可能である。例えば、テキスト生成ルール情報格納部６０５は、「複数の撮像装置１の撮像データの全てにおいて、画面下部にユーザＹが検出された場合、テンプレート５を用いてテキストを生成し、ユーザＺにメール通知する」ことが規定されたテキスト生成ルール情報を保持する。

図１５は、本実施の形態にかかるテキスト生成ルール情報格納部６０５が保持するテキスト生成ルール情報を示す図である。図示するように、条件に、画像解析部４０１の検出した検出物と、その検出物の検出位置等を示す検出状態と、に加えて、撮像装置の情報が含まれる。例えば、たとえば図１５（Ｎｏ．１）では、いずれかの撮像装置１の撮像画像内に識別番号１（鳥）のオブジェクトが画面上部に検出された場合にテンプレート１（後述）を用いてメール通知用のテキストを作成し、作成したテキストをＡさんのメールアドレス（Ａ＠ｍａｉｌ．ｃｏｍ）に送信することが規定されている。図１５（Ｎｏ．４）では、サーバと接続する全ての撮像装置１の撮像画像内に識別番号７（ライオン）のオブジェクトが画面下部に検出された場合にテキスト「ライオン発見！」をミニブログに送信することが規定されている。サーバ２内の条件判断部６０２は、このテキスト生成ルール情報と、複数の撮像装置１から供給された情報を用いて条件判断を行う。なお、以降の処理は、実施の形態６と同様である。

図１４の構成では、サーバ２が複数の撮像装置１から取得した情報を基にテキスト生成の条件判断及びテキスト生成処理を行う。複数の撮像装置１からの解析データを基に条件判断を行うことができるため、より精度の高い条件判断を行うことができるとともに、複雑な条件判断を行うことができる。

以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。例えば、上述の例では、テンプレートがＸＭＬ形式で記載されていたが必ずしもこれに限られず、他の形式で記載されていても良い。

また、メインメモリ２０６に記憶されるテキスト生成ルール情報格納部５０１内のテキスト生成ルール情報、及びテンプレート格納部５０２内のテンプレート情報は、撮像装置１に着脱可能な外部記憶装置（たとえばＵＳＢメモリ）に記憶されていても良く、ネットワーク上からダウンロードしても良い。ダウンロードする場合、中央制御部４００内のＲＡＭが記憶部として動作する。

上述の画像解析部４０１、条件判断部４０２、テキスト生成部４０４、フォーマットデータ生成部４０５、及び送受信部４０６の各処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

１ 撮像装置
２ サーバ
１０ 撮像システム
１００ 撮像部
１０１ ズームレンズ
１０２ フォーカスレンズ
１０３ 絞り
１０４ 撮像素子
１０５ アナログ画像信号処理部
１０６ 画像Ａ／Ｄ変換部
１０７ 画像入力コントローラ
１０８ デジタル信号処理部
１０９ マイク
１１０ アナログ音声信号処理部
１１１ 音声Ａ／Ｄ変換部
１１２ 音声入力コントローラ
１１３ 多重化部
２００ バス
２０１ 圧縮・身長処理部
２０２ 音声・画像処理部
２０３ ＲＯＭ
２０４ フラッシュＲＯＭ
２０５ ＶＲＡＭ
２０６ メインメモリ
３０３ 入出力Ｉ／Ｆ
３０４ 液晶モニタ
３０５ スピーカ
３０６ 操作部
３０７ 入出力端子
３０８ 無線Ｉ／Ｆ
３０９ 無線モジュール
３１０ 通信Ｉ／Ｆ
３１１ 通信モジュール
４００ 中央制御部
４０１ 画像解析部
４０２ 条件判断部
４０３ 条件設定部
４０４ テキスト生成部
４０５ フォーマットデータ生成部
４０６ 送受信部
４０７ コマンド整形部
４０８ センサ部
４０９ 表示制御部
５０１ テキスト生成ルール情報格納部
５０２ テンプレート格納部
６０１ 送受信部
６０２ 条件判断部
６０３ テキスト生成部
６０４ フォーマットデータ生成部
６０５ テキスト生成ルール情報格納部
６０２ テンプレート格納部

Claims (8)

1. 撮像データを取得する撮像部と、
   前記撮像データを解析した解析データを生成する画像解析部と、
   テキストの生成条件、テキスト生成規則を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報、が関連付けられたテキスト生成ルール情報を格納するテキスト生成ルール情報格納部と、
   ユーザからの入力を受け付けて前記テキスト生成ルール情報格納部内の前記テキスト生成ルール情報を設定する条件設定部と、
   前記解析データと、前記生成条件と、に基づいて、対応する前記テキスト生成情報、前記アプリケーション情報、及び前記通知先情報を抽出する条件判断部と、
   前記条件判断部が抽出したテキスト生成情報に基づいて、テキストを生成するテキスト生成部と、
   前記テキスト生成部が生成したテキストを、前記条件判断部が抽出した前記アプリケーション情報に応じて整形したフォーマットデータを生成するフォーマットデータ生成部と、
   前記フォーマットデータを前記条件判断部が抽出した前記通知先情報の指し示す通知先に送信する送信部と、を備えることを特徴とする撮像装置。
2. テキスト生成に用いるテンプレートを少なくとも一つ格納するテンプレート格納部を更に備え、
   前記テキスト生成情報は、前記テンプレート格納部が格納するテンプレートの識別子であるテンプレート情報を含み、
   前記テキスト生成部は、前記条件判断部が抽出した前記テキスト生成情報内の前記識別子に対応するテンプレートを前記テンプレート格納部から読み出し、読み出したテンプレートに前記解析データ内の情報または前記解析データから特定できる情報を埋め込んだテキストを生成することを特徴とする請求項１に記載の撮像装置。
3. 前記テンプレート格納部に含まれるテンプレートの各々は、送信先において実行可能なコマンド情報の生成に用いるコマンドタグ情報を含み、
   前記フォーマットデータ生成部は、前記条件判断部が抽出した前記アプリケーション情報と、前記コマンドタグ情報に基づいて、前記テキスト生成部が生成したテキストに実行可能コマンドを埋め込んだ前記フォーマットデータを生成することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記撮像装置の周辺状況情報を取得するセンサ部を更に備え、
   前記条件判断部は、前記センサ部が取得した周辺状況情報に基づいて前記テキスト生成情報、アプリケーション情報、及び前記通知先情報の抽出を行うことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記テキスト生成部が生成したテキストと前記撮像データを合わせたＯＳＤ画像、または、前記テキスト生成部が生成したテキストを画像化した埋め込み用テキスト画像を生成するを生成する表示制御部と、
   前記ＯＳＤ画像、または前記埋め込み用テキスト画像が埋め込まれた画像を表示する表示部と、
   を更に備えることを特徴とする請求項請求項１〜４のいずれか１項に記載の撮像装置。
6. 撮像装置とサーバとを備える撮像システムであって、
   前記撮像装置は、
   撮像データを取得する撮像部と、
   前記撮像データを解析した解析データを生成する画像解析部と、
   ユーザからの入力を受け付けて、テキストの生成条件、テキスト生成規則を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報、が関連付けられたテキスト生成ルール情報を設定する条件設定部と、
   前記解析データ及び前記テキスト生成ルール情報を前記サーバに送信する第１送信部と、を備え、
   前記サーバは、
   前記テキスト生成ルール情報を格納するテキスト生成ルール情報格納部と、
   前記解析データと、前記生成条件と、に基づいて、対応する前記テキスト生成情報、前記アプリケーション情報、及び前記通知先情報を抽出する条件判断部と、
   前記条件判断部が抽出したテキスト生成情報に基づいて、テキストを生成するテキスト生成部と、
   前記テキスト生成部が生成したテキストを、前記条件判断部が抽出した前記アプリケーション情報に応じて整形したフォーマットデータを生成するフォーマットデータ生成部と、
   前記フォーマットデータを前記条件判断部が抽出した前記通知先情報の指し示す通知先に送信する第２送信部と、を備えることを特徴とする撮像システム。
7. 撮像データを解析した解析データを生成するステップと、
   予め記憶されたテキストの生成条件と、前記解析データと、に基づいて、テキスト生成規則を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報を抽出するステップと、
   前記抽出したテキスト生成情報に基づいて、テキストを生成するステップと、
   前記生成したテキストを、前記抽出した前記アプリケーション情報に応じて整形したフォーマットデータを生成するステップと、
   前記フォーマットデータを前記抽出した前記通知先情報の指し示す通知先に送信するステップと、からなることを特徴とするテキスト生成方法。
8. コンピュータに、
   撮像データを解析した解析データを生成するステップと、
   予め記憶されたテキストの生成条件と、前記解析データと、に基づいて、テキスト生成方法を示すテキスト生成情報、生成したテキストを使用するアプリケーション情報、及び生成したテキストの通知先を示す通知先情報を抽出するステップと、
   前記抽出したテキスト生成情報に基づいて、テキストを生成するステップと、
   前記生成したテキストを、前記抽出した前記アプリケーション情報に応じて整形したフォーマットデータを生成するステップと、
   前記フォーマットデータを前記抽出した前記通知先情報の指し示す通知先に送信するステップと、を実行させることを特徴とするプログラム。

Images