JP2020061656A

JP2020061656A - 撮像装置およびデータ保存方法

Info

Publication number: JP2020061656A
Application number: JP2018191734A
Authority: JP
Inventors: 英利香西村; Erika NISHIMURA; 拓也平岡; Takuya Hiraoka; 中野　聡; Satoshi Nakano; 聡中野; 聡司峯澤; Satoshi Minesawa; 齊藤　信; Makoto Saito; 信齊藤; 杏奈大森; Anna Omori; 成彦小池; Narihiko Koike; 遥松尾; Haruka Matsuo
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-10-10
Filing date: 2018-10-10
Publication date: 2020-04-16
Anticipated expiration: 2038-10-10
Also published as: JP7278051B2

Abstract

【課題】不要な撮影データを保存してしまうのを抑制可能な撮像装置を得ること。【解決手段】撮像装置１は、撮像部１２と、撮像部１２が撮影を行い生成した撮影データを解析して、被写体の特徴を表す撮影情報を抽出する抽出部１５と、被写体の状態を表す情報を外部の機器から取得する情報取得部１４と、撮影情報と、情報取得部１４が取得する情報である外部情報とに基づいて、撮影データの保存が必要か否かを判定する知能部１６と、撮影データの保存が必要と知能部１６が判定した場合に、知能部１６での判定に用いられた撮影情報の抽出元の撮影データの生成時点を含む一定期間の撮影データを保存する記憶部１３と、を備える。【選択図】図１

Description

本発明は、予め定められた状態を検出した場合に撮影データを保存する撮像装置およびデータ保存方法に関する。

予め定められた状態を検出した場合に撮影データを保存する従来の撮像装置として、特許文献１に記載の発明が存在する。

特許文献１に記載の発明は、ユーザの各種の生体情報を検出する各種センサを備えて構成される生体センサ部を有し、生体センサ部で検出した生体情報に基づいて推定したユーザの心理状態が予め定められた状態の場合、撮影を開始し、撮影データを記録媒体に保存する。

特開２００８−２６３２７４号公報

特許文献１に記載の発明では、センサで検出した生体情報に基づいてユーザの心理状態を推定し、撮影を開始するか否かの判定を行うため、センサの誤検知により不要な撮影が行われる可能性がある。また、シチュエーションに無関係な思い返しなどのユーザの心理変化に反応して不要な撮影が行われる可能性がある。すなわち、特許文献１に記載の発明は、撮影を開始するか否かの判定精度を高めることが難しく、保存する必要のない撮影データも保存してしまうという問題があった。

本発明は、上記に鑑みてなされたものであって、不要な撮影データを保存してしまうのを抑制可能な撮像装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、撮像部と、撮像部が撮影を行い生成した撮影データを解析して、被写体の特徴を表す撮影情報を抽出する抽出部と、被写体の状態を表す情報を外部の機器から取得する情報取得部と、を備える。また、撮像装置は、撮影情報と、情報取得部が取得する情報である外部情報とに基づいて、撮影データの保存が必要か否かを判定する判定部と、撮影データの保存が必要と判定部が判定した場合に、判定部での判定に用いられた撮影情報の抽出元の撮影データの生成時点を含む一定期間の撮影データを保存する記憶部と、を備える。

本発明によれば、不要な撮影データを保存してしまうのを抑制可能な撮像装置を得ることができる、という効果を奏する。

本発明にかかる撮像装置の構成例を示す図実施の形態１にかかる撮像装置の動作の一例を示すフローチャート実施の形態２にかかる撮像装置の動作の一例を示すフローチャート実施の形態３にかかる撮像装置の動作の一例を示すフローチャート実施の形態４にかかる撮像装置の動作の一例を示すフローチャート実施の形態５にかかる撮像装置の動作の一例を示すフローチャート実施の形態６にかかる撮像装置の動作の一例を示すフローチャート

以下に、本発明の実施の形態にかかる撮像装置およびデータ保存方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

図１は、本発明にかかる撮像装置の構成例を示す図である。図１は、後述する各実施の形態にかかる撮像装置の構成を示す。すなわち、各実施の形態にかかる撮像装置の構成は同一である。

本発明にかかる撮像装置１は、処理部１１、撮像部１２、記憶部１３、情報取得部１４、抽出部１５および知能部１６を備える。

処理部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などからなり、撮像装置１を構成する各部を制御するとともに、各部との間でデータの受け渡しを行う。撮像部１２は、カメラ素子、ＲＡＭ、タイマなどからなり、被写体を撮影する。記憶部１３は、ＲＯＭなどからなり、撮像部１２が被写体を撮影して生成される撮影データを受け取って保存する。撮像部１２から出力される撮影データは、画像、動画および音声といったデータを含んで構成される。

情報取得部１４は、ネットワーク１００に接続可能なインタフェース回路を備え、ネットワーク１００を介して外部の機器から情報を取得する。ネットワーク１００の形態は、無線および有線のどちらでもよく、また、使用する通信規格を問わない。ネットワーク１００は複数種類のネットワークで構成されてもよい。この場合、情報取得部１４は、少なくともいずれか一つのネットワークに接続可能であればよい。なお、以下の説明では、情報取得部１４が外部の機器から取得する情報を外部情報と称する場合がある。外部情報は、外部の機器から通信によって得られるセンサ情報および制御情報の少なくとも一方とする。外部の機器は、例えば、撮像装置１の被写体の状態を監視するための生体センサであり、この場合、生体センサが出力する外部情報は、被写体の状態を表す。外部情報はマイクロフォンから出力される音声データであってもよい。なお、図１では、ネットワーク１００を介して外部の機器と撮像装置１が通信を行う構成の例を示したが、外部の機器がネットワーク１００を介さずに撮像装置１に直接接続され、撮像装置１と外部の機器が直接通信する構成であってもよい。各実施の形態において、外部情報は、被写体の状態を表す情報である。

抽出部１５は、ＣＰＵ、ＲＯＭなどからなり、また、ＲＯＭで実現されたデータベースを備え、予め定められた条件を満たした場合に、撮像部１２から出力される撮影データを解析して撮影情報を抽出する。予め定められた条件とは、撮影情報を前回抽出してから一定時間が経過した場合、処理部１１から指示を受けた場合、などが該当する。また、撮影情報とは、被写体の特徴を表す情報であり、撮影データが表す画像に含まれる人の数、人の表情、被写対象の種類など、複数種類の特徴のそれぞれを数値で表す。抽出部１５は、撮影データの解析を行う際、データベースに登録されているデータを使用する。抽出部１５は、例えば、撮影データの解析において、画像に含まれる人、動物などの検出、人の表情の判定、物体の種類の判定、といった処理を行う際に、データベースに登録されているデータを使用する。

知能部１６は、ＲＯＭで実現されたデータベースを備え、情報取得部１４が取得した外部情報と抽出部１５が抽出した撮影情報とに基づいて特徴ベクトルを生成し、生成した特徴ベクトルを用いてハイライト判定を行う。本明細書において、ハイライトとは、一般に人間の記憶に強く印象づけられる出来事全般と定義し、場の盛り上がりであったり、事件であったり、静かでも強く心を動かされるシーンであったりというような出来事を指すものとする。

知能部１６が生成する特徴ベクトルは、撮像装置１の被写体の特徴を表す。知能部１６が行うハイライト判定とは、特徴ベクトルが示すパターンが、知能部１６が備えるデータベースに登録されている特定のパターンを示すとみなせるか否かを判定する処理である。すなわち、知能部１６が行うハイライト判定は、特徴ベクトルが示すパターンと同様とみなせるパターンがデータベースに存在するか否かを判定する処理である。知能部１６が備えるデータベースには、ハイライト判定に用いられるパターンが１つ以上予め登録されているものとする。知能部１６がハイライト判定によりハイライトを検出した場合、撮像装置１は、撮像部１２が生成した、ハイライトを検出した時点を含む一定時間における撮影データを記憶部１３に保存する。知能部１６は、撮影データの保存が必要か否かを判定する判定部である。

ここで、後述する各実施の形態の構成について説明する。本発明にかかる撮像装置１の実施の形態は、性能面での差異により２通り、制御面での差異により３通りに分類できる。全ての実施の形態において共通しているのは、以下の５点である。

（共通点１）
撮像装置１は、撮影情報抽出のために常時撮影を行う。本発明において、撮影のトリガー判定とは、撮影を行い得られた撮影データに対してハイライト判定を行い、ハイライト、すなわち、予め定められた状態の被写体を撮影した撮影データであるか否かを判定する処理である。撮像装置１は、ハイライトと判定した場合、ハイライト判定に用いた特徴ベクトルに対応する撮影データを記憶部１３に保存し、ハイライトではないと判定した場合、ハイライト判定に用いた特徴ベクトルに対応する撮影データを記憶部１３に保存せずに破棄する。これは、何らかの情報を得てからハイライト判定し、ハイライトである場合に撮影を開始するのでは、撮影開始までに遅延が生じ、実際のハイライト、すなわち、撮影したいシーンを撮り逃してしまう可能性があるためである。このような心配のない使用においては、ハイライトの検出を実際の撮影開始のトリガーとしてもよいが、撮像装置１には、元々撮影情報抽出のために撮影しているデータが存在するので、このデータを撮影開始のトリガーのタイミングから記憶部１３に保存するだけでよい。ハイライトを検出した場合に記憶部１３に保存する撮影データは、例えば、ハイライトを検出してから一定時間が経過するまでの間の撮影で得られた撮影データとする。一定時間は例えば１５秒であるが、この時間に限定するものではない。

（共通点２）
撮像装置１において、撮像部１２を構成するカメラ素子を１つに限定しない。また、撮像部１２は、移動、発光などの動作を行う装置を付随してもよい。この付随装置については、付随装置自身が移動、発光などの動作の制御を行ってもよい。また、付随装置が動作の制御を行う際に、処理部１１が外部情報および撮影情報の少なくとも一方を付随装置へフィードバックしてもよい。また、撮像装置１の処理部１１が付随装置の動作を制御するようにしてもよい。

（共通点３）
撮像装置１においては、処理部１１が撮影情報、外部情報および撮影データの各部への受け渡しを行う。また、撮像装置１の変形例として、撮像装置１の各部を複数持つ大規模な撮像システムを生成することも可能である。例えば、図１に示した処理部１１、撮像部１２、情報取得部１４、抽出部１５および知能部１６からなるブロックを複数備え、また、各ブロックでの撮影で得られた撮影データを保存する１つの記憶部を備えた撮像システムを生成可能である。このような構成の撮像システムでは、各ブロックにおいて独立に、ハイライト判定と、撮影データの記憶部への保存とを行う。

（共通点４）
撮像装置１の知能部１６は、外部情報と撮影情報とを使用してハイライト判定を行うとき、片方ずつの判定基準に照らし合わせるのではなく、両方を合わせた判定基準を用いる。合わせ方は足し算および掛け算ではなく、それぞれの情報から得られる特徴ベクトルの結合という形をとる。

（共通点５）
撮像装置１がハイライトの検出に伴い記憶部１３に保存した撮影データは、情報取得部１４を通じて任意のタイミングでネットワーク１００へ出力可能とする。任意のタイミングであるので、タイミングを限定してもよい。出力するネットワーク１００は、外部情報を受信するネットワークと同一のネットワークに限定しない。また、ネットワーク１００を介さずフラッシュメモリなどを用いて記憶部１３から直接出力することも可能とする。

本発明にかかる撮像装置１は、性能面での差異に着目すると、２種類の構成に分類される。具体的には、撮像装置１は、知能部１６のハイライト判定のリアルタイム性を前提とした処理を行う構成と、撮影データを常時保存するようにしてハイライト判定が遅れても問題ないようにする構成とに分類される。

また、本発明にかかる撮像装置１は、制御面での差異に着目すると、３種類の構成に分類される。具体的には、撮像装置１は、外部情報の取得と撮影情報の取得とをそれぞれ独立に行い、取得した外部情報および撮影情報を合わせてハイライト判定を行う構成と、外部情報を取得した場合に撮影情報を取得し、取得した２つの情報を合わせてハイライト判定を行う構成と、まず撮影情報を用いて外部情報を取得する必要性を判定し、必要と判定した場合に外部情報を取得し、撮影情報と外部情報とを合わせてハイライト判定を行う構成とに分類される。

以上のことから、撮像装置１の実施の形態は６通りとなる。各実施の形態について、以下に説明する。

実施の形態１．
図２は、実施の形態１にかかる撮像装置１の動作の一例を示すフローチャートである。実施の形態１にかかる撮像装置１は、ハイライト判定のリアルタイム性を前提とし、かつ、外部情報の取得と撮影情報の取得とをそれぞれ独立に行う構成である。

実施の形態１では、例えばカラオケ機器に撮像装置１を連携させるとする。この場合、カラオケ機器が外部機器となる。情報取得部１４が外部機器から受信する外部情報としては、マイク入力情報、楽曲演奏情報、得点情報、付属楽器動作センサ情報などが挙げられる。マイク入力情報とはマイクで検出した音声の内容を表す電気信号、すなわち音声データである。楽曲演奏情報とは、演奏されている楽曲の情報である。付属楽器動作センサ情報とは、カラオケ機器に付属の楽器が動作中か否かを示す情報であり、例えば、楽器が発する音を検出するセンサが付属楽器動作センサ情報を出力する。カラオケ機器は、短い間隔で、例えば、１秒間隔で、上記の外部情報をネットワーク１００に送信するものとする。

撮像装置１は、例えば、撮影を開始するための操作をユーザが行ったことを検出すると、動作を開始する。図２に示したように、撮像装置１が動作を開始すると、撮像部１２が撮影を開始する（ステップＳ１１）。なお、実施の形態１にかかる撮像装置１の撮像部１２は、撮影を行って得られる撮影データを、撮像部１２内のＲＡＭなどのメモリで一時的に保持し、処理部１１から指示を受けた場合に、メモリで保持している撮影データを処理部１１へ出力する。撮像部１２は、撮影を終了するための操作をユーザが行うまで、撮影を継続する。

撮像部１２が撮影を開始後、抽出部１５は、一定時間待機を行い（ステップＳ１２）、待機状態となってから一定時間が経過すると、撮像部１２が一時的に保持している撮影データから撮影情報を抽出する（ステップＳ１３）。抽出部１５が待機を行う時間、すなわち、一定時間は例えば１秒とするが、一定時間を１秒に限定するものではない。一定時間は１秒よりも短くしてもよいし長くしてもよい。

一方、情報取得部１４は、撮像部１２が撮影を開始後、受信待機状態となり、外部機器から外部情報が送信されてくるのを待つ（ステップＳ１４）。情報取得部１４は、外部機器が外部情報を送信するとこれを受信する（ステップＳ１５）。

処理部１１は、抽出部１５が撮影情報を抽出するとこれを受け取り、また、情報取得部１４が外部情報を受信するとこれを受け取り、受け取った撮影情報および外部情報を知能部１６に入力する（ステップＳ１６）。

本実施の形態では、抽出部１５の処理と情報取得部１４の処理は並列に行われる。知能部１６によるハイライト判定の精度を向上させるためには、同じタイミングで取得される撮影情報と外部情報を使用するのが望ましい。すなわち、抽出部１５が撮影情報を抽出するタイミングと、情報取得部１４が外部情報を取得するタイミングが同期することが望ましい。そのため、処理部１１は、動作を開始後、情報取得部１４が外部情報を取得するタイミング、すなわち、外部機器が外部情報を送信するタイミングを監視し、監視結果に基づいて、撮影情報を抽出するタイミングを抽出部１５に指示してもよい。例えば、情報取得部１４が周期的に外部情報を取得する場合、処理部１１は、抽出部１５に対して、撮影情報の抽出を開始するタイミングおよび撮影情報を抽出する周期を指示する。抽出部１５は、処理部１１から指示されたタイミングおよび周期で撮影情報の抽出処理を実行する。抽出部１５が撮影情報を抽出するタイミングおよび情報取得部１４が外部情報を取得するタイミングは、予め同期するように設定しておいてもよい。例えば、撮像装置１が動作を開始する際、処理部１１が、抽出部１５および情報取得部１４に対して、同じタイミングで情報を出力するよう、情報の出力タイミングを指示する。なお、情報取得部１４は、外部情報を出力するタイミングの指示を処理部１１から受けると、指示されたタイミングで外部情報を送信するよう外部機器に設定変更を要求する。また、外部機器は、撮像装置１からの要求に応じて外部情報の送信タイミングを変更できる構成であるものとする。

知能部１６は、処理部１１から情報が入力されると、データベースを使用して、入力された外部情報および撮影情報と照らし合わせ、ハイライトであるかを判定する。知能部１６は、判定結果を処理部１１に出力する。

知能部１６がハイライトを検出した場合（ステップＳ１７：Ｙｅｓ）、処理部１１は、撮像部１２から撮影データを取得し、記憶部１３に保存する（ステップＳ１８）。処理部１１は、例えば、ハイライトが検出された時点から一定時間が経過するまでの間の撮影データを取得し、記憶部１３に保存する。一定時間の例は１５秒であるがこれより短い時間としてもよいし長い時間としてもよい。一定時間は、次にハイライト判定が行われるまでの間の時間としてもよい。すなわち、処理部１１は、一度ハイライトが検出されると、ハイライトが検出されなくなるまで撮影データを記憶部１３に保存し続けるようにしてもよい。また、処理部１１は、ハイライトが検出された時点よりも少し前の時点から一定時間が経過するまでの間の撮影データを取得し、記憶部１３に保存するようにしても構わない。ステップＳ１８の後、撮像装置１は、ステップＳ１２およびＳ１４に戻り、動作を継続する。

知能部１６がハイライトを検出しない場合（ステップＳ１７：Ｎｏ）、撮像装置１は、ステップＳ１８を実行せずにステップＳ１２およびＳ１４に戻り、動作を継続する。

このように、本実施の形態にかかる撮像装置１は、撮影を行っている間、撮影データから抽出した撮影情報と、外部機器から取得した外部情報とに基づいてハイライト判定を行い、ハイライトを検出すると、撮影データを記憶部１３に記憶する。これにより、ハイライト判定の精度を高めることができ、誤ったハイライト判定により不要な撮影データを記憶部１３に保存してしまうのを抑制可能となる。

カラオケイベントでは、撮影対象の人は常にハイライトを引き起こしやすい活性状態にあると考えられ、外部情報と撮影情報の常時取得によりハイライトを撮り逃さないことが必要となる。従って本実施の形態が適切である。

なお、情報取得部１４が外部情報を取得する周期と、抽出部１５が撮影情報を抽出する周期が大きく異なるケースも考えられる。例えば、情報取得部１４が外部情報を取得する周期が１秒、抽出部１５が撮影情報を抽出する周期が３秒である場合、処理部１１が外部情報と撮影情報の双方を取得できるタイミングは３秒周期となる。このような場合、処理部１１は、外部情報および撮影情報の双方が取得できるタイミングでは２つの情報を知能部１６に入力し、外部情報のみを取得できるタイミングでは外部情報のみを知能部１６に入力する。知能部１６は２つの情報を受け取った場合は２つの情報を用いてハイライト判定を行い、１つの情報のみを受け取った場合は１つの情報のみを用いてハイライト判定を行うようにしても構わない。この場合、知能部１６が有するデータベースには、１つの情報のみでハイライト判定を行う際に比較するパターンが登録される。このような構成であっても、撮像装置１は、少なくとも数回に１回の割合で、撮影情報および外部情報を用いたハイライト判定を行うことができ、１つの情報を用いてハイライト判定を行う場合よりも、トータルでの判定精度は高まる。

実施の形態２．
図３は、実施の形態２にかかる撮像装置１の動作の一例を示すフローチャートである。実施の形態２にかかる撮像装置１は、ハイライト判定のリアルタイム性を前提とせず、かつ、外部情報の取得と撮影情報の取得とをそれぞれ独立に行う構成である。実施の形態２にかかる撮像装置１はハイライト判定のリアルタイム性を前提としないため、撮影データを記憶部１３へ常時保存するようにしてハイライト判定が遅れても問題ないようにする。また、実施の形態２にかかる撮像装置１は、ハイライト判定の結果、ハイライトではないと判定すると、ハイライトではないシーンに対応する撮影データを記憶部１３から削除する。

実施の形態１と同様に、本実施の形態においても、カラオケ機器に撮像装置１を連携させるとする。ただし、本実施の形態にかかる撮像装置１は、ハイライト判定のリアルタイム性が保証されておらず、ハイライトを検出して撮影データの保存を開始すると本当に必要なシーンの撮影データを保存できない可能性があるものとする。

実施の形態２にかかる撮像装置１が動作を開始すると、撮像部１２は撮影を開始し、処理部１１は撮像部１２が出力する撮影データの記憶部１３への保存を開始する（ステップＳ２１）。実施の形態１と同様に、撮像部１２は、撮影を終了するための操作をユーザが行うまで、撮影を継続する。同様に、処理部１１は、撮影を終了するための操作をユーザが行うまで、撮影データを記憶部１３に保存する動作を継続する。

図３に示したステップＳ１２〜Ｓ１７の処理は図２に示したステップＳ１２〜Ｓ１７の処理と同じ処理であるため、説明を省略する。

知能部１６がハイライトを検出した場合（ステップＳ１７：Ｙｅｓ）、撮像装置１は、ステップＳ１２およびＳ１４に戻り、動作を継続する。

知能部１６がハイライトを検出しない場合（ステップＳ１７：Ｎｏ）、処理部１１が、ハイライト判定に対応する撮影データを記憶部１３から削除する（ステップＳ２２）。処理部１１は、例えば、知能部１６がハイライトではないと判定した時点から一定時間前までの間の撮影データを記憶部１３から削除する。ステップＳ２２の後、撮像装置１は、ステップＳ１２およびＳ１４に戻り、動作を継続する。

このように、本実施の形態にかかる撮像装置１は、撮影を行っている間、撮影データを記憶部１３に保存し、撮影データから抽出した撮影情報と、外部機器から取得した外部情報とに基づいてハイライト判定を行う。撮像装置１は、ハイライトを検出しない場合、実行したハイライト判定の結果に対応する撮影データを記憶部１３から削除する。これにより、ハイライト判定の精度を高めることができ、誤ったハイライト判定により不要な撮影データを保存してしまうのを抑制可能となる。また、必要なシーンの撮影データを確実に保存することができる。

実施の形態３．
図４は、実施の形態３にかかる撮像装置１の動作の一例を示すフローチャートである。実施の形態３にかかる撮像装置１は、ハイライト判定のリアルタイム性を前提とし、かつ、外部情報を取得した場合に撮影情報を取得してハイライト判定を行う構成である。

実施の形態３では、例えば、熱温度カメラ付きエアコンに撮像装置１を連携させるとする。この場合、熱温度カメラ付きエアコンが外部機器となる。情報取得部１４が外部機器から受信する外部情報は、例えば、熱温度カメラから得られる検知範囲にいる人の顔面の表面温度の変化を示す情報とする。顔面の表面温度は普段はほぼ変化せず、例えばサプライズイベントなどのハイライトにおいて変化すると考えられる。外部機器は、例えば、一定時間あたりの顔面温度の変化量がしきい値を超えた場合に外部情報をネットワーク１００に送信するものとする。よって、撮像装置１は、外部情報を不定期に受信する。

撮像装置１が動作を開始すると、撮像部１２が撮影を開始する（ステップＳ３１）。なお、実施の形態３にかかる撮像装置１の撮像部１２は、撮影を行って得られる撮影データを、撮像部１２内のＲＡＭなどのメモリで一時的に保持し、処理部１１から指示を受けた場合に、メモリで保持している撮影データを処理部１１へ出力する。撮像部１２は、撮影を終了するための操作をユーザが行うまで、撮影を継続する。

撮像部１２が撮影を開始後、情報取得部１４は、受信待機状態となり、外部機器から外部情報が送信されてくるのを待つ（ステップＳ３２）。情報取得部１４は、外部機器が外部情報を送信するとこれを受信し（ステップＳ３３）、受信した外部情報を処理部１１に出力する。外部情報を受け取った処理部１１は、抽出部１５に対して撮影情報の抽出を指示し、抽出部１５は、撮像部１２が一時的に保持している撮影データから撮影情報を抽出する（ステップＳ３４）。抽出部１５は、抽出した撮影情報を処理部１１に出力する。

処理部１１は、抽出部１５から受け取った撮影情報および情報取得部１４から受け取った外部情報を知能部１６に入力する（ステップＳ１６）。図４に示したステップＳ１６〜Ｓ１８までの処理は図２に示したステップＳ１６〜Ｓ１８と同じ処理であるため、説明を省略する。

このように、本実施の形態にかかる撮像装置１は、撮影を行っている間、外部機器から外部情報が送信されてくるのを待ち、外部情報を受信すると撮影データから撮影情報を抽出し、外部情報と撮影情報とに基づいてハイライト判定を行う。また、撮像装置１は、ハイライト判定でハイライトを検出すると、撮影データを記憶部１３に記憶する。これにより、ハイライト判定の精度を高めることができ、誤ったハイライト判定により不要な撮影データを記憶部１３に保存してしまうのを抑制可能となる。

外部機器が不定期に外部情報を送信する構成の場合、外部情報を受信した場合にのみハイライト判定を行った方が知能部１６の負荷が小さい。従って、外部機器が不定期に外部情報を送信する構成の場合には本実施の形態が適切である。

なお、外部機器が定期的に外部情報を送信する構成の場合に本実施の形態を適用することも可能である。

実施の形態４．
図５は、実施の形態４にかかる撮像装置１の動作の一例を示すフローチャートである。実施の形態４にかかる撮像装置１は、ハイライト判定のリアルタイム性を前提とせず、かつ、外部情報を取得した場合に撮影情報を取得してハイライト判定を行う構成である。実施の形態４にかかる撮像装置１はハイライト判定のリアルタイム性を前提としないため、ハイライト判定を行う前に撮影データの記憶部１３への保存を開始し、ハイライト判定が遅れても問題ないようにする。また、実施の形態４にかかる撮像装置１は、ハイライト判定の結果、ハイライトではないと判定すると、ハイライトではないシーンに対応する撮影データを記憶部１３から削除する。

実施の形態３と同様に、本実施の形態においても、熱温度カメラ付きエアコンに撮像装置１を連携させるとする。ただし、本実施の形態にかかる撮像装置１は、ハイライト判定のリアルタイム性が保証されておらず、ハイライトを検出して撮影データの保存を開始すると本当に必要なシーンの撮影データを保存できない可能性があるものとする。

撮像装置１が動作を開始すると、撮像部１２が撮影を開始する（ステップＳ３１）。なお、実施の形態４にかかる撮像装置１の撮像部１２は、撮影を行って得られる撮影データを、撮像部１２内のＲＡＭなどのメモリで一時的に保持し、処理部１１から指示を受けた場合に、メモリで保持している撮影データを処理部１１へ出力する。撮像部１２は、撮影を終了するための操作をユーザが行うまで、撮影を継続する。

撮像部１２が撮影を開始後、情報取得部１４は、受信待機状態となり、外部機器から外部情報が送信されてくるのを待つ（ステップＳ３２）。情報取得部１４は、外部機器が外部情報を送信するとこれを受信し（ステップＳ３３）、受信した外部情報を処理部１１に出力する。処理部１１は、外部情報を受け取ると、撮像部１２から出力される撮影データの記憶部１３への保存を開始する（ステップＳ４１）。処理部１１は、例えば、外部情報を受け取った時点から一定時間が経過するまでの間の撮影データを取得し、記憶部１３に保存する。このステップＳ４１に続くステップＳ３４、Ｓ１６およびＳ１７は、図４に示したステップＳ３４、Ｓ１６およびＳ１７と同じ処理であるため、説明を省略する。

知能部１６がハイライトを検出した場合（ステップＳ１７：Ｙｅｓ）、撮像装置１は、ステップＳ３２に戻り、動作を継続する。この場合、処理部１１は、撮影データの記憶部１３への保存を、保存を開始してから予め定められた時間が経過するまで、例えば１５秒が経過するまで、行う。

知能部１６がハイライトを検出しない場合（ステップＳ１７：Ｎｏ）、処理部１１は、撮影データの記憶部１３への保存を終了し、ハイライト判定に対応する撮影データを記憶部１３から削除する（ステップＳ４２）。このステップＳ４２において、処理部１１は、外部情報を受信してから撮影データの記憶部１３への保存を終了するまでの間の撮影データを記憶部１３から削除する。ステップＳ４２の後、撮像装置１は、ステップＳ３２に戻り、動作を継続する。

このように、本実施の形態にかかる撮像装置１は、撮影を行っている間、外部機器から外部情報が送信されてくるのを待ち、外部情報を受信すると、撮影データの記憶部１３への保存を開始するとともに、撮影データから撮影情報を抽出し、外部情報と撮影情報とに基づいてハイライト判定を行う。また、撮像装置１は、ハイライト判定でハイライトを検出しない場合、撮影データの記憶部１３への保存を終了し、ハイライト判定に対応する撮影データを記憶部１３から削除する。これにより、ハイライト判定の精度を高めることができ、誤ったハイライト判定により不要な撮影データを記憶部１３に保存してしまうのを抑制可能となる。また、必要なシーンの撮影データを確実に保存することができる。

実施の形態５．
図６は、実施の形態５にかかる撮像装置１の動作の一例を示すフローチャートである。実施の形態５にかかる撮像装置１は、ハイライト判定のリアルタイム性を前提とし、かつ、外部情報を取得する必要性を撮影情報に基づき判定し、必要と判定した場合に外部情報を取得し、撮影情報と外部情報とを合わせてハイライト判定を行う構成である。

実施の形態５では、例えばペット玩具に撮像装置１を連携させるとする。この場合、ペット玩具が外部機器となる。情報取得部１４が外部機器から受信する外部情報としては、例えば、玩具が動かされた際に得られる加速度情報とする。

撮像装置１が動作を開始すると、撮像部１２が撮影を開始する（ステップＳ５１）。なお、実施の形態５にかかる撮像装置１の撮像部１２は、撮影を行って得られる撮影データを、撮像部１２内のＲＡＭなどのメモリで一時的に保持し、処理部１１から指示を受けた場合に、メモリで保持している撮影データを処理部１１へ出力する。撮像部１２は、撮影を終了するための操作をユーザが行うまで、撮影を継続する。

撮像部１２が撮影を開始後、抽出部１５は、撮像部１２が一時的に保持している撮影データから撮影情報を抽出する（ステップＳ５２）。処理部１１は、抽出部１５が撮影情報を抽出するとこれを受け取り、受け取った撮影情報を知能部１６に入力する（ステップＳ５３）。知能部１６は、処理部１１から撮影情報が入力されると、データベースを使用して、入力された撮影情報と照らし合わせ、ハイライトであるかを判定する。知能部１６は、判定結果を処理部１１に出力する。なお、本実施の形態にかかる撮像装置１の知能部１６が保持するデータベースには、撮影情報のみを使用してハイライト判定を行うためのパターンと、撮影情報および外部情報を使用してハイライト判定を行うためのパターンとが登録されている。撮影情報のみを使用して行うハイライト判定を第１のハイライト判定、撮影情報および外部情報を使用して行うハイライト判定を第２のハイライト判定とする。第２のハイライト判定は、図２に示したステップＳ１７で知能部１６がハイライト検出か否かを判定する際に行うハイライト判定と同じである。

知能部１６が第１のハイライト判定でハイライトを検出した場合（ステップＳ５４：Ｙｅｓ）、処理部１１が情報取得部１４に外部情報を要求する（ステップＳ５５）。外部情報の要求を受けた情報取得部１４は、外部機器に対して外部情報の送信を要求し、外部機器が送信した外部情報を受信する（ステップＳ５６）。

処理部１１は、情報取得部１４が外部情報を受信するとこれを受け取り、情報取得部１４から受け取った外部情報、および、上記のステップＳ５２を実行した抽出部１５から取得済みの撮影情報を知能部１６に入力する（ステップＳ５７）。このステップＳ５７で処理部１１が知能部１６に入力する撮影情報は、ステップＳ５３で処理部１１が知能部１６に入力したものと同じ撮影情報である。

知能部１６は、処理部１１から撮影情報および外部情報が入力されると、第２のハイライト判定を行う。知能部１６は、判定結果を処理部１１に出力する。

知能部１６がハイライトを検出した場合（ステップＳ５８：Ｙｅｓ）、処理部１１は、撮像部１２から撮影データを取得し、記憶部１３に保存する（ステップＳ５９）。処理部１１は、例えば、第２のハイライト判定でハイライトが検出された時点から一定時間が経過するまでの間の撮影データを取得し、記憶部１３に保存する。

ステップＳ５９の後、抽出部１５は、予め定められた一定時間待機し（ステップＳ６０）、その後、ステップＳ５２に戻って動作を継続する。

第１のハイライト判定でハイライトを検出しない場合（ステップＳ５４：Ｎｏ）、および、第２のハイライト判定でハイライトを検出しない場合（ステップＳ５８：Ｎｏ）、撮像装置１はステップＳ６０に進む。

本実施の形態にかかる撮像装置１の知能部１６は、第１のハイライト判定を行うときは事前判定部として動作し、第２のハイライト判定を行うときは判定部として動作する。

このように、本実施の形態にかかる撮像装置１は、撮影を行っている間、撮影情報を用いて第１のハイライト判定を行い、ハイライトを検出した場合、外部情報を取得し、撮影情報および外部情報を用いて第２のハイライト判定を行う。また、撮像装置１は、第２のハイライト判定でハイライトを検出すると、撮影データを記憶部１３に記憶する。これにより、ハイライト判定の精度を高めることができ、誤ったハイライト判定により不要な撮影データを記憶部１３に保存してしまうのを抑制可能となる。

本実施の形態は、連携する外部機器が外部情報を能動的に送信する構成ではない場合に、撮像装置１が外部情報を要求する信号を送信する回数を抑制し、ネットワーク１００の負荷および外部機器の負荷が増加するのを防止したい場合に適切である。上記の例では、撮像装置１は、まず撮影情報でペットが活発に動いていることをハイライト判定により検出し、撮影データを保存する前に行うハイライトの再判定の際に、ペットが玩具で遊んでいるかどうかを示す外部情報を取得し、外部情報と撮影情報とを使用してハイライトか否かを判定する。これにより、適切な玩具の使い方をして遊んでいる場合にはハイライトと判定されるし、玩具で遊んでおらずともハイライトとデータベースに登録されているような動きをする場合にはハイライトと判定される。

実施の形態６．
図７は、実施の形態６にかかる撮像装置１の動作の一例を示すフローチャートである。実施の形態６にかかる撮像装置１は、ハイライト判定のリアルタイム性を前提とせず、かつ、外部情報を取得する必要性を撮影情報に基づき判定し、必要と判定した場合に外部情報を取得し、撮影情報と外部情報とを合わせてハイライト判定を行う構成である。実施の形態６にかかる撮像装置１はハイライト判定のリアルタイム性を前提としないため、ハイライト判定を行う前に撮影データの記憶部１３への保存を開始し、ハイライト判定が遅れても問題ないようにする。また、実施の形態６にかかる撮像装置１は、ハイライト判定の結果、ハイライトではないと判定すると、ハイライトではないシーンに対応する撮影データを記憶部１３から削除する。

実施の形態５と同様に、本実施の形態においても、ペット玩具に撮像装置１を連携させるとする。ただし、本実施の形態にかかる撮像装置１は、ハイライト判定のリアルタイム性が保証されておらず、ハイライトを検出して撮影データの保存を開始すると本当に必要なシーンの撮影データを保存できない可能性があるものとする。

撮像装置１が動作を開始すると、撮像部１２は撮影を開始し、処理部１１は撮像部１２が出力する撮影データの記憶部１３への保存を開始する（ステップＳ６１）。撮像部１２は、撮影を終了するための操作をユーザが行うまで、撮影を継続する。同様に、処理部１１は、撮影を終了するための操作をユーザが行うまで、撮影データを記憶部１３に保存する動作を継続する。

図７に示したステップＳ５２〜Ｓ５８の処理は図６に示したステップＳ５２〜Ｓ５８の処理と同じ処理であるため、説明を省略する。

知能部１６が第２のハイライト判定でハイライトを検出した場合（ステップＳ５８：Ｙｅｓ）、撮像装置１はステップＳ６０に進む。このステップＳ６０は、図６に示したステップＳ６０と同じ処理である。

知能部１６が第２のハイライト判定でハイライトを検出しない場合（ステップＳ５８：Ｎｏ）、処理部１１が、ハイライト判定に対応する撮影データを記憶部１３から削除する（ステップＳ６２）。処理部１１は、例えば、知能部１６が第２のハイライト判定でハイライトではないと判定した時点から一定時間前までの間の撮影データを記憶部１３から削除する。ステップＳ６２の後、撮像装置１はステップＳ６０に進む。

このように、本実施の形態にかかる撮像装置１は、撮影を行っている間、撮影データを記憶部１３に保存し、撮影情報を用いて第１のハイライト判定を行い、ハイライトを検出した場合、外部情報を取得し、撮影情報および外部情報を用いて第２のハイライト判定を行う。また、撮像装置１は、第２のハイライト判定でハイライトを検出しない場合、実行した第２のハイライト判定の結果に対応する撮影データを記憶部１３から削除する。これにより、ハイライト判定の精度を高めることができ、誤ったハイライト判定により不要な撮影データを記憶部１３に保存してしまうのを抑制可能となる。また、必要なシーンの撮影データを確実に保存することができる。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１撮像装置、１１処理部、１２撮像部、１３記憶部、１４情報取得部、１５抽出部、１６知能部、１００ネットワーク。

Claims

撮像部と、
前記撮像部が撮影を行い生成した撮影データを解析して、被写体の特徴を表す撮影情報を抽出する抽出部と、
前記被写体の状態を表す情報を外部の機器から取得する情報取得部と、
前記撮影情報と、前記情報取得部が取得する前記情報である外部情報とに基づいて、撮影データの保存が必要か否かを判定する判定部と、
撮影データの保存が必要と前記判定部が判定した場合に、前記判定部での判定に用いられた撮影情報の抽出元の撮影データの生成時点を含む一定期間の撮影データを保存する記憶部と、
を備える撮像装置。
前記判定部が撮影データの保存が必要と判定した場合に前記記憶部が撮影データの保存を開始する、
請求項１に記載の撮像装置。
前記記憶部は、前記撮像部が撮影を開始すると撮影データの保存を開始し、前記判定部が撮影データの保存の必要がないと判定した場合、保存済みの撮影データのうち、前記判定部が保存の必要がないと判定した撮影データを削除する、
請求項１に記載の撮像装置。
前記判定部は、前記外部の機器が送信した前記外部情報を前記情報取得部が受信した場合、前記抽出部が抽出する撮影情報を受け取り、受け取った撮影情報および前記情報取得部が受信した外部情報に基づいて、撮影データの保存が必要か否かを判定する、
請求項１から３のいずれか１項に記載の撮像装置。
前記判定部による判定が必要か否かを前記撮影情報に基づいて判定する事前判定部、
を備え、
前記判定部による判定が必要と前記事前判定部が判定した場合、
前記情報取得部が、前記外部情報を取得し、
前記判定部が、前記事前判定部での判定で使用された撮影情報と、前記情報取得部が受信した外部情報とに基づいて、撮影データの保存が必要か否かを判定する、
請求項１から４のいずれか１項に記載の撮像装置。
撮像装置が実行するデータ保存方法であって、
被写体を撮影して撮影データを生成する第１のステップと、
前記撮影データを解析して、前記被写体の特徴を表す撮影情報を抽出する第２のステップと、
前記被写体の状態を表す情報を外部の機器から取得する第３のステップと、
前記撮影情報と、前記第３のステップで取得する前記情報である外部情報とに基づいて、撮影データの保存が必要か否かを判定する第４のステップと、
前記第４のステップで撮影データの保存が必要と判定した場合に、前記第４のステップでの判定に用いられた撮影情報の抽出元の撮影データの生成時点を含む一定期間の撮影データを保存する第５のステップと、
を含むデータ保存方法。