JP2023006632A - 撮像装置、制御方法、およびプログラム - Google Patents
撮像装置、制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2023006632A JP2023006632A JP2021109336A JP2021109336A JP2023006632A JP 2023006632 A JP2023006632 A JP 2023006632A JP 2021109336 A JP2021109336 A JP 2021109336A JP 2021109336 A JP2021109336 A JP 2021109336A JP 2023006632 A JP2023006632 A JP 2023006632A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- imaging
- image
- image data
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 214
- 238000000034 method Methods 0.000 title claims description 72
- 238000012545 processing Methods 0.000 claims abstract description 84
- 230000005540 biological transmission Effects 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims description 52
- 230000008921 facial expression Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 20
- 230000005236 sound signal Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
Abstract
【課題】 撮像処理と送信処理を並行して実行しない撮像装置において、被写体の取り逃すおそれを低減する。【解決手段】 撮像装置は、被写体を撮像する撮像手段と、外部装置に画像データを送信する送信手段と、被写体を自動で探索して被写体を検知する被写体探索手段と、前記被写体探索手段により発見された被写体を撮像するか否かを判定する判定手段と前記送信手段による画像データの送信処理と前記撮像手段による撮像処理とを並行して行わないよう制御する制御手段とを有し、前記被写体探索手段は、前記送信手段による画像データの送信中においても被写体を探索し、前記送信手段によって画像データを送信している間に、前記判定手段により前記被写体探索手段により発見された被写体を撮像すると判定された場合、前記送信手段は画像データの送信を中断し、前記撮像手段は前記被写体探索手段により発見された被写体を撮像する。【選択図】 図1
Description
本発明は、外部装置と通信可能な撮像装置に関する。
近年では、ユーザが指示を行うことなく周囲を撮像することができる撮像装置が提案されている。また、撮像装置からサーバなどの外部装置に画像を送信することで、ユーザはサーバを介して画像を閲覧することができる。
特許文献1には、パン・チルトやズームを駆動して被写体を自動探索して撮影する自動撮影モードとユーザの好みであろう画像を自動で抽出して外部装置に送信する画像転送モードを有し、撮影した画像を外部装置に送信する撮像装置が開示されている。
しかしながら、特許文献1では、画像転送モードでは被写体の探索および自動撮影を行わないため、被写体を撮り逃すおそれがあった。
そこで、本発明は、撮像処理と送信処理を並行して実行しない撮像装置において、被写体の取り逃すおそれを低減すること目的とする。
上記目的を達成するために、本発明の撮像装置は、被写体を撮像する撮像手段と、外部装置に画像データを送信する送信手段と、被写体を自動で探索して被写体を検知する被写体探索手段と、前記被写体探索手段により発見された被写体を撮像するか否かを判定する判定手段と、前記送信手段による画像データの送信処理と前記撮像手段による撮像処理とを並行して行わないよう制御する制御手段とを有し、前記被写体探索手段は、前記送信手段による画像データの送信中においても被写体を探索し、前記送信手段によって画像データを送信している間に、前記判定手段により前記被写体探索手段により発見された被写体を撮像すると判定された場合、前記送信手段は画像データの送信を中断し、前記撮像手段は前記被写体探索手段により発見された被写体を撮像することを特徴とする。
本発明によれば、撮像処理と送信処理を並行して実行しない撮像装置において、被写体の取り逃すおそれを低減することができる。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態は適宜組み合わされることも可能である。
[第一の実施形態]
<撮像装置の構成>
図1は、第一の実施形態の撮像装置の構成を示す図である。
<撮像装置の構成>
図1は、第一の実施形態の撮像装置の構成を示す図である。
図1(a)に示す撮像装置101は、電源のオンおよびオフを切り替える操作を行うことができる電源スイッチを含む操作部材などが設けられている。操作部材にはタッチパネルも含まれる。
鏡筒102は、光学レンズ群および撮像素子を含む筐体である。鏡筒102は、撮像装置101に取り付けられる。チルト回転ユニット104およびパン回転ユニット105は、鏡筒102を固定部103に対して回転駆動できる回転機構である。チルト回転ユニット104は、例えば鏡筒102を図1(b)に示すピッチ方向に回転できるモーターである。パン回転ユニット105は、例えば鏡筒102を図1(b)に示すヨー方向に回転できるモーターである。チルト回転ユニット104およびパン回転ユニット105によって、鏡筒102は、1軸以上の方向に回転駆動できる。なお、本実施形態では、図1(b)に示すY軸は、パン回転ユニット105の回転軸である。また、本実施形態では、図1(b)に示すZ軸の正の方向は、撮像装置101の正面方向である。
角速度計106および加速度計107は、それぞれ、例えば、ジャイロセンサおよび加速度センサであり、撮像装置101の固定部103に配置されている。撮像装置101は、角速度計106や加速度計107において計測されたそれぞれの速度に基づいて、撮像装置101の振動を検出する。撮像装置101は、検出された撮像装置101の振動に基づいて、チルト回転ユニット104およびパン回転ユニット105を回転駆動することで鏡筒102における揺れおよび傾きを補正した画像を生成することができる。
図2は、本実施形態の撮像装置101の構成を示すブロック図である。
第1制御部223は、プロセッサ(例えば、CPU、GPU、マイクロプロセッサ、MPUなど)、およびメモリ(例えば、DRAM、SRAMなど)等からなる。第1制御部223は、各種処理を実行して撮像装置101の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。なお、第1制御部223は、制御手段および決定手段の一例である。
不揮発性メモリ216は、データを記録および消去可能なメモリであり、第1制御部223の動作用の定数、プログラム等が記録される。
ズームユニット201は、ズーム倍率の変倍を行うズームレンズを構成する光学レンズ群である。ズーム駆動制御部202は、ズームユニット201の光学レンズを駆動制御する制御部である。フォーカスユニット203は、ピント調整を行う光学レンズ群である。フォーカス駆動制御部204は、フォーカスユニット203の光学レンズを駆動制御する。撮像部206は、撮像素子が各光学レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部207に出力する。なお、ズームユニット201、ズーム駆動制御部202、フォーカスユニット203、フォーカス駆動制御部204、および撮像部206は鏡筒102に含まれる。
画像処理部207は、撮像部206から入力された画像データに対して、歪曲補正、ホワイトバランス調整、および色補間処理等の画像処理を行い、デジタル画像データを出力する。画像処理部207から出力されたデジタル画像データは、画像記録部208でJPEG形式等の画像ファイルフォーマットやMPEG形式等の動画ファイルフォーマットによって変換される。変換されたデジタル画像データは、メモリ215や後述する映像出力部217に送信される。第1制御部223は、メモリ215に記録されたデジタル画像データを記録する場合、デジタル画像データを記録再生部220に出力する。
鏡筒回転駆動部205は、チルト回転ユニット104およびパン回転ユニット105を駆動して鏡筒102をチルト方向およびパン方向に駆動させる。なお、鏡筒回転駆動部205は駆動手段の一例である。
装置揺れ検出部209は、例えば撮像装置101の3軸方向の角速度を検出する角速度計106および、装置の3軸方向の加速度を検出する加速度計107が搭載される。装置揺れ検出部209は、角速度計106および加速度計107によって検出された信号に基づいて、装置の回転角度や装置のシフト量などを演算する。
音声入力部213は複数のマイクを有する。また、音声入力部213は、マイクから入力された音声信号をA/D変換して音声処理部214に出力する。
音声処理部214は、この複数のマイクが設置された平面上の音の方向を検出することができる。検出された音の方向は後述する探索や自動撮像に用いることができる。さらに、音声処理部214は、特定の音声コマンドを認識することができる。本実施形態では、特定の音声コマンドは、トリガーワードおよびコマンドワードの2種類ある。トリガーワードは、コマンドワードの認識を開始させるためのトリガーとなるコマンドである。例えば、トリガーワードは、ユーザが発声する「オーケー、カメラ」などの特定のキーワードからなるコマンドである。また、コマンドワードは、撮像装置101に対して所定の処理をするよう指示するためのコマンドである。例えば、この所定の処理は、静止画の撮像処理、動画の撮像開始処理、動画の撮像終了処理、スリープ処理、被写体の変更処理、および自動撮像処理である。なお、コマンドワードは、例えば、静止画の撮像処理であれば「静止画を撮って」、動画の撮像開始処理であれば「動画を撮って」、などのように、所定の処理ごとに異なるキーワードからなるコマンドである。これらの音声コマンドは、撮像装置101のメモリ215にあらかじめ記録されている。なお、撮像装置101は、あらかじめ記録されている音声コマンドの他にも、ユーザの任意の処理を実行するための音声コマンドを登録できるように構成されてもよい。
また、音声処理部214は、入力された音声信号に対して適正化処理および符号化等の音声に関する処理を行う。そして、音声処理部214で処理された音声信号は、第1制御部223によりメモリ215に送信される。メモリ215は、画像記録部208から入力されたデータ、および音声処理部214から入力された音声信号を一時的に記録する。第1制御部223は、この音声信号を記録する場合、音声信号をメモリ215から記録再生部220に出力する。
記録再生部220は、画像データ、音声信号、およびその他撮像に関する制御データ等を記録媒体221に記録する。記録媒体221は、撮像装置101に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体221は、画像データ、音声信号などの各種データを記録することができる。本実施形態では、記録媒体221は、不揮発性メモリ216よりも大容量な媒体である。例えば、記録媒体221は、ハードディスク、光ディスク、光磁気ディスク、CD-R、DVD-R、磁気テープ、不揮発性の半導体メモリ、およびフラッシュメモリなどの記録媒体である。
また、記録再生部220は、記録媒体221に記録された画像データ、音声信号、各種データ、プログラムを読み出す(再生する)ことができる。記録媒体221に記録された画像データおよび音声信号を再生する場合、第1制御部223は次のように動作する。第1制御部223は、記録再生部220によって読み出された画像データおよび音声信号を、それぞれ画像処理部207および音声処理部214に出力する。画像処理部207および音声処理部214は、それぞれ画像データおよび音声信号を復号する。画像処理部207および音声処理部214は、復号した信号を、それぞれ映像出力部217、および音声出力部218に出力する。
第2制御部211は、第1制御部223の供給電源を制御する。例えば、第2制御部211は、プロセッサ(例えば、CPU、マイクロプロセッサ、MPUなど)、およびメモリ(例えば、DRAM、SRAMなど)等からなる。なお、本実施形態では、第2制御部211は、撮像装置101のメインシステム全体を制御する第1制御部223とは別に設けられている。
第1電源部210および第2電源部212は、それぞれ第1制御部223および第2制御部211を動作させるための電力を供給する。本実施形態では、第1電源部210が供給する電力は、第2電源部212が供給する電力よりも大きい。本実施形態では、供給する電力量に合わせて、第1電源部210および第2電源部212が選定される。例えば、第1電源部210は、第1制御部223に電力供給するためのスイッチであり、第2電源部212は、リチウム電池、アルカリ乾電池である。撮像装置101に設けられた電源スイッチの押下により、まず第2制御部211へ電力が供給され、続いて、第1制御部223へ電力が供給される。
また、撮像装置101はスリープ状態を有する。スリープ状態では、第1制御部223は、第1制御部223への電力供給をオフするように第1電源部210を制御する。第1制御部223に電力が供給されていないスリープ状態でも、第2制御部211は動作しており、装置揺れ検出部209および音声処理部214から情報を取得する。第2制御部はこのような入力情報に基づいて、第1制御部223を起動するか否かの判定処理を行う。第2制御部211は、第1制御部223を起動する(スリープ状態を解除する)と判定した場合、第1電源部210に対して第1制御部223へ電力を供給するよう制御する。
音声出力部218は、例えば撮像時などに撮像装置101に内蔵されたスピーカーから電子シャッター音などの音声信号を出力する。LED制御部224は、例えば撮像時などに撮像装置101に設けられたLEDを予め設定されたパターンで点灯または点滅するように制御する。
映像出力部217は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるための画像信号を出力する。また、音声出力部218、および映像出力部217は、統合された1つの端子、例えばHDMI(登録商標)(High-Definition Multimedia Interface(登録商標))端子のようなインターフェースであってもよい。
通信部222は、撮像装置101と外部装置との間で通信を行うためのインターフェースである。通信部222は、例えば、Bluetooth(登録商標)通信モジュール、無線LAN通信モジュール、WirelessUSB、GPS受信機等の無線通信モジュールを有する。
被写体検出部225は、画像処理部207から出力された画像データをメモリ215から読み出し、人物および物体などの被写体認識を行う。例えば、被写体検出部225が、人物を認識する場合、被写体の顔を検出する。撮像装置101には、被写体の顔を判定するためのパターンが予め登録されている。なお、このパターンには被写体ごとに区別するための識別子が付与されている。被写体の顔検出処理では、被写体検出部225は、撮像された画像内に含まれる被写体の顔を判定するためのパターンに一致する箇所を検出することで、被写体の顔を検出する。また、被写体検出部225は、複数の登録された人物をそれぞれ区別することができる。
また、被写体検出部225は、検出された被写体の顔に対する確からしさを示す信頼度も同時に算出する。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。また、被写体検出部225は、画像内で被写体の顔に対してパターンマッチングを行うことで、検出された顔が笑顔であるか否か、目が開いているか否か、および顔の向き等の顔情報を検出することができる。なお、顔情報の検出方法はパターンマッチングに限るものではなく、ディープラーニングを利用する方法等、公知の技術を利用することができる。なお、被写体検出部225は、検出手段の一例である。
また、物体認識処理では、被写体検出部225は、予め登録されたパターンに一致するか否かを判定することで物体を認識することができる。他にも、被写体検出部225は、撮像された画像内の色相や彩度等のヒストグラムを利用して被写体の特徴量を抽出することで物体を認識することができる。
以上の方法で、第1制御部223は、撮像された画像データから被写体検出部225によって被写体を検出することができる。
<外部装置とのシステム構成>
図3は、撮像装置101がネットワークを通じてサーバ401と通信し、画像データの記録を行うためのシステム構成の一例を示す図である。サーバ401の構成については後述する。なお、本実施形態では、撮像装置101にはサーバ401のアドレスがあらかじめ記録されている。
図3は、撮像装置101がネットワークを通じてサーバ401と通信し、画像データの記録を行うためのシステム構成の一例を示す図である。サーバ401の構成については後述する。なお、本実施形態では、撮像装置101にはサーバ401のアドレスがあらかじめ記録されている。
本実施形態では、撮像装置101とサーバ401とは、ネットワークルータ301を経由して接続し、通信する。無線通信302では、撮像装置101とネットワークルータ301とは次のような接続形態をとる。ネットワークルータ301が無線LANアクセスポイントとなってLANを構築する。撮像装置101は無線LANクライアントとなり、ネットワークルータ301が構築したLANにジョインする。公衆通信303では、ネットワークルータ301とサーバ401とは、FTTH等の公衆回線によって通信する。
なお、本実施形態においては、無線通信302が無線LANによる通信である例を説明したが、無線通信302は、Ethernet等による有線通信に置き換えてもよい。このように、撮像装置101は通信302と公衆通信303を介して、サーバ401と接続および通信を行う。
<外部装置の構成>
外部装置の一例であるサーバ401の構成の一例を、図4を用いて説明する。なお、ここでは外部装置の一例としてサーバについて述べるが、外部装置はこれに限らない。外部装置は、撮像装置101から画像データを受信する機能を有していればよい。例えば、外部装置は、タブレットデバイス、あるいはパーソナルコンピュータなどであってもよい。
外部装置の一例であるサーバ401の構成の一例を、図4を用いて説明する。なお、ここでは外部装置の一例としてサーバについて述べるが、外部装置はこれに限らない。外部装置は、撮像装置101から画像データを受信する機能を有していればよい。例えば、外部装置は、タブレットデバイス、あるいはパーソナルコンピュータなどであってもよい。
制御部402は、入力された信号や、後述のプログラムに従ってサーバ401の各部を制御するプロセッサである。なお、制御部402が装置全体を制御する代わりに、複数のハードウェア(例えば、CPU、GPU、マイクロプロセッサ、MPUなど)が処理を分担することで、装置全体を制御してもよい。
不揮発性メモリ403は、電気的に消去・記録可能な不揮発性のメモリである。不揮発性メモリ403には、制御部402が実行する基本的なソフトウェアであるOS(オペレーティングシステム)や、このOSと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ403には、撮像装置101と通信するためのアプリケーションが格納されている。
作業用メモリ404は、制御部402の作業領域等として使用されるバッファである。
接続部405は、撮像装置101と接続するための通信インターフェースである。
<自動撮像処理>
自動撮像処理は、第1制御部223が撮像するタイミングを判定し、被写体を自動的に撮像する処理である。この自動撮像処理では、第1制御部223は、良い画像や良い動画を撮像できると判定した場合やある程度時間が経過した場合に、自動的に撮像対象となる被写体を決定し撮像する、ということを繰り返す。これにより、ユーザは手動で撮像しなくとも、日常に不意に現れる良い場面や日常の何気ない変化を、撮像装置101によって撮影することで残すことができる。
自動撮像処理は、第1制御部223が撮像するタイミングを判定し、被写体を自動的に撮像する処理である。この自動撮像処理では、第1制御部223は、良い画像や良い動画を撮像できると判定した場合やある程度時間が経過した場合に、自動的に撮像対象となる被写体を決定し撮像する、ということを繰り返す。これにより、ユーザは手動で撮像しなくとも、日常に不意に現れる良い場面や日常の何気ない変化を、撮像装置101によって撮影することで残すことができる。
図5は、本実施形態における撮像装置101の自動撮像処理のフローチャートである。本フローチャートの処理は、ユーザによって撮像装置101の電源スイッチをオンにされたことに応じて開始される。なお、本実施形態において、撮像装置101とサーバ401との間では接続が確立されている。以下のフローチャートの各ステップの処理は、第1制御部223が撮像装置101の各部を制御することによって実現される。
ステップS501では、第1制御部223は、自動撮像処理が停止中の状態かどうかを判定する。自動撮像処理の停止に関しては後述の音声認識処理の説明で述べる。自動撮像処理が停止中である場合では、第1制御部223は、自動撮像処理の停止が解除されるまで待機する。すなわち、自動撮像処理が停止中である場合では、自動撮像処理の停止が解除されるまでステップS501の処理が繰り返される。自動撮像処理が停止中ではない場合では、ステップS502の処理が実行される。
ステップS502では、第1制御部223は、画像処理部207に撮像部206で取り込まれた信号を画像処理させ、被写体認識用の画像を生成させる。さらに第1制御部223は、被写体検出部225を制御し、生成された被写体認識用の画像から、人物認識、および動物認識などの被写体認識を行う。例えば、第1制御部223は、被写体認識を行う場合、被写体を判定するためのパターンをあらかじめ保持しておき、この保持されているパターンと被写体認識用の画像に含まれるパターンとの一致度に基づいて、被写体検出部225によって被写体を判定する。これにより、被写体検出部225は、被写体の個人識別を行うことができる。また、第1制御部223は、被写体を判定するとともに、被写体の画角内の位置を検出する。
ステップS503では、第1制御部223は、像揺れ補正量の算出を行う。具体的には、まず、第1制御部223は、装置揺れ検出部209において取得した角速度および加速度情報に基づいて撮像装置の絶対角度の算出を行う。そして、第1制御部223は、絶対角度を打ち消す角度方向にチルト回転ユニット104およびパン回転ユニット105を動かす防振角度を求め、像揺れ補正量とする。
ステップS504では、第1制御部223は、被写体を自動で探索して被写体を検知する被写体探索手段により被写体探索処理を行う。被写体探索処理は、以下の処理によって構成される。
(1)エリア分割
図6(a)~(c)を用いて、エリア分割を説明する。図6(a)~(c)では、撮像装置の位置を原点Oとして、球面上のエリアが分割されている。図6(a)の例においては、チルト方向、パン方向においてエリアがそれぞれ22.5度ごとに分割されている。図6(a)に示すように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、1エリアの領域が小さくなる。そこで、本実施形態の撮像装置は、図6(b)に示すように、チルト角度が45度以上の場合、水平方向のエリア範囲を22.5度よりも大きく設定する。
図6(a)~(c)を用いて、エリア分割を説明する。図6(a)~(c)では、撮像装置の位置を原点Oとして、球面上のエリアが分割されている。図6(a)の例においては、チルト方向、パン方向においてエリアがそれぞれ22.5度ごとに分割されている。図6(a)に示すように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、1エリアの領域が小さくなる。そこで、本実施形態の撮像装置は、図6(b)に示すように、チルト角度が45度以上の場合、水平方向のエリア範囲を22.5度よりも大きく設定する。
次に、図6(c)、(d)を用いて、撮像装置101によって撮像された画像の画角内におけるエリアについて説明する。軸1301は、撮像装置101の撮像方向の基準方向であり、この方向を基準としてエリア分割が行われる。軸1301は、例えば、撮像装置101が起動していたときにおける撮像方向、または撮像方向の基準となる方向として予め定められている方向である。エリア1302は、撮像部206によって撮像されている画像の画角エリアである。図6(d)は、エリア1302において撮像部206によって撮像されたライブビュー画像の一例である。図6(d)のライブビュー画像の画角内では図6(c)に示すエリア分割に基づいて、エリア1303~エリア1318のように画像のエリアが分割される。
(2)エリア毎の重要度レベルの算出
上述のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、被写体探索を行う際の優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する被写体の数、被写体の顔の大きさ、被写体の顔の向き、被写体の顔検出の確からしさ、被写体の表情、被写体の個人識別結果に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判定結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。ここでは、第1制御部223は、撮像装置101の全周を探索するように駆動する。
上述のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、被写体探索を行う際の優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する被写体の数、被写体の顔の大きさ、被写体の顔の向き、被写体の顔検出の確からしさ、被写体の表情、被写体の個人識別結果に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判定結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。ここでは、第1制御部223は、撮像装置101の全周を探索するように駆動する。
また、例えば、第1制御部223は、被写体の顔が登録されている場合、登録されている被写体の顔を検出したエリアの重要度レベルを高くする。例えば、被写体の顔は、被写体を判定するためのパターンとして不揮発性メモリ216に記録されている。なお、第1制御部223は、被写体の顔が検出されたエリアの重要度レベルを高くする場合、所定時間が経過したこと、または所定の回数撮像したことに応じて、そのエリアの重要度レベルを元の重要度レベルに戻す。
(3)探索エリアの決定
第1制御部223は、上述のように各エリアの重要度レベルを決定した後、重要度レベルが高いエリアを重点的に探索するように決定する。そして、第1制御部223は、重要度レベルの高いエリアの1つを撮像するために必要なパン角度およびチルト角度を算出する。
第1制御部223は、上述のように各エリアの重要度レベルを決定した後、重要度レベルが高いエリアを重点的に探索するように決定する。そして、第1制御部223は、重要度レベルの高いエリアの1つを撮像するために必要なパン角度およびチルト角度を算出する。
ステップS505では、第1制御部223は、パン駆動およびチルト駆動を行う。具体的には、像振れ補正量とステップS504において算出されたパン角度およびチルト角度とに基づいて、パン駆動量およびチルト駆動量を算出する。そして第1制御部223は、算出されたパン駆動量およびチルト駆動量に基づいて、鏡筒回転駆動部205によって、チルト回転ユニット104、およびパン回転ユニット105をそれぞれ駆動制御する。本実施形態では、第1制御部223は、ステップS505における駆動により、重要度レベルが高いエリアにおいて被写体を検出し、その被写体の撮像を開始するものとして説明する。そして、第1制御部223は、その被写体を追尾する(画角に収め続ける)ように鏡筒回転駆動部205を制御する。
ステップS506では、第1制御部223は、ズームユニット201を制御しズーム駆動を行う。例えば、ステップS505において撮像を開始した被写体の状態に応じてズームを駆動させる。例えば、被写体の顔が画角内において非常に小さく撮像されている場合、第1制御部223は、望遠側にズームすることで、被写体の顔のサイズが画角内に適正に(より大きく)撮像されるように制御する。一方、被写体の顔が画角内において非常に大きく撮像されている場合、第1制御部223は、広角側にズームすることで、被写体の顔のサイズが画角内に適正に(より小さく)撮像されるように制御する。このようにズーム制御を行うことで、被写体を追尾するのに適した状態を保つことができる。
ステップS504~ステップS506では、パン駆動およびチルト駆動、ならびにズーム駆動により被写体探索が行われる方法を説明したが、広角なレンズを複数使用して全方位を一度に撮像する撮像システムで被写体探索が行われてもよい。この場合、全方位の撮像によって得られる信号すべてを入力画像として、被写体検出などの画像処理を行うには全体の処理負荷が大きい。そこで、この場合は、全方位の撮像によって得られた画像の一部を切り出して、切り出された画像範囲の中で被写体の探索処理が行われる構成にする。この構成では、第1制御部223は、上述した方法と同様にエリア毎の重要度レベルを算出し、重要度レベルに基づいて切り出し位置を変更し、後述する自動撮像の判定を行う。これにより画像処理による消費電力を抑えながらも高速な被写体探索が可能となる。
ステップS507では、第1制御部223は、被写体を撮像する撮像手段によって自動撮像を行うかどうかの判定を行う。
ここで、自動撮像を行うかどうかの判定について説明する。自動撮像を行うかどうかの判定は、撮像スコアが所定値を超えるかどうかで行われる。撮像スコアとは、自動撮像を行うかどうかの判定に用いるパラメータである。撮像スコアは、被写体の検出状況と時間経過に応じて得点が加点される。例えば、撮像スコアが2000点を超えると自動撮像を行われるよう設計する場合を考える。この場合、まず、撮像スコアは初期値が0点であり、自動撮像のモードに入った時点からの時間経過によって加点されていく。例えば撮像スコアは120秒後に2000点に達するような増加率で増加していく。このとき、被写体が検出されないまま120秒が経過した場合、時間経過による加点によって2000点に達し、撮像が行われる。また、時間経過中に被写体探索手段により発見した被写体が優先被写体か否かを判定する被写体判定手段により優先度の高い被写体を検出すると1000点が加点される。例えば、優先度の高い被写体は、撮像装置101に顔が登録されている被写体の内、優先して撮像する対象としてユーザに設定された被写体である。優先度の高い被写体が検出されている状態では、2000点に達しやすくなり、結果的に撮像頻度が上がることになりやすい。
また、例えば被写体の笑顔を認識した場合は、800点が加点される。なお、この笑顔に基づく加点は、優先度の高い被写体でなくとも加点される。また、本実施形態では、笑顔に基づく加点の点数は優先度の高い被写体であるか否かに関わらず同じ点数である場合を例に挙げて説明するが、これに限られるものではない。例えば優先度の高い被写体の笑顔を検知したことに応じた加点の点数を、優先度が高くない被写体の笑顔を検知したことに応じた加点の点数よりも高くしてもよい。このようにすることで、よりユーザの意図に沿った撮像を行うことが可能になる。これらの被写体の喜怒哀楽等の表情変化に伴う加点により2000点を超えれば自動撮像される。また、表情変化に伴う加点で2000点を超えなくとも、その後の時間経過による加点で2000点により短い時間で到達する。
なお、時間経過による加点は、例えば120秒で2000点になるよう加点する場合、1秒ごとに2000/120点だけ加点する、すなわち時間に対して線形に加点する場合を例に挙げて説明するがこれに限られるものではない。例えば、120秒のうち110秒までは加点せず、110秒から120秒までの10秒間で、秒間200点ずつ加点して2000点に達するような増加の仕方にしてもよい。このようにすることで、被写体の表情変化による加点で、優先度の高低に関わらず撮像される点数に達してしまうことを防ぐことができる。時間経過に伴い線形増加する加点方法の場合、すでに時間経過により加点されている状態が長いため、優先度の低い被写体の笑顔への変化に伴う加点であっても撮像される点数に達してしまうことが多く、優先度の高低がさほど反映されにくい。かといって表情変化に伴う加点の点数を低くすると表情変化のあるタイミングを逃すことになるため、加点の点数を下げることでの対応は避けたい。そこで、110秒までは加点しないようにする。このようにすれば、優先度の低い被写体は加点されないまま110秒が経過する。一方、優先度の高い被写体は検知した時点で1000点が加点されるようにしているため、110秒まで時間経過による加点がなくとも1000点は加点された状態になる。これにより、表情変化に伴う加点が行われる場合に、優先度の低い被写体は撮像を行う点数に達する可能性を、優先度の高い被写体にくらべて抑えることができ、優先度の高低が機能しやすい。上記の説明では表情変化を例に挙げたが、加点される基準はこのほかにも声が大きくなった場合や身振り手振りが大きくなった場合などが考えられる。これらについても優先度の高低を機能させやすくするために上記のような加点方法の差を設ければよい。
また、仮に被写体の行動によって2000点を超えなくとも、時間経過によって必ず120秒で撮像されるため、一定期間まったく撮像されないということはない。
また、途中で被写体が検出された場合、120秒のうち、増加を開始する時間を前倒ししてもよい。つまり、例えば60秒の時点で優先度の高い被写体が検出された場合、それによって1000点が加点されても2000点を超えないが、そのまま110秒まで増加しないのではなく、被写体を検出したのち30秒が経過したら線形増加を始めるようにしてもよい。あるいは、120秒の10秒前ではなく20秒前に線形増加を始めるようにしてもよい。このようにすれば、優先度の高い被写体が撮像される可能性が高まるため、よりユーザの意図に沿った撮像を実現しやすくなる。
自動撮像が行われると、撮像スコアは0点にリセットされる。再度2000点を超えるまで自動撮像は行われない。
以上、自動撮像を行うかどうかの判定について説明した。上記の判定により、第1制御部223が自動撮像すると判定した場合には、ステップS508の処理が実行される。第1制御部223が撮像しないと判定した場合には、ステップS501の処理が実行される。
ステップS508では、第1制御部223は、撮像処理を実行する。撮像処理は、例えば静止画撮像や動画撮像である。
次に、撮像した画像の分類方法について説明する。前述の自動撮像を行うかどうかの判定により撮像した画像が必ずしもユーザの意図に沿っているとは限らない。そこで、画像分類手段により撮像スコアが所定値を超えるまでに要した時間を基に画像を高スコア(高評価)、中スコア(中評価)、低スコア(低評価)に分類する。この分類は後述の自動送信処理において、自動送信対象の画像の算出と送信順序に利用する。自動送信処理の具体的な内容については後ほど詳説する。
前述と同様に、例えば、撮像スコアが2000点を超えると自動撮像を行われるよう設計する場合を考える。この場合、まず、撮像スコアは初期値が0点であり、自動撮像のモードに入った時点からの時間経過によって加点されていく。例えば撮像スコアは120秒後に2000点に達するような増加率で増加していく。このとき、被写体が検出されないまま120秒が経過した場合、時間経過による加点によって2000点に達し、撮像が行われる。この際には、被写体が検出されていないため、ユーザの意図に沿った画像であるとは考え難い。そのため、所定値を超えるまでに要した時間が120秒以上の場合には、低スコアに分類する。例えば、時間経過中に優先度の高い被写体を検出すると1000点が加点される。また、被写体の笑顔や泣き顔などの特定の表情を認識した場合は、800点が加点される。一方、被写体が無表情などの感情の乏しい表情である場合、評価は加算されない。優先度の高い被写体を検出しても、笑顔などを検出することによる加点がなければ、60秒経過後に時間経過による加点によって、2000点に達し、撮像が行われる。優先度の高い被写体であっても、変化の乏しいシーンであれば、それほどユーザの意図に沿った画像ではないと考えられる。そのため、所定値を超えるまでに要した時間が60秒以上120秒未満の場合には、中スコアに分類する。
時間経過中に優先度の高い被写体を検出するとともに、他の要因による加点があった場合、60秒より短い時間で、所定値を超える。種々の要因による加点が大きい程、所定値を超えるまでに要する時間が短くなると考えられる。そのため、所定値を超えるまでに要した時間が60秒未満の場合には、高スコアに分類する。
以上、撮像した画像の分類方法について説明した。本実施の形態においては、撮像スコアが2000点を超えるまでに要した時間が短いほど高評価になるように画像を分類したが、これに限る必要はない。撮像装置101は、優先度が高い被写体を検知した状態で撮像が行われた場合に高スコア画像であると判断してもよい。また、撮像装置101は、被写体の表情、または表情の変化による加点により撮像スコアが所定値を超え、撮像が行われた場合に高スコア画像であると判断してもよい。また、それらを組み合わせてもよく、ユーザの意図に沿った画像が高いスコアになるような分類方法であればよい。
以上、本実施形態における撮像装置101の自動撮像処理について説明した。このような自動的に被写体を撮像する処理によって、撮像装置101はユーザからの撮像指示がなくとも、ユーザの欲するシーンの画像や動画を撮像することができる。
<自動送信処理>
図7は、本実施形態における撮像装置101の自動送信処理のフローチャートである。本フローチャートの処理はサーバ401への送信対象である画像データが記録されていることが検出されることで開始される。また、本実施形態では、本フローチャートの処理は図5に示す自動撮像処理と並行して実行される。また、この処理は、第1制御部223が不揮発性メモリ216に記録されたプログラムを実行することで実現される。
図7は、本実施形態における撮像装置101の自動送信処理のフローチャートである。本フローチャートの処理はサーバ401への送信対象である画像データが記録されていることが検出されることで開始される。また、本実施形態では、本フローチャートの処理は図5に示す自動撮像処理と並行して実行される。また、この処理は、第1制御部223が不揮発性メモリ216に記録されたプログラムを実行することで実現される。
ステップS701では、第1制御部223は、サーバ401への送信対象である画像データが記録媒体221に記録されているか否か判定を行う。ここで、送信対象である画像データは、サーバ401に送信されていない画像データのうち、前述の画像分類手段により高スコアまたは中スコアである画像として分類された画像データである。なお、ここで、低スコアである画像を送信対象としない理由は、低スコアである画像がユーザにとって不要な画像データである可能性が高いと考えられるからである。送信対象である画像データが記録されていることが検出された場合、ステップS702の処理が行われる。送信対象である画像データが検出されなかった場合、ステップS701の処理が繰り返される。なお、図5に示す自動撮像処理が並行して実行されており、送信対象である画像が新たに撮像された後、本ステップの処理が実行された場合、送信対象である画像データが検出されることになる。
ステップS702では、第1制御部223は、通信部222を介して、ネットワークルータ301が構築したLANにジョインし、外部装置であるサーバ401と接続を行う。撮像装置101とサーバ401との接続が完了された場合、ステップS703の処理が行われる。撮像装置101がネットワークルータ301が構築したLANに接続できなかった場合や、サーバ401と接続を確立できなかった場合、本フローチャートの処理は終了される。
ステップS703では、第1制御部223は、通信部222を介して、画像データのサーバ401への送信を開始する。本ステップ以降、送信対象である画像データの送信が完了するまで、後述する画像データの送信が中断している間を除き、第1制御部223は、画像データを送信しているものとする。
ここで、第1制御部223が画像データを送信する順序について説明する。本実施形態では、第1制御部223はスコアの高い順番に画像データを送信する。なお、前述の画像分類手段により、記録媒体221に記録された画像データは、少なくとも高スコア、中スコア、低スコアに分類されている。このような順番で画像データを送信する理由は次の通りである。例えば、サーバ401と接続されていない状態で自動撮像処理による撮像が長時間行われた場合、送信対象である画像データが記録媒体221に大量に記録されている状態になる。この状態において、撮像装置101が撮影日時に基づいた順番で画像データを送信する場合、ユーザの閲覧したい画像データである可能性の高い、高スコアである画像データがなかなかサーバ401へ送信されない状況になりうる。しかし、当然、すべての画像データの送信が完了する前にユーザがサーバ401に記録されている画像データを閲覧する場合、ユーザはサーバ401へ送信されていない画像データを閲覧できない。したがって、最も撮影日時の新しい(または古い)画像データが最も閲覧したい画像データである場合、撮影日時に基づいた順番で画像データが送信される方式では、ユーザは、撮像装置101の画像データの送信がすべて完了するまで待機する必要がある。一方、上述のように、スコアの高い順番に画像データが送信された場合、ユーザは撮像装置101のサーバ401への画像データの送信が完了するまで待機せずとも、閲覧したい画像データをサーバ401から取得できる可能性が高くなる。そこで、本実施形態では、第1制御部223は、スコアの高い画像データから送信することで、ユーザの閲覧したい画像データを先に外部装置へ送信できるようにする。加えて、本実施形態では、第1制御部223は、低スコアの画像は送信しない。これは、低スコアの画像のように、スコアが低い画像はユーザの所望の画像ではない可能性が高いからである。
また、本実施形態では、第1制御部223は、静止画画像を動画画像よりも先に送信する。このような順番で画像データを送信する理由は次の通りである。動画画像は静止画画像と比べて、ファイルサイズが大きい可能性が高い。加えて、動画画像の再生時間が長くなるにつれてファイルサイズも大きくなる。すなわち、動画画像のほうが静止画画像よりも送信に時間がかかるデータである可能性が高い。したがって、仮に先に動画画像を送信される場合、動画画像の送信に時間がかかってしまうために、自動送信処理が開始されてもサーバ401に1つの動画画像も静止画画像も記録されない状況が長時間発生するおそれがある。一方、静止画画像のファイルサイズはほぼ一定であるので、先に静止画画像が送信される場合では、自動送信処理が開始されてから、サーバ401に1つも静止画画像が記録されない状況が長時間発生する可能性は低い。そこで、本実施形態では、第1制御部223は、静止画画像を動画画像よりも先にサーバ401へ送信する。
なお、同じスコアである画像データが複数存在する場合、第1制御部223は、撮影日時が新しい画像データから送信する。これは、撮影日時が古い画像から順に送信すると、送信対象の画像が大量に記録されている場合に、最近撮像された画像が長い間送信されない状態に陥ってしまうおそれがあるからである。
以上に説明したしたことをまとめると、本実施形態では、第1制御部223は次の順番で画像データを送信する。すなわち、高スコアの静止画画像、中スコアの静止画画像、高スコアの動画画像、中スコアの動画画像の順番(ただし同じスコアの画像がある場合、撮影日時の新しい画像が優先)で送信される。このような順番で送信することで、特に撮像直後では、すぐには次の撮像処理が実行されないことから、第1制御部223は、ユーザの欲する高スコアの画像を中断されることなくサーバ401へ送信できる。ステップS703では、第1制御部223は、記録媒体221に記録されている画像データの中から上述の優先順位で次に送信される画像データを決定して、画像データの送信を開始する。
ところで、本実施形態では、撮像装置101は、撮像処理と画像データの送信処理とを同時に行わない。これは、撮像処理および画像データの送信処理はどちらも第1制御部223にとって処理負荷の大きい処理であるので、並行して実行しない方が第1制御部223にとって処理効率が良いからである。そのため、本実施形態では、次のステップS704~ステップS707の処理が実行される。
ステップS704で、第1制御部223が、図5のフローチャートを用いて説明した自動撮像処理における撮像を実行するか否かを判断する。自動撮像処理における撮像が実行される場合、ステップS705の処理が行われる。言い換えると、画像データの送信中に自動撮像処理における撮像が実行される場合、ステップS705の処理が割り込み処理として行われる。本ステップにおける撮像を実行するか否か判断の基準は、図5のステップS507に示すと同様である。本実施形態では、第1制御部223は、画像データの送信処理よりも撮像処理を優先する。これは、自動撮像処理において撮像を行うという判断がなされたとき、その時点が被写体を撮像するに適した場面であると考えられるので、その時点で撮像を行わなければ、いわゆるシャッターチャンスを逃すおそれがあるためである。なお、自動撮像処理における撮像が実行されない場合、ステップS707の処理が行われる。
ステップS705では、第1制御部223はサーバ401への画像データの送信を中断する。
ステップS706では、第1制御部223は、自動撮像処理における撮像処理を実行する。撮像処理は、例えば静止画撮像や動画撮像である。すなわち、本ステップの処理は、図5のステップS507の処理と同様である。
ステップS707では、第1制御部223は、通信部222を介して、中断していた画像データの送信を再開し、ステップS708の処理を行う。
ここで、画像データの送信が中断されると、サーバ401に送信中の画像データが不完全な状態でサーバ401に保持された状態になる。サーバ401は画像データの受信を待機する状態となるが、一定時間が経過したことに応じて、通信エラーが発生したと判断し、撮像装置101との接続を切断する。接続が切断された場合、画像データを受信することができないため、サーバ401は、不完全な状態で保持されていた画像データを削除する。この場合、撮像装置101は、送信途中であった画像データを再度サーバ401へ送信する必要がある。そのため、撮像装置101は、サーバ401との接続を維持するために、画像データの送信を中断する時間はできる限り短くする必要がある。
例えば、自動送信処理中では、優先被写体の検出や被写体の表情変化による加点による撮像スコアの増加がない場合、時間経過による撮像スコアが所定値を超えても撮像処理を行わないよう処理する。
また、例えば、撮像装置101は、動画画像を記録している間は画像データの送信処理を中断するため、動画画像の撮像時間を短くする。撮像時間を短くする方法としては、動画画像の撮像時間の上限を設ける、または画像送信中断時には撮像時間の上限を短くする方法がある。また動画画像の撮像中にサーバ401との接続が切断されたことに応じて、次の動画画像の撮像時間では上限時間を短くする方法がある。また、動画画像の記録中に優先被写体を検知しなくなったことに応じて、自動撮像処理を停止する方法がある。
このように、撮像装置101は、画像送信の中断をしている間にサーバ401との接続が切断されないように、自動撮像処理の処理内容を変更してもよい。
ステップS708では、第1制御部223は、送信中である画像データの送信が完了したか否かの判断を行う。送信中である画像データの送信が完了している場合、ステップS709の処理が行われる。送信中である画像データの送信が完了していない場合、ステップS704に戻り、画像データの自動送信を継続する。
ステップS709では、第1制御部223は、記録媒体221にさらに送信対象である画像データが記録されているかどうか判断する。記録媒体221に送信対象である画像が記録されている場合、ステップS703の処理が実行される。送信対象である画像データが記録されていない場合、ステップS710の処理を行われる。
ステップS710では、第1制御部223は、通信部222を介したサーバ401との接続を切断し処理を終了する。
以上、本実施形態における画像の自動送信処理について説明した。
本実施の形態では、低スコアの画像以外を送信対象とする実施形態について記載したが、これに限る必要はない。例えば、撮像装置101は低スコアの画像もサーバ401に送信してもよい。この場合、サーバ401が画像データをスコア別に分類および表示することで、ユーザが画像を閲覧する際の煩雑さが緩和される。また、例えば、撮像装置101は、送信対象である画像を高スコアの画像データのみとしてもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
Claims (18)
- 被写体を撮像する撮像手段と、
外部装置に画像データを送信する送信手段と、
被写体を自動で探索して被写体を検知する被写体探索手段と、
前記被写体探索手段により発見された被写体を撮像するか否かを判定する判定手段と、
前記送信手段による画像データの送信処理と前記撮像手段による撮像処理とを並行して行わないよう制御する制御手段とを有し、
前記被写体探索手段は、前記送信手段による画像データの送信中においても被写体を探索し、
前記送信手段によって画像データを送信している間に、前記判定手段により前記被写体探索手段により発見された被写体を撮像すると判定された場合、前記送信手段は画像データの送信を中断し、前記撮像手段は前記被写体探索手段により発見された被写体を撮像する
ことを特徴とする撮像装置。 - 前記判定手段は、前記被写体探索手段により発見された被写体が優先被写体である場合、前記優先被写体を撮像すると判定することを特徴とする請求項1に記載の撮像装置。
- 前記判定手段は、前記送信手段によって画像データを送信していない場合、所定の時間が経過したことに応じて撮像すると判定し、
前記判定手段は、前記送信手段によって画像データを送信している場合、前記所定の時間が経過しても撮像すると判定しないことを特徴とする請求項1または2に記載の撮像装置。 - 前記撮像手段は、前記送信手段によって画像データを送信していない場合、前記所定の時間が経過したことに応じて前記撮像手段は撮像処理を実行することを特徴とする請求項3に記載の撮像装置。
- 前記所定の時間を計測する計測手段をさらに有し、
前記計測手段は、前記撮像手段によって撮像されたことに応じて、計測された時間をリセットすることを特徴とする請求項3または4に記載の撮像装置。 - 前記送信手段は、前記判定手段による判定により前記画像データの送信を中断した場合、前記撮像手段による撮像が完了したことに応じて、中断された前記画像データの送信を再開することを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
- 前記撮像手段により撮像された画像を分類する分類手段と、
分類手段によってより高評価であると判定された画像から送信されるように、前記送信手段による画像の送信される順序を制御する制御手段とをさらに有する
ことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。 - 前記分類手段は、前記被写体探索手段による被写体の探索にかけられた時間が短いほど、前記撮像手段によって撮像された画像の分類を高評価にすることを特徴とする請求項7に記載の撮像装置。
- 前記分類手段は、前記撮像手段によって撮像された画像から被写体が検出された場合では、前記撮像手段によって撮像された画像から被写体が検出されていない場合よりも高評価になるように、分類することを特徴とする請求項7または8に記載の撮像装置。
- 前記分類手段は、前記撮像手段によって撮像された画像から検出された被写体から特定の表情を認識した場合、前記撮像手段によって撮像された画像をより高評価に分類することを特徴とする請求項7から9のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記分類手段による分類が同じスコアである場合、撮影日時の新しい画像を先に送信するように制御することを特徴とする請求項7から10のいずれか1項に記載の撮像装置。
- 前記制御手段は、静止画画像を動画画像よりも先に送信するよう制御することを特徴とする請求項7から11のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記分類手段によって分類された評価が低評価である画像を前記外部装置へ送信しないように制御することを特徴とする請求項7から12のいずれか1項に記載の撮像装置。
- 前記送信手段は、前記被写体探索手段による探索が行われている間において前記撮像手段によって生成された画像データを前記外部装置へ送信することを特徴とする請求項1から13のいずれか1項に記載の撮像装置。
- 前記撮像手段は、前記被写体探索手段による探索が行われている間において前記送信手段による画像データの送信処理を行う場合、動画画像の撮像時間に上限を設けることを特徴とする請求項1から14のいずれか1項に記載の撮像装置。
- 前記撮像手段は、前記被写体探索手段による探索が行われている間において前記送信手段による画像の送信処理を行う場合、前記被写体探索手段による探索が行われている間において前記送信手段による画像データの送信処理を行わない場合よりも、動画画像の撮像時間の上限を短くすることを特徴とする請求項1から15のいずれか1項に記載の撮像装置。
- 撮像装置の制御方法であって、
被写体を撮像する撮像ステップと、
外部装置に画像データを送信する送信ステップと、
被写体を自動で探索して被写体を検知する被写体探索ステップと、
前記被写体探索ステップにおいて発見された被写体を撮像するか否かを判定する判定ステップと、
前記送信ステップにおける画像データの送信処理と前記撮像ステップにおける撮像処理とを並行して行わないよう制御する制御ステップとを有し、
前記被写体探索ステップでは、前記送信ステップにおける画像データの送信中においても被写体を探索し、
前記送信ステップにおいて画像データを送信している間に、前記判定ステップにより前記被写体探索手段により発見された被写体を撮像すると判定された場合、前記送信ステップでは画像データの送信を中断し、前記撮像ステップでは前記被写体探索ステップにおいて発見された被写体を撮像する
ことを特徴とする制御方法。 - コンピュータを請求項1から16のいずれか1項に記載の撮像装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021109336A JP2023006632A (ja) | 2021-06-30 | 2021-06-30 | 撮像装置、制御方法、およびプログラム |
US17/853,003 US20230007216A1 (en) | 2021-06-30 | 2022-06-29 | Imaging apparatus, control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021109336A JP2023006632A (ja) | 2021-06-30 | 2021-06-30 | 撮像装置、制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023006632A true JP2023006632A (ja) | 2023-01-18 |
Family
ID=84785763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021109336A Withdrawn JP2023006632A (ja) | 2021-06-30 | 2021-06-30 | 撮像装置、制御方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230007216A1 (ja) |
JP (1) | JP2023006632A (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017112541A (ja) * | 2015-12-17 | 2017-06-22 | キヤノン株式会社 | データ処理装置、通信装置、データ処理方法、プログラム |
JP6766086B2 (ja) * | 2017-09-28 | 2020-10-07 | キヤノン株式会社 | 撮像装置およびその制御方法 |
-
2021
- 2021-06-30 JP JP2021109336A patent/JP2023006632A/ja not_active Withdrawn
-
2022
- 2022-06-29 US US17/853,003 patent/US20230007216A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230007216A1 (en) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7423685B2 (ja) | 画像処理装置およびその制御方法 | |
US10893191B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium | |
KR102475999B1 (ko) | 화상 처리장치 및 그 제어방법 | |
CN110557560B (zh) | 摄像设备及其控制方法和存储介质 | |
US20220377234A1 (en) | Image processing apparatus, and control method, and storage medium thereof | |
WO2019124055A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US11463617B2 (en) | Information processing apparatus, information processing system, image capturing apparatus, information processing method, and memory | |
JP7403218B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US20220337740A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and storage medium | |
CN111512625B (zh) | 摄像设备及其控制方法和存储介质 | |
US11818457B2 (en) | Image capturing apparatus, control method therefor, and storage medium | |
US11032468B2 (en) | Image processing apparatus, image processing method, image capturing apparatus, and storage medium | |
JP2023006632A (ja) | 撮像装置、制御方法、およびプログラム | |
JP2022070464A (ja) | 撮像装置、制御方法、およびプログラム | |
JP2021111960A (ja) | 撮像装置、撮像装置の制御方法、プログラム | |
US12003857B2 (en) | Image capturing apparatus capable of recognizing voice command, control method, and recording medium | |
CN117278832A (zh) | 控制设备、摄像设备、控制方法、记录介质和摄像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230602 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20240415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240419 |