JP2023115728A - 撮像装置、及びこれらの制御方法、プログラム - Google Patents
撮像装置、及びこれらの制御方法、プログラム Download PDFInfo
- Publication number
- JP2023115728A JP2023115728A JP2022018106A JP2022018106A JP2023115728A JP 2023115728 A JP2023115728 A JP 2023115728A JP 2022018106 A JP2022018106 A JP 2022018106A JP 2022018106 A JP2022018106 A JP 2022018106A JP 2023115728 A JP2023115728 A JP 2023115728A
- Authority
- JP
- Japan
- Prior art keywords
- function
- recording
- moving image
- image
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims description 38
- 238000004891 communication Methods 0.000 claims description 80
- 230000005236 sound signal Effects 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 80
- 230000006870 function Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 16
- 230000015654 memory Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000003825 pressing Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Accessories Of Cameras (AREA)
Abstract
【課題】ユーザの意図に沿って撮影に関する処理の開始と終了を制御する撮像装置を提供する。【解決手段】撮像装置において、ユーザからの操作を受け付ける操作部材と、操作部材への第一の操作を受け付けることに応じて静止画撮影を実行する第一の機能と、操作部材への第二の操作を受け付けることに応じて動画の記録を開始する第二の機能と、自動的に動画の記録を開始する第三の機能と、を有する撮像手段と、第三の機能が実行されている状態で、第一の操作が操作部材を介して受け付けられた場合、第三の機能による動画の記録を停止するとともに、第一の機能による静止画撮影を実行し、第二の機能が実行されている状態で第一の操作が操作部材を介して受け付けられた場合、第二の機能による動画の記録を停止し、かつ、第一の機能による静止画撮影を実行しないよう制御する制御手段と、を有する。【選択図】図5
Description
本発明は、撮像装置およびその制御方法に関する。
近年、ユーザが明示的に指示を与えなくとも自動的に適切なタイミングで撮像するデジタルカメラ(いわゆるライフログカメラ)が知られている。このようなカメラであっても、ユーザの意図したタイミングで撮影できるようにするために、ユーザからの指示を受けて撮影処理を実行する機能を持つ。例えば、特許文献1では、自動で撮影する機能に加えて、手動で撮影する機能を持つライフログカメラが開示されている。なお、このようなライフログカメラでは、静止画のみならず、動画像も自動および手動で撮像することができる。
上述のようなライフログカメラは、首からぶら下げたり体の一部に装着するなどして、長時間携帯することを想定している。そのため、一般に携帯性が重視される。そこで、自動撮影のオンオフや、手動での静止画および動画撮影の開始および終了、撮像に関する複数の機能を一つのボタンを利用して指示することが考えられる。しかしながら、複数の機能を一つのボタンへの操作で区別して実行させるためには、単なる押下だけではなく、例えば短時間での二回押下や一定時間押下し続けるなど、より複雑な操作を採用して実行する機能を区別することが想定される。また、同じ操作が状態に応じて異なる処理のトリガとなることも想定される。その結果、ユーザが意図したタイミングで適切な処理を開始および終了するために複雑な操作が必要となり、わずらわしさを感じさせる虞があった。
そこで、本発明は撮影に関する処理の開始と終了を特定の操作部材への操作で実現する装置において、よりユーザの意図に沿って撮影に関する処理の開始と終了を制御することを目的とする。
上記の目的を達成するために、本発明の撮像装置は、ユーザからの操作を受け付ける操作部材と、前記操作部材への第一の操作を受け付けることに応じて静止画撮影を実行する第一の機能と、前記操作部材への第二の操作を受け付けることに応じて動画の記録を開始する第二の機能と、自動的に動画の記録を開始する第三の機能と、を有する撮像手段と、前記第三の機能が実行されている状態で、前記第一の操作が前記操作部材を介して受け付けられた場合、前記第三の機能による動画の記録を停止するとともに、前記第一の機能による静止画撮影を実行し、前記第二の機能が実行されている状態で、前記第一の操作が前記操作部材を介して受け付けられた場合、前記第二の機能による動画の記録を停止し、かつ前記第一の機能による静止画撮影を実行しないよう制御する制御手段を有することを特徴とする。
本発明によれば、撮影に関する処理の開始と終了を特定の操作部材への操作で実現する装置において、よりユーザの意図に沿って撮影に関する処理の開始と終了を制御することができる。
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
<カメラの構成>
図1は、本発明の撮像装置の一実施形態であるカメラの外観を模式的に示す図である。図1(a)に示すカメラ101には、電源スイッチ、カメラ操作を行うことができる操作部材などが設けられている。被写体像の撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含む鏡筒102は、カメラ101の固定部103に対して移動可能に取り付けられている。具体的には、鏡筒102は、固定部103に対して回転駆動できる機構であるチルト回転ユニット104とパン回転ユニット105とを介して固定部103に取り付けられている。
図1は、本発明の撮像装置の一実施形態であるカメラの外観を模式的に示す図である。図1(a)に示すカメラ101には、電源スイッチ、カメラ操作を行うことができる操作部材などが設けられている。被写体像の撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含む鏡筒102は、カメラ101の固定部103に対して移動可能に取り付けられている。具体的には、鏡筒102は、固定部103に対して回転駆動できる機構であるチルト回転ユニット104とパン回転ユニット105とを介して固定部103に取り付けられている。
チルト回転ユニット104は、鏡筒102を図1(b)に示すピッチ方向に回転駆動することができるモーター駆動機構を備え、パン回転ユニット105は、鏡筒102を図1(b)に示すヨー方向に回転駆動することができるモーター駆動機構を備える。すなわちカメラ101は、鏡筒102を2軸方向に回転駆動する機構を有する。図1(b)に示す各軸は、固定部103の位置に対してそれぞれ定義されている。角速度計106及び加速度計107は、カメラ101の固定部103に配置されている。そして、角速度計106や加速度計107の出力信号に基づいて、カメラ101の振動を検出し、チルト回転ユニット104とパン回転ユニット105を回転駆動することにより、鏡筒102の振れを補正したり、傾きを補正したりすることができる。また、角速度計106や加速度計107は、一定の期間の計測結果に基づいて、カメラの移動検出も行う。
図2は本実施形態のカメラ101の全体構成を示すブロック図である。図2において、第1制御部223は、例えばCPU(MPU)、メモリ(DRAM、SRAM)などを備える。そして、不揮発性メモリ(EEPROM)216に記憶されたプログラムに従って、各種処理を実行してカメラ101の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ216は、電気的に消去・記録可能なメモリであり、上記のように第1制御部223の動作用の定数、プログラム等が記憶される。
図2において、ズームユニット201は、変倍(結像された被写体像の拡大・縮小)を行うズームレンズを含む。ズーム駆動制御部202は、ズームユニット201を駆動制御するとともに、そのときの焦点距離を検出する。フォーカスユニット203は、ピント調整(焦点調節)を行うフォーカスレンズを含む。フォーカス駆動制御部204は、フォーカスユニット203を駆動制御する。撮像部206は撮像素子を備え、各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像信号として画像処理部207に出力する。なお、ズームユニット201、フォーカスユニット203、撮像部206は、鏡筒102内に配置されている。
画像処理部207はアナログ画像信号をA/D変換して得られたデジタル画像データに対して、歪曲補正、ホワイトバランス調整、色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部207から出力されたデジタル画像データは、画像記録部208でJPEG形式等の記録用フォーマットに変換され、メモリ215に記憶されたり後述する映像出力部217に送信される。なお、画像処理部207の機能は、第1制御部223に内蔵されていてもよい。
鏡筒回転駆動部205は、チルト回転ユニット104、パン回転ユニット105を駆動し、鏡筒102をチルト方向とパン方向に回動させる。鏡筒回転駆動部205は各回転ユニットを制御するための電子回路である。鏡筒回転駆動部205の機能は、第1制御部223に内蔵されていてもよい。
装置揺れ検出部209は、カメラ101の3軸方向の角速度を検出する角速度計(ジャイロセンサ)106や、カメラ101の3軸方向の加速度を検出する加速度計(加速度センサ)107を備える。そして、それらのセンサにより検出された信号に基づいて、装置の回転角度や装置のシフト量などが算出される。
音声入力部213は、カメラ101に設けられたマイクによりカメラ101の周辺の音声信号を取得し、デジタル音声信号に変換して音声処理部214に送信する。音声処理部214は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行うデジタル信号処理回路である。音声処理部214で処理された音声信号は、第1制御部223によりメモリ215に送信される。メモリ215は、画像処理部207、音声処理部214により得られた画像信号及び音声信号を一時的に記憶する。なお、音声処理部214の機能は、第1制御部223に内蔵されていてもよい。
画像処理部207及び音声処理部214は、メモリ215に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第1制御部223は、これらの圧縮画像信号、圧縮音声信号を、記録再生部220に送信する。
記録再生部220は、記録媒体221に対して画像処理部207及び音声処理部214で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録するデジタル信号処理回路である。また、音声信号を圧縮符号化しない場合には、第1制御部223は、音声処理部214により生成された音声信号と画像処理部207により生成された圧縮画像信号とを、記録再生部220に送信し記録媒体221に記録させる。なお、記録再生部220の機能は、第1制御部223に内蔵されていてもよい。
記録媒体221は、カメラ101に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、カメラ101で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができる。一般的には、記録媒体221には不揮発性メモリ216よりも大容量な媒体が使用される。例えば、記録媒体221は、ハードディスク、光ディスク、光磁気ディスク、CD-R、DVD-R、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
記録再生部220は、記録媒体221に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す(再生する)。そして、第1制御部223は、読み出された圧縮画像信号、圧縮音声信号を、画像処理部207及び音声処理部214に送信する。画像処理部207及び音声処理部214は、圧縮画像信号、圧縮音声信号を一時的にメモリ215に記憶させ、所定の手順で復号し、復号した信号を映像出力部217に送信する。
音声入力部213には複数のマイクが配置されており、音声処理部214は複数のマイクが設置された平面に対する音の方向を検出することができ、後述する被写体の探索や自動撮影に用いられる。さらに、音声処理部214では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声をカメラに登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データに基づいて機械学習により学習させたネットワークにより音シーンの判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部214に設定されており、特定音シーンや特定音声コマンドを検出する。音声処理部214が特定音シーンや特定音声コマンドを検出すると、第1制御部223や第2制御部211に、検出トリガー信号を出力する。
カメラ101のメインシステム全体を制御する第1制御部223とは別に、この第1制御部223の供給電源を制御する第2制御部211が設けられている。第1電源部210と第2電源部212は、第1制御部223と第2制御部211を動作させるための電力をそれぞれ供給する。カメラ101に設けられた電源ボタンの押下により、まず第1制御部223と第2制御部211の両方に電源が供給されるが、後述するように、第1制御部223は、第1電源部210へ自らの電源供給をOFFする制御も行う。第1制御部223が動作していない間も、第2制御部211は動作しており、装置揺れ検出部209や音声処理部214からの情報が入力される。第2制御部211は、各種入力情報に基づいて、第1制御部223を起動するか否かの判定を行い、起動することが判定されると、第1電源部210に第1制御部223へ電力を供給するように指示する。
音声出力部218は、例えば撮影時などにカメラ101に内蔵されたスピーカーから予め設定された音声パターンを出力する。LED制御部224は、例えば撮影時などに、カメラ101に設けられたLEDを、予め設定された点灯パターンや点滅パターンに基づいて点灯させる。映像出力部217は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を出力する。また、音声出力部218、映像出力部217は、結合された1つの端子、例えばHDMI(登録商標):High-Definition Multimedia Interface端子のような端子であってもよい。
通信部222は、カメラ101と外部装置との間で通信を行う部分であり、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了のコマンド、パン機能・チルト機能、ズーム機能等の撮影にかかわる各機能に関する制御信号を受信して、外部装置の指示に基づいてカメラ101を駆動する。また、カメラ101と外部装置との間で、後述する学習処理部219で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部222は、例えば、赤外線通信モジュール、Bluetooth(登録商標)通信モジュール、無線LAN通信モジュール、WirelessUSB(登録商標)、GPS受信機等の無線通信モジュールを備える。
後述するように、本実施形態のカメラ101は、通信部222を介してBluetoothを用いた通信方式および無線LANを用いた通信方式で、外部装置301と無線通信接続を確立することができる。
カメラ操作部225は、カメラ101に設けられた操作ボタンを含む。操作ボタンは、カメラ101の電源供給オン・オフを指示する電源ボタン、およびカメラ101と外部装置301との無線通信開始を指示する通信ボタンを有する。
電源ボタンを操作すると、第1制御部223と第2制御部211の両方に電源を供給し、後述の<撮像動作シーケンス>の処理を開始する。
カメラ101の電源供給が完了した状態で通信ボタンを操作すると、撮像装置101と外部装置301が無線通信による接続を確立する処理が実行され、接続ののちに外部装置301上の専用アプリケーションから各種の操作が可能な状態となる。
なお、本実施形態のカメラ101は携帯性を重視し、ディスプレイを持たない。
<外部装置との通信>
図3は、カメラ101と外部装置301との無線通信システムの構成例を示す図である。カメラ101は撮影機能を有するデジタルカメラであり、外部装置301はBluetooth通信モジュール、無線LAN通信モジュールを含むスマートデバイスである。
図3は、カメラ101と外部装置301との無線通信システムの構成例を示す図である。カメラ101は撮影機能を有するデジタルカメラであり、外部装置301はBluetooth通信モジュール、無線LAN通信モジュールを含むスマートデバイスである。
カメラ101と外部装置301は、例えばIEEE802.11規格シリーズに準拠した無線LANによる第1の通信302によって通信可能である。加えて、例えばBluetooth Low Energy(以下、「BLE」と呼ぶ)などの、制御局と従属局などの主従関係を有する第2の通信303とによって通信可能である。なお、無線LAN及びBLEは通信方式の一例であり、各通信装置は、2つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、無線LANなどの第1の通信302は、BLEなどの第2の通信303より高速な通信が可能であり、また、第2の通信303は、第1の通信302よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。
ここで、図4を用いて外部装置301の構成を説明する。外部装置301は、例えば、無線LAN用の無線LAN制御部401、及び、BLE用のBLE制御部402に加え、公衆無線通信用の公衆無線制御部406を有する。また、外部装置301は、パケット送受信部403をさらに有する。無線LAN制御部401は、無線LANのRF制御、通信処理、IEEE802.11規格シリーズに準拠した無線LANによる通信の各種制御を行うドライバ処理や無線LANによる通信に関するプロトコル処理を行う。BLE制御部402は、BLEのRF制御、通信処理、BLEによる通信の各種制御を行うドライバ処理やBLEによる通信に関するプロトコル処理を行う。公衆無線制御部406は、公衆無線通信のRF制御、通信処理、公衆無線通信の各種制御を行うドライバ処理や公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばIMT(International Multimedia Telecommunications)規格やLTE(Long Term Evolution)規格などに準拠したものである。パケット送受信部403は、無線LAN並びにBLEによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本実施形態では、外部装置301は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。
外部装置301は、例えば、制御部411、記憶部404、GPS受信部405、表示部407、操作部408、音声入力音声処理部409、電源部410をさらに有する。制御部411は、例えば、記憶部404に記憶された制御プログラムを実行することにより、外部装置301全体を制御する。記憶部404は、例えば制御部411が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部404に記憶された制御プログラムを制御部411が実行することにより、実現される。
電源部410は、外部装置301に電力を供給する。表示部407は、例えば、LCDやLEDのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部408は、例えばユーザによる外部装置301の操作を受け付けるボタン等を含む。なお、表示部407及び操作部408は、例えばタッチパネルなどの共通する部材によって構成されていてもよい。
音声入力音声処理部409は、例えば外部装置301に内蔵された汎用的なマイクにより、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を識別する構成にしてもよい。また、外部装置301内の専用のアプリケーションを用いて、ユーザの発音により音声コマンドを取得し、無線LANによる第1の通信302を介して、カメラ101の音声処理部214に認識させるための特定音声コマンドとして登録することもできる。
GPS(Global positioning system)受信部405は、衛星から通知されるGPS信号を受信し、GPS信号を解析し、外部装置301の現在位置(経度・緯度情報)を推定する。もしくは、WPS(Wi-Fi Positioning System)等を利用して、周囲に存在する無線ネットワークの情報に基づいて、外部装置301の現在位置を推定するようにしてもよい。取得した現在のGPS位置情報が予め事前に設定されている位置範囲(検出位置を中心といて所定半径の範囲以内)に位置している場合や、GPS位置情報に所定以上の位置変化があった場合に、BLE制御部402を介してカメラ101へ移動情報を通知する。そして、後述する自動撮影や自動編集のためのパラメータとして使用する。
上記のようにカメラ101と外部装置301は、無線LAN制御部401、及び、BLE制御部402を用いた通信により、データのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部装置301からカメラ101への撮影指示などの送信、音声コマンド登録データの送信、GPS位置情報に基づいた所定位置検出通知の送信、場所移動通知の送信等を行う。また、外部装置301内の専用のアプリケーションを用いての学習用データの送受信も行う。専用アプリケーションは、ディスプレイを持たないカメラ101に代わって、外部装置301のディスプレイを介してカメラ内の画像閲覧やカメラの設定変更などのGUIを表示させる役割も担う。
図3の説明に戻る。
本実施形態のカメラ101は、外部装置301との無線LANの接続手順を二つ有する。
1つは、Bluetooth Low Energyから無線LANに切り替える方法である。
カメラ101の電源供給が完了した(電源オンになった)状態で通信ボタンが短押し操作されると、カメラ101はBLEのアドバタイズパケットの発信を開始する。外部装置301は、このアドバタイズパケットをスキャンすることで受信し、これに応答してカメラ101に対して接続要求を送信する。この要求をカメラ101が許可することで、カメラ101と外部装置301とがBLEを介して接続される。一度接続すると、カメラ101と外部装置301との間では互いの情報を記憶しあう。この状態をペアリングされた状態と呼ぶ。ペアリングされた状態でカメラ100が電源オンになった場合は、通信ボタンの押下を待つことなくアドバタイズの発信を開始し、これをスキャンして受信した外部装置301と自動的にBLE接続することができる。
また、カメラ101は、ペアリングされた状態になる過程で、外部装置301との間で、カメラ101が生成する無線LANの通信パラメータ(SSIDとパスワード)をBLEを介して共有する。ここで共有されたSSIDとパスワードは、外部装置301にてペアリングが解除されるまで記憶される。
なお、カメラ101の電源ボタンと通信ボタンを同時に長押しすることで、カメラ101側でもペアリングを解除できる。
さらにカメラ101とBLE接続した状態で外部装置301にて専用アプリケーションが起動され、フォアグラウンドに表示されると、外部装置301は専用アプリケーションの制御に従って、カメラ101に対して無線LANの起動をBLEを介して要求する。この要求を受けたカメラ101は、BLEの通信を終了し、無線LANのビーコンの発信を開始する。ビーコンには、BLEを介して共有したSSIDが含まれる。このビーコンを受信した外部装置301はカメラ101が生成する無線LANへの参加要求をカメラ101に対して送信する。この参加要求が受け付けられることで、外部装置301はカメラ101の生成する無線LANに参加し、その後アプリケーション層の接続確立処理を経てカメラ101と外部装置301との無線LANを介した接続が確立される。
以上が接続の方法の一つである。
続いてもう一つの接続方法について述べる。
カメラ101は、外部装置301がBluetoothを搭載していない機器である場合を想定し、Bluetoothを介さずに無線LANを生成する機能を持つ。ユーザは、カメラ101が電源オンの状態かつ外部301と接続していない状態で、通信ボタンを長押しすることで、カメラ101をBluetoothを介さずに無線LANを生成するモードに変更することができる。この通信ボタンの長押しによって、カメラ101はモード変更するとともに、いったん電源がオフになる。再度ユーザはカメラ101の電源ボタンを操作してカメラ101の電源をオンにし、さらに通信ボタンを短押しする。このようにした場合、カメラ101は、BLEのアドバタイズパケットの発信を開始せず、代わりに無線LANの機能を起動し、ビーコンの発信を開始する。なお、ここではデフォルトの固定のSSIDがビーコンに含まれる。外部装置301のユーザは、このSSIDを外部装置301の入力部材を用いて入力し、外部装置301からカメラ101に対して、入力されたSSIDの無線LANへの参加要求を送信する。この参加要求が受け付けられることで、外部装置301はカメラ101の生成する無線LANに参加し、その後アプリケーション層の接続確立処理を経てカメラ101と外部装置301との無線LANを介した接続が確立される。なお、カメラ101が外部装置301やほかのスマートフォンとペアリング済みであっても、通信ボタンの長押しによってモードを切り替え、この機能によって無線LANのみで接続することができる。
以上がもう一つの接続の方法の説明である。
本実施形態では、外部装置301とのWLANによる無線通信が確立した後に、通信ボタンに対して、撮影指示を入力するための撮影指示ボタンとしての役割を割り当てることができる。この割り当ては、外部装置301にインストールされた専用アプリケーションのGUIを通じて行われる。カメラ101は、外部装置301の専用アプリケーションから通信ボタンに撮影指示を入力するための撮影指示ボタンとしての役割を割り当てる指示を受け付けた場合、通信ボタンで撮影指示を受け付ける機能を有効にする。
ただし、上述のように、カメラ101がペアリングされていない状態や、Bluetoothを介さずに無線LANを生成するモードである場合は、通信ボタンが本来の役割で機能する必要がある。そのため、仮に通信ボタンに撮影指示を受け付ける役割を割り当てられていたとしても、カメラ101がペアリングされていない状態や、Bluetoothを介さずに無線LANを生成するモードである場合は、その設定は無視される。すなわち、通信ボタン本来の役割に戻る。
<撮像動作のシーケンス>
図5は、本実施形態におけるカメラ101の自動撮影処理、および手動撮影処理のフローチャートである。
図5は、本実施形態におけるカメラ101の自動撮影処理、および手動撮影処理のフローチャートである。
本実施形態のカメラ101においては、ユーザがカメラ101に設けられた電源ボタンをオンからオフになるよう操作すると、本フローチャートの処理が開始される。なお、ここではあらかじめカメラ101の通信ボタンに撮影指示を受け付ける機能を割り当てているものとし、通信ボタンは撮影指示ボタンとして機能することを前提に説明する。また、以下のフローチャートの各ステップの処理は、第1制御部223がカメラ101の各部を制御することによって実現される。また、自動撮影の機能は外部装置301上の専用アプリケーションからの操作によってオン・オフできる。
まず、ステップS501において、撮像部206により受像し、取り込まれた信号に対して画像処理部207で画像処理を行い、被写体検出用の画像を生成する。さらに、生成された画像に対して、人物や物体などを検出する被写体検出処理を行う。
人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内においてそのパターンに一致する箇所を、人物の顔領域として検出することができる。
また、被写体の顔としての確からしさを示す信頼度も同時に算出する。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致程度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。
また、撮像された画像内の色相や彩度等のヒストグラムを用いて特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けされ、同一の区間の組み合わせに属する領域において撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、その評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。以上の方法で、撮像情報から各被写体情報を得ることができる。
ステップS502では、像ブレ補正量の算出を行う。具体的には、まず装置揺れ検出部209において取得した角速度および加速度情報に基づいてカメラの揺れの絶対角度を算出する。そして、その絶対角度を打ち消す角度方向にチルト回転ユニット104およびパン回転ユニット105を動かして像ブレを補正する角度を求め、像ブレ補正量とする。なお、ここでの像ブレ補正量算出処理は、後述する学習処理によって、算出方法を変更することが出来る。
ステップS503では、カメラの状態判定を行う。角速度情報や加速度情報やGPS位置情報などで検出したカメラ角度やカメラ移動量などにより、現在カメラがどのような振動/動き状態なのかを判定する。例えば、車にカメラ101を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用する。また、カメラの角度の変化が大きいか否かを判定し、カメラ101の揺れがほとんどない「置き撮り状態」であるのかを判定する。「置き撮り状態」である場合は、カメラ101自体の位置変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。また、比較的カメラの角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。
ステップS504では、被写体探索処理を行う。被写体探索は、以下の処理によって構成される。
(1)エリア分割
図6を用いて、エリア分割について説明する。図6(a)のようにカメラ(原点Oがカメラ位置とする)位置を中心として、全周囲でエリア分割を行う。図6(a)の例においては、チルト方向、パン方向をそれぞれ22.5度ごとに分割している。図6(a)のように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図6(b)のように、チルト角度が45度以上の場合、水平方向のエリア範囲を22.5度よりも大きく設定している。
図6を用いて、エリア分割について説明する。図6(a)のようにカメラ(原点Oがカメラ位置とする)位置を中心として、全周囲でエリア分割を行う。図6(a)の例においては、チルト方向、パン方向をそれぞれ22.5度ごとに分割している。図6(a)のように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図6(b)のように、チルト角度が45度以上の場合、水平方向のエリア範囲を22.5度よりも大きく設定している。
図6(c)、6(d)に撮影画角内でのエリア分割された領域の例を示す。軸1301は初期化時のカメラ101の向きであり、この方向を基準位置としてエリア分割が行われる。1302は、撮像されている画像の画角エリアを示しており、そのときの画像例を図6に示す。撮像されている画角の画像内では、エリア分割に基づいて、図6で符号1303~1318で示されるように画像が分割される。
(2)エリア毎の重要度レベルの算出
上記のように分割した各エリアについて、エリア内に存在する被写体の状況やシーンの状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果等に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等に基づいて算出される。
上記のように分割した各エリアについて、エリア内に存在する被写体の状況やシーンの状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果等に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等に基づいて算出される。
また、図5のカメラ状態判定(ステップS503)で、カメラの振動が検出されている場合、振動状態に応じても重要度レベルが変化するようにすることもできる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体(例えばカメラの所有者)を中心に被写体探索が行われるように判定される。また、後述する自動撮影も例えばカメラの所有者の顔を優先して行われる。これにより、カメラの所有者がカメラを身に着けて持ち歩き撮影を行っている時間が多くても、カメラを取り外して机の上などに置くことで、所有者が写った画像も多く残すことができる。このときパン・チルトにより顔の探索が可能であることから、カメラの置き角度などを考えなくても、適当に設置するだけで所有者が写った画像やたくさんの顔が写った集合写真などを残すことができる。
なお、上記の条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するステップS513において撮影を行ったエリアでは、所定時間の間重要度レベルを下げてもよい。
(3)探索対象エリアの決定
上記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
上記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
図5の説明に戻って、ステップS505では、パン・チルト駆動を行う。具体的には、制御サンプリング周波数での、像ブレ補正量と、パン・チルト探索目標角度に基づいた駆動角度とを加算することにより、パン・チルト駆動量を算出する。そして、鏡筒回転駆動部205によって、チルト回転ユニット104、パン回転ユニット105をそれぞれ駆動制御する。
ステップS506ではズームユニット201を制御し、ズーム駆動を行う。具体的には、ステップS504で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔である場合、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出が出来ず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体やカメラ自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追尾するのに適した状態を保つことが出来る。
ステップS507では、撮影指示部材に対して撮影を指示するための操作があったか否かを判定し、操作があった場合、ステップS508に進む。本実施例においてカメラ101は、筐体外部に露出したボタンを備え、本ステップではこのボタンを撮影指示部材として採用する。ユーザは、このボタンを短押しすることで静止画の撮影を指示することができる。さらに、このボタンを長押しすることで動画記録の開始を指示することができる。
ステップS508では、カメラ101が動画記録中であるか否かを判定し、動画記録中であった場合は、ステップS509に進む。動画記録中でない(つまり、撮影待機状態である)場合は、ステップS511に進む。なお、動画記録中の場合は、後述するステップS516での自動撮影により開始された動画記録、または後述のステップS513でユーザにより指示されたことで開始された動画記録である。
ステップS509にて動画記録中の動画を停止し、記録していた動画ファイルをクローズする。
さらに、ステップS510にて停止した動画記録が開始されたトリガーが自動撮影によるものだったか否かを判定する。すなわち、S516で開始された動画記録であったか否かを判定する。
まずステップS510にて、停止した動画記録が自動撮影により開始されたものであると判断した場合について説明する。この場合は、ステップS511に進み、ステップS507で判定した撮影指示部材の操作が短押し操作によるものか否かを判定する。
ステップS511にて、撮影指示部材の操作が短押し操作であると判定した場合は、静止画撮影の実行を指示されたと判断し、ステップS512にて静止画撮影を行う。一方、撮影指示部材の操作が短押し操作でないと判定した場合(すなわち長押し操作であると判定した場合)は、ステップS513にて動画撮影を開始する。ここで開始された動画記録は、ユーザ操作により停止されるか、または記録時間が29分59秒に達するまで継続される。
このように、ステップS510にて停止した動画記録の開始が自動撮影によるものである場合、ユーザは動画記録中であったかどうかを把握していない可能性が高い。それゆえ、ユーザは単純に撮影を行いたいという意思のみで操作していると考えられる。そこで、本実施形態では、自動撮影により開始した動画の記録中にユーザが手動で撮影指示を入力した場合、動画を停止するだけでなく、静止画の撮影または改めての動画の記録の開始までを行う。
一方、ステップS510にて自動撮影による動画記録ではない(手動による動画記録である)と判定した場合は、S511~S513を経ることなくS501に戻る。このように、停止した動画記録の開始が手動によるものである場合は、静止画の撮影または改めての動画の記録の開始を行わず、動画の記録を停止するのみとする。ステップS510にて停止した動画記録の開始が手動の指示によるものである場合、ユーザは現在動画記録中であることを把握している。すなわち、ユーザの指示は動画の記録を停止したいがために操作している可能性がありうる。そこで、本実施形態では、手動で開始した動画の記録中にユーザが手動で撮影指示を入力した場合、動画を停止するのみとし、その指示による撮影は行わない。
ステップS507で指示がなかったと判定した場合には、ステップS514に進み、自動撮影判定処理を実行し、自動撮影を行うか否かを判定する。自動撮影判定処理では、後述の自動撮影を行うか否かの判定を行う。その際、フォーカス駆動制御部204によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部207において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理が行われ、画像が生成される。
ステップS514において自動撮影を行うと判定された場合は、ステップS515に進み、静止画もしくは動画記録の撮影を開始する。ここで動画記録が開始された場合、自動的に開始された動画の記録は、ユーザ操作により停止されるか、記録開始から30秒が経過するまで継続される。なお、ここでは手動で開始した動画の記録に対してより短い時間の経過で停止する場合を例に挙げた。これは、手動で開始した場合は、ユーザの記録継続の意思を優先し、一方で自動で開始した場合は、処理負荷や筐体の発熱などの問題を抑制することを優先する、という思想によるものであるが、これに限られるものではない。例えば十分な処理速度、十分な放熱機構を採用できる筐体であれば、自動的に開始された動画の記録も手動で開始した動画の記録と同じように29分59秒に達するまで継続してもよい。あるいは、どちらの場合も処理負荷の低減を優先して30秒までとしてもよい。
なお、この撮影の際に、所定の条件を満たした場合、カメラが撮影対象となる人物に対し撮影を行う旨を報知した上で撮影するようにしてもよい。報知の方法として、例えば、音声出力部218からの発音やLED制御部224によるLED点灯等を使用してもよい。所定の条件は、例えば、画角内における顔の数、顔の笑顔度、目瞑り度、被写体人物の視線角度や顔角度、顔認証ID番号、個人認証登録されている人物の数、撮影時の一般物体認識結果、シーン判別結果、前回撮影時からの経過時間、を含む。さらに、撮影時刻、GPS情報に基づく現在位置が景勝地であるか否か、撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否かを含む。さらに、振動情報(加速度情報、カメラ状態)、環境情報(温度、気圧、照度、湿度、紫外線量)等を含む。これらの条件に基づいて報知撮影を行うことによって、重要性が高いシーンにおいて好ましいカメラ目線の画像を残すことが出来る。また、静止画と動画を適度に生成するために、静止画撮影を行った回数が所定の回数に達した場合、次の撮影タイミングでは一定時間の動画記録を開始してもよい。あるいは、被写体の時間的な動きの変化を記録するべきタイミングを検知した場合に動画記録を開始するようにしてもよい。
<自動撮影を行うか否かの判定>
自動撮影(撮像部によって出力された画像データを記録する撮影動作)を行うか否かの判定は以下のように行われる。具体的には、以下の2つの場合に、自動撮影を実行すると判定する。具体的には、ステップS504の被写体探索処理において得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施すると判定する。なお、ここでいう記録は、メモリ215への画像データの記録でもよいし、不揮発性メモリ216への画像データの記録でもよい。また、外部装置301に画像を自動で転送し、外部装置301側に画像データを記録するものも含む。
自動撮影(撮像部によって出力された画像データを記録する撮影動作)を行うか否かの判定は以下のように行われる。具体的には、以下の2つの場合に、自動撮影を実行すると判定する。具体的には、ステップS504の被写体探索処理において得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施すると判定する。なお、ここでいう記録は、メモリ215への画像データの記録でもよいし、不揮発性メモリ216への画像データの記録でもよい。また、外部装置301に画像を自動で転送し、外部装置301側に画像データを記録するものも含む。
本実施形態では、上記のように自動撮影判定処理により撮影を自動的に行うように制御するが、その場の状況やカメラの状況によっては、自動撮影の判定パラメータを変更したほうがよい場合がある。
一定時間間隔での撮影とは異なり、状況判断に基づく自動撮影制御は以下のようなものが好まれる傾向にある。
(1)人やモノも含めて多めの枚数の画像を撮影したい
(2)思い出に残るシーンを撮り逃したくない
(3)バッテリーの残量、記録メディアの残量を考慮し、省エネで撮影を行いたい
自動撮影は被写体の状態から評価値を算出し、評価値と閾値を比較して、評価値が閾値を超える場合には自動撮影を実施する。なお、自動撮影の評価値はそれまでの学習結果により決定される。
(1)人やモノも含めて多めの枚数の画像を撮影したい
(2)思い出に残るシーンを撮り逃したくない
(3)バッテリーの残量、記録メディアの残量を考慮し、省エネで撮影を行いたい
自動撮影は被写体の状態から評価値を算出し、評価値と閾値を比較して、評価値が閾値を超える場合には自動撮影を実施する。なお、自動撮影の評価値はそれまでの学習結果により決定される。
図7Aに示す例では、横軸に時間経過、縦軸に自動撮影の判定閾値を示している。撮影が実施されない状態が一定の時間経過すると、閾値が徐々に低下するように設計されている。このような調整を行うのは、被写体の状況としては必ずしも撮影に好適な場面ではないとしても、一定回数の撮影動作を実施しておくことで、撮影体験全体にわたってほぼ万遍なく撮影を行うことができると考えられるからである。
図7Aの例では、撮影が完了したところから経過時間を計測し、経過時間T3を過ぎると閾値を初期値TH_DEFAULTよりも徐々に低下させ、さらに時間が経過すると判定閾値はTH_MINまで下げていく。被写体の状況とは無関係に一定時間間隔での撮影ではユーザが撮影したい映像とはかけ離れてしまう恐れがある。判定閾値を少しずつ下げていくことで、ユーザが撮影したい映像により近くなるように制御することができる。
さらに図7Bの例では、経過時間T1の時点で撮影動作が実施された場合を示している。撮影履歴情報として保持している自動撮影の評価値の変化を評価し、低下傾向或いは変化が乏しい場合には、判定閾値をTH_MAXに設定する。さらに時間経過ともに徐々に判定閾値を低下させる。
一方、経過時間T1での撮影において評価値が増加傾向であると認められる場合には、判定閾値は図7Aと同様の動きとなり、判定閾値は初期値TH_DEFAULTを維持する。
カメラ101を制御するCPUは、画像情報を基に被写体の顔を検出する検出部を有する。さらに、顔の表情を認識して特定の表情(例えば、喜び、悲しみ、怒り、驚きの状態の特徴値が閾値を超えた場合)の状態等を入力として評価値を算出して自動撮影の判定をする判定部を有する。更には該判定部の判定結果に応じて被写体記録動作(自動撮影)を行う制御部を有する。この場合において、自動撮影の判定閾値を時間経過と評価値に応じて調整する。この調整により、判定部で算出した評価値が増加傾向の場合には判定閾値を維持することで様々な表情の撮影を行い、撮り逃しを防止することができる。一方、評価値の変化が乏しい場合や評価値が低下傾向の場合には判定閾値を一時的に増加させることで撮影動作を実施しないように制御することになる。これにより、撮り逃しを抑制するとともに記録メモリ不足の低減が図れる。
他の制御例として図7Cを用いて説明する。図7Cでは撮影動作が実施されてから経過時間T1までの期間の判定閾値をTH_MAXと設定する。この調整により撮影直後に立て続けに撮影動作が実施されることで類似画像が多くなり過ぎてしまう問題の低減を図れる。また、図7Dではカメラ101の揺れ状態の検出結果に応じて閾値を変更する制御例を示している。カメラ101をウエアラブルカメラとして装着しているような場合には自動撮影の判定による撮影判断だけでは行動の様子が時系列で繋がらない場合がある。図10Eでは経過時間T3を過ぎると閾値を下げていき、経過時間T4の時点では閾値がゼロまで変更する。つまり、経過時間T4まで撮影動作が実施されない場合には自動撮影の評価値に依らず撮影動作が実施されることを意味している。
このように撮影状況に応じて撮影頻度をコントロールすることにより、適切な撮影枚数が得られる自動撮影を行うことができる。
なお、上述では、撮影状況に応じて撮影頻度が変わるように制御したが、静止画撮影を判定するための判定閾値と動画撮影を開始するための判定閾値を夫々別に保持して制御してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施形態)
上述の実施形態では、撮影指示部材をボタンとし、その操作として短押しを例に挙げて説明しているが、これに限られるものではない。たとえば、ボタン操作に代えて、カメラ筺体を指等で軽く叩く操作(タップ)を撮影指示に採用してもよい。タップ操作をトリガーとする撮影指示は、ユーザがカメラ筺体をタップした際、加速度センサを含む装置揺れ検出部209によって短期間に連続した高周波の加速度を検知することにより判定される。例えば、カメラ筐体の1回タップにより手動静止画撮影指示、2回タップにより手動動画記録指示等としても良いものとする。また手動撮影指示に関して、カメラ101の操作ボタン短押し、長押しによる指示としているが、指示方法も本実施例に依らない方法で実現してもよい。
上述の実施形態では、撮影指示部材をボタンとし、その操作として短押しを例に挙げて説明しているが、これに限られるものではない。たとえば、ボタン操作に代えて、カメラ筺体を指等で軽く叩く操作(タップ)を撮影指示に採用してもよい。タップ操作をトリガーとする撮影指示は、ユーザがカメラ筺体をタップした際、加速度センサを含む装置揺れ検出部209によって短期間に連続した高周波の加速度を検知することにより判定される。例えば、カメラ筐体の1回タップにより手動静止画撮影指示、2回タップにより手動動画記録指示等としても良いものとする。また手動撮影指示に関して、カメラ101の操作ボタン短押し、長押しによる指示としているが、指示方法も本実施例に依らない方法で実現してもよい。
また、カメラ101の筐体の一部の面にタッチセンサを設け、このセンサを用いて特定のタッチ操作を受け付けることで撮影指示を受け付けてもよい。
また、上述の実施形態では、自動的に開始した動画記録の最中に操作部材に対して長押し操作が行われた場合、動画記録を止めたうえで、さらに操作に応じて動画記録を開始する例について述べた。しかしながら、これに限られるものではない。例えば、動画は静止画に比べて、撮像タイミングに対するユーザの要求が低いことが想定される。そこで、動画記録の最中に操作部材に対して長押し操作が行われた場合は、その動画記録が自動的に開始したのか手動で開始されたのかに関わらず、どちらの場合でも単に動画記録を停止するのみとしてもよい。なお、この場合でも、操作部材への短押しによる静止画の撮影指示によって動画記録が停止する場合は、上述の実施形態と同様に、停止した動画記録の開始が自動か手動かに応じて、動画記録を停止するだけか、停止したうえで静止画撮影まで行うかを異ならせる。
また、上述の実施形態では、図1(a)や図3に示すようなカメラを例に挙げて説明した。これについては、ほかの形状のウェアラブル端末を採用してもよい。例えばメガネ状の筐体を持ち、ユーザの顔が向く方向と同一方向に向くようにカメラが内蔵されているような態様であってもよい。また、ヘッドマウントディスプレイであってもよい。その場合、レンズ越しに見える自分の周囲にある景色に、カメラで撮影した画像を、プリズムやハーフミラーといった光学系を用いて重ねる仕組みの光学シースルー型のヘッドマウントディスプレイを採用してもよい。あるいは、ユーザの視界を外界から完全に遮断し、代わりにカメラで撮影した画像をディスプレイに表示するビデオシースルー型のヘッドマウントディスプレイを採用してもよい。
また、カメラ101は、音声により撮影指示を受ける機能をさらに搭載してもよい。音声により撮影指示を入力した場合はユーザが撮影したいという意図を持っていることは明らかである。そこで、動画の記録中に音声により撮影指示を受け付けた場合は、その動画の記録が自動的に開始されたものか手動で開始されたものかに関わらず、動画の記録を停止するとともに撮影処理を実行する。また、音声により指示されたことで開始された動画の記録中にユーザが撮影指示部材を操作した場合、動画の記録を停止するとともに撮影処理を実行するようにしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実行可能である。
Claims (16)
- ユーザからの操作を受け付ける操作部材と、
前記操作部材への第一の操作を受け付けることに応じて静止画撮影を実行する第一の機能と、前記操作部材への第二の操作を受け付けることに応じて動画の記録を開始する第二の機能と、自動的に動画の記録を開始する第三の機能と、を有する撮像手段と、
前記第三の機能が実行されている状態で、前記第一の操作が前記操作部材を介して受け付けられた場合、前記第三の機能による動画の記録を停止するとともに、前記第一の機能による静止画撮影を実行し、前記第二の機能が実行されている状態で、前記第一の操作が前記操作部材を介して受け付けられた場合、前記第二の機能による動画の記録を停止し、かつ前記第一の機能による静止画撮影を実行しないよう制御する制御手段を有することを特徴とする撮像装置。 - 前記第三の機能が実行されている状態で、前記第二の操作が前記操作部材を介して受け付けられた場合、前記第三の機能による動画の記録を停止するとともに、前記第二の機能による動画の記録を開始し、前記第二の機能が実行されている状態で、前記第二の操作が前記操作部材を介して受け付けられた場合、前記第二の機能による動画の記録を停止し、かつ前記第二の機能による動画の記録を開始しないよう制御する制御手段を有することを特徴とする請求項1に記載の撮像装置。
- 前記第三の機能が実行されている状態で、前記第二の操作が前記操作部材を介して受け付けられた場合、前記第三の機能による動画の記録を停止し、かつ前記第二の機能による動画の記録を開始しないよう制御し、前記第二の機能が実行されている状態で、前記第二の操作が前記操作部材を介して受け付けられた場合、前記第二の機能による動画の記録を停止し、かつ前記第二の機能による動画の記録を開始しないよう制御する制御手段を有することを特徴とする請求項1に記載の撮像装置。
- 外部装置と無線通信で接続する機能をさらに有し、
前記操作部材は、前記外部装置との無線通信のために用いられるボタンであり、
前記制御手段は、前記外部装置からの指示によって、前記ボタンを介して前記第一の操作および前記第二の操作を受け付ける機能を有効にするよう制御することを特徴とする請求項1に記載の撮像装置。 - 外部装置と第一の通信方式で通信可能な第一の通信手段と、
前記外部装置と前記第一の通信方式よりも高速な第二の通信方式で通信可能な第二の通信手段と、をさらに有し、
前記第二の通信手段は、前記第一の通信手段を介して前記外部装置と共有した通信パラメータを用いて前記外部装置と前記第二の通信方式で通信する機能を有することを特徴とする請求項1に記載の撮像装置。 - 前記自動的に開始された動画の記録は、開始から所定の時間が経過することに応じて、自動的に停止することを特徴とする請求項1に記載の撮像装置。
- 前記操作部材への第二の操作を受け付けることに応じて開始された動画の記録は、開始から所定の時間が経過することに応じて、自動的に停止することを特徴とする請求項1に記載の撮像装置。
- 前記自動的に開始された動画の記録は、開始から第一の時間が経過することに応じて、自動的に停止し
前記操作部材への第二の操作を受け付けることに応じて開始された動画の記録は、開始から第二の時間が経過することに応じて、自動的に停止し、
前記第一の時間は前記第二の時間より短いことを特徴とする請求項1に記載の撮像装置。 - 音声による撮影指示を受け付ける機能をさらに有し、
動画の記録中に音声信号による撮影指示を受け付けた場合、該動画の記録が前記第二の機能および前記第三の機能のどちらの機能により開始されたものかに関わらず、該動画の記録を停止し、その後、前記音声信号による撮影指示に基づき撮影することを特徴とする請求項1に記載の撮像装置。 - 音声による撮影指示で開始された動画の記録中に前記操作部材への第一の操作を受け付けた場合、動画の記録を停止するとともに、前記第一の機能による静止画撮影を実行することを特徴とする請求項9に記載の撮像装置。
- 前記撮像手段はパン機能、チルト機能、ズーム機能をさらに有し、
前記撮像手段は、前記パン機能、前記チルト機能、前記ズーム機能の少なくとも一つ以上により被写体を追尾することを特徴とする請求項1に記載の撮像装置。 - 前記撮像装置はディスプレイを持たず、撮像した画像を外部装置に送信する機能を有することを特徴とする請求項1に記載の撮像装置。
- 前記撮像装置はヘッドマウントディスプレイであることを特徴とする請求項1に記載の撮像装置。
- 前記第三の機能では、撮像手段により撮像された画像に基づき所定の条件が満たされたことに応じて自動的に動画の記録が開始されることを特徴とする請求項1に記載の撮像装置。
- 操作部材と撮像手段を有する撮像装置の制御方法であって、
前記操作部材への第一の操作を受け付けることに応じて静止画撮影を実行する第一の機能と、
前記操作部材への第二の操作を受け付けることに応じて動画の記録を開始する第二の機能と、
自動的に動画の記録を開始する第三の機能と、を有し、
前記第三の機能が実行されている状態で、前記第一の操作が前記操作部材を介して受け付けられた場合、前記第三の機能による動画の記録を停止するとともに、前記第一の機能による静止画撮影を実行するよう制御し、
前記第二の機能が実行されている状態で、前記第一の操作が前記操作部材を介して受け付けられた場合、前記第二の機能による動画の記録を停止し、かつ前記第一の機能による静止画撮影を実行しないよう制御することを特徴とする撮像装置の制御方法。 - コンピュータを請求項1乃至14のいずれか1項に記載の撮像装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022018106A JP2023115728A (ja) | 2022-02-08 | 2022-02-08 | 撮像装置、及びこれらの制御方法、プログラム |
US18/160,584 US20230254571A1 (en) | 2022-02-08 | 2023-01-27 | Image capturing apparatus, method for controlling the same, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022018106A JP2023115728A (ja) | 2022-02-08 | 2022-02-08 | 撮像装置、及びこれらの制御方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023115728A true JP2023115728A (ja) | 2023-08-21 |
Family
ID=87520666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022018106A Pending JP2023115728A (ja) | 2022-02-08 | 2022-02-08 | 撮像装置、及びこれらの制御方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230254571A1 (ja) |
JP (1) | JP2023115728A (ja) |
-
2022
- 2022-02-08 JP JP2022018106A patent/JP2023115728A/ja active Pending
-
2023
- 2023-01-27 US US18/160,584 patent/US20230254571A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230254571A1 (en) | 2023-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11102389B2 (en) | Image pickup apparatus and control method therefor | |
US11184550B2 (en) | Image capturing apparatus capable of automatically searching for an object and control method thereof, and storage medium | |
JP7348754B2 (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP7233162B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
WO2019124055A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7267686B2 (ja) | 撮像装置及びその制御方法 | |
JP2023057157A (ja) | 撮像装置及びその制御方法、プログラム | |
JP7403218B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
WO2020026901A1 (ja) | 情報処理装置及びその制御方法 | |
JP2020095702A (ja) | 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム | |
US11818457B2 (en) | Image capturing apparatus, control method therefor, and storage medium | |
US11843846B2 (en) | Information processing apparatus and control method therefor | |
JP2023115728A (ja) | 撮像装置、及びこれらの制御方法、プログラム | |
JP2021111960A (ja) | 撮像装置、撮像装置の制御方法、プログラム | |
JP2020071873A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2020042262A (ja) | 撮像装置およびその制御方法、プログラム、記憶媒体 | |
JP7393133B2 (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 | |
US20240098358A1 (en) | Information processing apparatus and control method therefor | |
WO2021140879A1 (ja) | 撮像装置、撮像装置の制御方法、プログラム | |
JP2022053355A (ja) | 撮像装置 | |
JP2022070464A (ja) | 撮像装置、制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |