JP2022086195A - 撮像装置、電子機器およびそれらの制御方法 - Google Patents

撮像装置、電子機器およびそれらの制御方法 Download PDF

Info

Publication number
JP2022086195A
JP2022086195A JP2020198082A JP2020198082A JP2022086195A JP 2022086195 A JP2022086195 A JP 2022086195A JP 2020198082 A JP2020198082 A JP 2020198082A JP 2020198082 A JP2020198082 A JP 2020198082A JP 2022086195 A JP2022086195 A JP 2022086195A
Authority
JP
Japan
Prior art keywords
image pickup
state
angular velocity
pickup device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020198082A
Other languages
English (en)
Other versions
JP2022086195A5 (ja
Inventor
伸茂 若松
Nobushige Wakamatsu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020198082A priority Critical patent/JP2022086195A/ja
Priority to EP21209779.4A priority patent/EP4007266A1/en
Priority to US17/535,379 priority patent/US11924552B2/en
Priority to CN202111431357.1A priority patent/CN114584687A/zh
Publication of JP2022086195A publication Critical patent/JP2022086195A/ja
Publication of JP2022086195A5 publication Critical patent/JP2022086195A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Accessories Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】意図せずに機器が転倒したことを判定できるようにする。【解決手段】撮像装置であって、撮像部を有する可動部と、前記可動部を相対変位可能に支持する固定部と、前記可動部を前記固定部に対して相対的に変位させるよう駆動する駆動手段と、前記撮像装置の傾き角度を検出する第1の検出手段と、前記撮像装置の角速度を検出する第2の検出手段と、前記第1の検出手段により検出された傾き角度と前記第2の検出手段により検出された角速度とに基づいて、前記撮像装置の状態が転倒状態であるか非転倒状態であるかを判定する判定手段と、を有する撮像装置。【選択図】図5

Description

本発明は、可動部を固定部に対して相対的に変位させるよう駆動する撮像装置、電子機器およびそれらの制御方法に関する。
従来、可動部を固定部に対して相対的に変位させるよう駆動する電子機器として撮像装置が知られている。例えば、デジタルカメラ等の撮像装置には、被写体探索などのためにカメラのパン方向やチルト方向に回転駆動できる撮像装置がある。このような撮像装置では、被写体に含まれる人物の顔や人体を検出する顔検出機能や人体検出機能で人物を検出し、検出した人物の情報に応じて、合焦制御や露出制御やパンチルト回転による被写体追尾を行うことができる。
特許文献1には、パンチルト回転機構により自動被写体探索や自動追尾装置及び自動撮影を行う撮像装置が開示されている。また、従来の撮像装置には像振れ補正装置が搭載されるものがある。像振れ補正装置は、例えば手振れ量に応じてレンズや撮像素子を光軸と垂直する平面上で移動させることにより像面上での画像の像振れを抑制したり、撮影光学系および撮像素子を含む鏡筒を回転駆動して像振れ補正したりすることができる。
特許文献2には、撮影光学系および撮像素子を含む鏡筒を保持する回動部と、鏡筒が少なくとも2軸方向に回動可能なように回動部を保持する本体部と、本体部に配設された3軸方向の回転振動を検出する振動検出部とを備える撮像装置が開示されている。この撮像装置は、振動検出部からの振動と、本体部と可動部との相対角度とから、振れ補正の目標値を算出し、目標値に応じて回転部を回転駆動することで振れ補正を行う。
特開2019-106694号公報 特開2008-116836号公報
しかしながら、可動部を固定部に対して自動で相対変位させるよう駆動する場合に、次のような問題が生じる。まず、自動で被写体を探索、追尾、撮影する場合、ユーザから離れた位置にカメラを設置して撮影することが多い。例えば、子供やペットがカメラを倒したり風などでカメラが倒れたりした場合に、ユーザがカメラから離れた場所にいると、カメラが倒れたことに長い時間気付かないことがある。
カメラが、倒れた状態でパンチルト回転機構を用いて自動探索、追尾または防振制御により回転機構を駆動する際、倒れた設置面に可動部が接した状態のまま駆動されるとカメラが転がってしまうことがある。カメラが転がると、机から落下して故障するおそれがある。また、倒れた設置面との摩擦や抵抗により、回転機構を目標位置まで適切に駆動できず、高トルク・高出力の駆動力を発生し続けることがある。そのような場合は、回転機構が故障したり、電力を無駄に消費したりするおそれもある。
また、カメラを重力方向に対して傾けた状態で設置して使用する場合や手持ちで使用する場合などを考慮すると、カメラの傾き情報のみを用いてカメラが倒れた状態かどうかを判断することは難しい。
本発明は、意図せずに機器が転倒したことを判定できるようにすることを目的とする。
上記目的を達成するために本発明は、撮像装置であって、撮像部を有する可動部と、前記可動部を相対変位可能に支持する固定部と、前記可動部を前記固定部に対して相対的に変位させるよう駆動する駆動手段と、前記撮像装置の傾き角度を検出する第1の検出手段と、前記撮像装置の角速度を検出する第2の検出手段と、前記第1の検出手段により検出された傾き角度と前記第2の検出手段により検出された角速度とに基づいて、前記撮像装置の状態が転倒状態であるか非転倒状態であるかを判定する判定手段と、を有することを特徴とする。
本発明によれば、意図せずに機器が転倒したことを判定することができる。
撮像装置の模式的な斜視図である。 カメラのブロック図である。 無線通信システムの構成例を示す図である。 撮影モード処理を示すフローチャートである。 転倒検知処理を示すフローチャートである。 カメラ衝撃判定処理を示すフローチャートである。 転がり判定処理を示すフローチャートである。 転倒状態のカメラを示す図である。 無線通信システムにおける報知態様を示す図である。 カメラの転がり時の3軸方向の揺れ量を示す図である。 転がり判定処理を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を説明する。
図1(a)は、本発明の一実施の形態に係る撮像装置の模式的な斜視図である。この撮像装置は、例えば、静止画を撮像可能なカメラ101として構成されるが、動画も撮像可能であってもよい。カメラ101は、カメラ本体である固定部103と、レンズ鏡筒である鏡筒102とを有する。鏡筒102は、撮像を行うための撮影レンズ群や撮像素子を含む。光軸108は、鏡筒102における撮像光学系の撮像光軸である。固定部103には、角速度計106および加速度計107が実装されている。カメラ101には、電源スイッチ等の各種操作部材が設けられている。
固定部103は、可動部としての鏡筒102を相対変位可能に支持する。具体的には、鏡筒102は、チルト回転ユニット104およびパン回転ユニット105を介して固定部103に連結されている。チルト回転ユニット104およびパン回転ユニット105を「パンチルト回転機構」と総称する。以降、3軸方向として、図1(a)に示すX軸周り、Y軸周り、Z軸周りの回転方向を、それぞれ、ピッチ方向、ヨー方向、ロール方向と定義する。
チルト回転ユニット104は、鏡筒102をピッチ方向に回転駆動するモータ駆動機構である。パン回転ユニット105は、鏡筒102をヨー方向に回転駆動するモータ駆動機構である。図1(b)、(c)に、鏡筒102がチルト回転する様子を示している。カメラ101は、角速度計106および加速度計107による検出結果に基づいてカメラ101の振動状態を検出し、検出した揺れ角度に基づいて、チルト回転ユニット104とパン回転ユニット105とを駆動制御する。これにより、可動部である鏡筒102の振れを補正したり、傾きを補正したりすることが可能である。
図2は、カメラ101のブロック図である。鏡筒102において、ズームユニット201は、変倍を行うズームレンズを含む。ズーム駆動制御部202はズームユニット201を駆動制御する。フォーカスユニット203は、ピント調整を行うレンズを含む。フォーカス駆動制御部204はフォーカスユニット203を駆動制御する。撮像部206は撮像素子を含み、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして生成する。このアナログ画像データは、画像処理部207に出力される。
固定部103において、制御部223は、例えば、CPU(MPU)、メモリ(DRAM、SRAM)、不揮発性メモリ(EEPROM)などからなる。制御部223は、各種処理(プログラム)を実行してカメラ101の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ216は、電気的に消去・記録可能なメモリであり、制御部223の動作用の定数、プログラム等を記憶する。
画像処理部207は、撮像部206から入力されたアナログ画像データをA/D変換によりデジタル画像データに変換する。画像処理部207は、このデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部207から出力されたデジタル画像データは、画像記録部208でJPEG形式等の記録用フォーマットに変換され、メモリ215や映像出力部217に送信される。
鏡筒回転駆動部205は、チルト回転ユニット104、パン回転ユニット105を駆動するための駆動手段であり、鏡筒102をチルト方向とパン方向とに回転駆動する。鏡筒回転駆動部205は、制御部223により駆動制御される。装置揺れ検出部209は、角速度計106および加速度計107(図1(a))を含む。角速度計106は、ジャイロセンサ等で構成され、カメラ101の3軸方向の角速度を検出する。加速度計107は、加速度センサ等で構成され、カメラ101の3軸方向の加速度を検出する。角速度計106、加速度計107から出力された検出信号に基づいて、カメラ101の回転角度やカメラ101のシフト量などが演算される。
操作部210は、ユーザによって操作され、電源ボタンやカメラの設定を変更できるボタンを含む。電源ボタンが操作されると、カメラ101全体に、用途に応じて電源が供給され、カメラ101が起動される。音声入力部213は、カメラ101に設けられたマイクからカメラ101周辺の音声信号を取得し、アナログ-デジタル変換をして音声処理部214に送信する。音声処理部214は、入力されたデジタル音声信号の適正化処理等の、音声に関する処理を行う。そして、音声処理部214で処理された音声信号は、制御部223によりメモリ215に送信される。メモリ215は、画像処理部207、音声処理部214により得られた画像信号及び音声信号を一時的に記憶する。
画像処理部207および音声処理部214は、メモリ215に一時的に記憶された画像信号や音声信号を読み出し、それぞれ画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。制御部223は、これらの圧縮画像信号、圧縮音声信号を、記録再生部220に送信する。
記録再生部220は、画像処理部207及び音声処理部214で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録媒体221に記録する。また、音声信号を圧縮符号化しない場合には、制御部223は、音声処理部214により生成された音声信号と画像処理部207により生成された圧縮画像信号とを、記録再生部220に送信して記録媒体221に記録させる。
記録媒体221は、カメラ101に内蔵された記録媒体であるが、取外し可能な記録媒体でもよい。記録媒体221には、カメラ101で生成された圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができる。そのため、記録媒体221には、不揮発性メモリ216よりも大容量な媒体が一般的に採用される。例えば、記録媒体221は、ハードディスク、光ディスク、光磁気ディスク、CD-R、DVD-R、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリなど、いずれの方式の記録媒体でもよい。
記録再生部220は、記録媒体221に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す(再生する)。そして制御部223は、読み出された圧縮画像信号、圧縮音声信号を、画像処理部207および音声処理部214に送信する。画像処理部207および音声処理部214は、圧縮画像信号、圧縮音声信号を一時的にメモリ215に記憶させ、所定の手順で復号し、復号した信号を映像出力部217に送信する。
音声出力部218は、例えば撮影時などに、予め設定された音声パターンをスピーカ901から出力する。LED制御部224は、例えば撮影時などに、LED902を予め設定された点灯点滅パターンで制御する。映像出力部217は、例えば映像出力端子を含み、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。なお、音声出力部218、映像出力部217は、結合された1つの端子、例えばHDMI(登録商標)(High-Definition Multimedia Interface)端子のような端子を含んでもよい。
通信部222は、カメラ101と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、通信部222は、カメラ101が異常状態を検出した際には、外部装置へエラー情報などのカメラ内部状態を通知するための情報を送信する。通信部222は、例えば、赤外線通信モジュール、Bluetooth通信モジュール、無線LAN通信モジュール、WirelessUSB、GPS受信機等の無線通信モジュールを含む。このほか、固定部103は学習処理部219を有する。
図3は、カメラ101と外部装置とからなる無線通信システムの構成例を示す図である。外部装置は、例えば、Bluetooth通信モジュールおよび無線LAN通信モジュールを含むスマートデバイス301である。
カメラ101とスマートデバイス301とは、通信302および通信303によって通信可能である。通信302は、例えばIEEE802.11規格シリーズに準拠した無線LANによる通信である。通信303は、例えば、Bluetooth Low Energy(以下、「BLE」と呼ぶ)などの、制御局と従属局などの主従関係を有する通信である。
なお、無線LAN及びBLEは通信手法の一例であり、他の通信手法が用いられてもよい。カメラ101およびスマートデバイス301は各々、2つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であってもよい。ただし、一般性を失うことなく、無線LANなどの第1の通信は、BLEなどの第2の通信より高速な通信が可能であり、また、第2の通信は、第1の通信よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。
図4は、撮影モード処理を示すフローチャートである。この処理は、制御部223が備えるROM等の記憶部に格納されたプログラムを制御部223が備えるCPUが読み出して実行することにより実現される。この処理は、例えば、自動追尾等のように、パンチルト駆動を自動で行う撮影モードが設定されたときに開始され、一定時間間隔で実行される。
ステップS401では、制御部223は、画像認識処理を実行する。まず、制御部223は、撮像部206で取り込まれた信号を、画像処理部207に被写体検出用に画像処理させることで、画像データを生成する。そして、制御部223は、生成された画像データから、人物や物体検出などの被写体検出を行う。制御部223は、人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像画像内に含まれる上記パターンに一致する箇所が人物の顔画像として検出される。また、被写体の顔としての確からしさを示す信頼度も同時に算出される。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体が認識される。制御部223は、認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定する。
ステップS402では、制御部223は、像揺れ補正量を算出する。具体的には、まず、制御部223は、装置揺れ検出部209で取得された角速度および加速度情報に基づいてブレ角度を算出する。そして、ブレ角度を打ち消す角度方向にチルト回転ユニット104およびパン回転ユニット105を動かす防振角度を求め、これらを像揺れ補正量とする。
ステップS403では、制御部223は、カメラ状態を判定する。すなわち、制御部223は、角速度情報、加速度情報およびGPS位置情報などから検出したカメラ角度やカメラ移動量などに基づき、現在、カメラ101がどのような振動/動き状態なのかを判定する。
例えば、車にカメラ101を装着して撮影する場合、移動した距離によって周りの風景などの被写体情報が大きく変化する。そこで、制御部223は、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定する。これは、後に説明する自動被写体探索に使用することができる。また、制御部223は、カメラ角度の変化の大きさに基づいて、カメラ101の揺れ角度がほとんどない「置き撮り状態」であるか否かを判定する。「置き撮り状態」である場合は、カメラ101自体の角度変化はないと考えてよいので、制御部223は、置き撮り用の被写体探索を行うことができる。また、制御部223は、カメラ角度変化が比較的大きい場合は、「手持ち状態」と判定し、手持ち用の被写体探索を行うことができる。
ステップS403で判定されるカメラ状態には、転倒検知による転倒状態/非転倒状態の判定も含まれる。すなわち、カメラ101の状態が転倒状態であるか非転倒状態であるかも判定される。転倒状態/非転倒状態の判定手法については後述する。
ステップS404では、制御部223は、被写体探索処理を実行する。制御部223は、撮影対象とする被写体が検出されていない状態が所定時間継続すると、現在のパンチルト角度位置での画角内に被写体がいないと判断する。そして、制御部223は、現在、画角外にいる可能性がある被写体を探すために、パンチルトを駆動して被写体を探索するための目標角度を算出する。探索動作中に撮影対象被写体を検出すると、制御部223は、当該被写体をパンチルト駆動により画像の所定位置(例えば中央)に保持させる追尾制御を行うための目標角度を算出する。制御部223は、後述する自動撮影動作が所定回数行われると、他の被写体を探すために、パンチルトを駆動して、当該他の被写体を探索するための目標角度を算出する。
ステップS405では、制御部223は、パンチルト駆動を実行する。具体的には、制御部223は、ステップS402で算出された像振れ補正量とステップS404で算出されたパンチルト探索/追尾目標角度とを加算することで、パンチルト駆動量を算出する。そして制御部223は、鏡筒回転駆動部205によって、チルト回転ユニット104、パン回転ユニット105をそれぞれパンチルト駆動量だけ駆動制御する。
ステップS406では、制御部223は、ズームユニット201を制御してズーム駆動を行う。具体的には、制御部223は、ステップS404で決定した探索対象の被写体の状態に応じてズームを駆動させる。例えば、探索対象の被写体が人物の顔であるとき、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出ができず、見失ってしまう恐れがある。そのような場合は、制御部223は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体やカメラ自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、制御部223は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことができる。
ステップS407では、制御部223は、手動による撮影指示があったか否かを判別する。手動による撮影指示は、シャッタボタン押下によるものや、カメラ筺体を指等で軽く叩く(タップ)、音声コマンド入力、外部装置からの指示などによってもよい。タップ操作による撮影指示は、ユーザがカメラ筺体をタップした際、装置揺れ検出部209によって短期間に連続した高周波の加速度を検知し、撮影のトリガとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉(例えば「写真とって」等)を発声した場合、音声処理部214で音声を認識し、撮影のトリガとする撮影指示方法である。外部装置からの指示は、例えばカメラとBlueTooth接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッタ指示信号をトリガとする撮影指示方法である。
制御部223は、ステップS407での判別の結果、手動による撮影指示があった場合は、処理をステップS410に進め、手動による撮影指示がなかった場合は、処理をステップS408に進める。ステップS408では、制御部223は、自動撮影判定を実行する。すなわち、制御部223は、検出された被写体から自動撮影を行うかどうかを判定する。例えば制御部223は、特定人物被写体を検出し、顔の表情やポーズが予め設定された条件を満たしている場合、自動撮影を行うと判定する。
ステップS409では、制御部223は、ステップS408で自動撮影を行うと判定された場合、処理をステップS410に進め、自動撮影を行うと判定されなかった場合、図4に示す処理を終了する。
ステップS410では、制御部223は、撮影を開始する。その際、制御部223は、フォーカス駆動制御部204によるオートフォーカス制御を行う。また、制御部223は、不図示の絞り制御部、センサゲイン制御部およびシャッタ制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、制御部223は、撮影後には画像処理部207により、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理を行い、画像を生成する。
ステップS411では、制御部223は、ステップS410で生成した画像を加工したり、動画に追加したりといった編集処理を行う。ここでいう画像加工は、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、HDR(ハイダイナミックレンジ)効果、ボケ効果、色変換フィルタ効果などを含む。なお、画像加工においては、ステップS410で生成した画像を元に、上記の処理の組み合わせによって画像を複数生成し、ステップS410で生成した画像とは別に保存するようにしてもよい。また、動画処理においては、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェード等の特殊効果処理を付加しながら追加するといった処理をしてもよい。
ステップS412では、制御部223は、過去撮影情報を更新する。例えば、制御部223は、撮影対象の被写体となっている個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数の各々についてカウントを設ける。そして制御部223は、今回撮影された画像に対応するカウントの数を1つ増やし、更新後のカウント値を、ステップS404での被写体探索処理やステップS408での自動撮影判定での判定に使用する。
図5は、転倒検知処理を示すフローチャートである。この転倒検知処理は、図5のステップS403におけるカメラ状態判定処理に含まれる。この転倒検知処理は、ステップS403におけるカメラ状態判定処理の実行により開始され、その後、図4に示す処理が終了するまで一定の周期で繰り返し実行される。この転倒検知処理において、制御部223は、本発明における判定手段、制御手段としての役割を果たす。
この処理では、カメラ101の状態(姿勢に関する状態)を示すステータスとして、状態変数Stateを用いる。状態変数Stateは、転倒状態または非転倒状態に設定され、初期値は非転倒状態に設定されている。ステップS501では、制御部223は、状態変数Stateが非転倒状態に設定されているか否かを判別する。そして制御部223は、State=非転倒状態であれば、現在、カメラ101が転倒していないと判断できるので、処理をステップS502に進める。一方、State=転倒状態であれば、現在、カメラ101が転倒していると判断できるので、制御部223は、処理をステップS514に進める。
ステップS502では、制御部223は、カメラ101の傾き角度が所定値A(第1の傾き角度)より大きいか否かを判別する。ここで、カメラ101の傾き角度は、重力方向に対して垂直な方向を0基準として定義される。カメラ101の傾き角度は、固定部103に実装された加速度計107の3軸加速度センサの出力値に基づいて算出可能である。所定値Aの値は、0度より大きく180度以下の範囲であり、例えば60度である。制御部223は、傾き角度が所定値Aを超える場合、処理をステップS503へ進め、傾き角度が所定値A以下である場合は、図5に示す処理を終了する。
ステップS503では、制御部223は、カメラ衝撃判定処理(図6)を実行する。図6は、ステップS503で実行されるカメラ衝撃判定処理を示すフローチャートである。
まず、ステップS601では、制御部223は、式1を用いて、加速度計107からの3軸の加速度出力から算出したスカラー量から重力加速度aを減算した値の絶対値を、加速度スカラー値aとして算出する。
Figure 2022086195000002
カメラ101が倒れて机に打ち付けられた場合、加速度スカラー値aは重力加速度を除去した衝撃の加速度のみの成分であるので、加速度スカラー値aの大きさによって衝撃力を決定することができる。ステップS602では、制御部223は、加速度スカラー値aが所定値以上であるか否かを判定する。制御部223は、加速度スカラー値aが所定値以上の場合、ステップS603で、カメラに衝撃があったことを示すフラグを設定すると共に、その時刻を記録する。制御部223は、加速度スカラー値aが上記所定値より小さい場合、ステップS604で、カメラに衝撃がなかったことを示すフラグを設定すると共に、その時刻を記録する。ステップS603、S604の後、制御部223は、図6に示す処理を終了する。
図5のステップS504では、制御部223は、図6に示す処理で設定されたフラグを参照し、カメラ101に衝撃があったか否かを判別する。そして制御部223は、カメラ101に衝撃がなかった場合は、処理をステップS506に進める。カメラ101に衝撃があった場合は、制御部223は、ステップS505で、パンチルト回転機構(チルト回転ユニット104およびパン回転ユニット105)の制御や通電を一時停止する。カメラ101が意図せずに倒れて机などに打ち付けられてしまった可能性があるからである。ステップS505の後、制御部223は、ステップS506に進む。
ステップS506で、制御部223は、ステップS504でカメラ101に衝撃があったと判別された後、所定時間が経過したか否かを判別する。そして、カメラ101に衝撃があったと判別された後、所定時間が経過していない場合は、制御部223は、処理をステップS508に進める。しかし、カメラ101に衝撃があったと判別された後、所定時間が経過した場合は、制御部223は、ステップS507で、パンチルト回転機構の制御や通電の停止を解除し、駆動制御を有効に戻してから、処理をステップS508に進める。従って、衝撃があった後、少なくとも所定時間の間、パンチルト回転機構の停止が維持される。
ステップS508では、制御部223は、転がり判定処理(図7で後述)を実行する。一般に、可動部が丸みを帯びた形状になっている場合、カメラが横向きに机に倒れると転がりやすい。また、カメラが倒れた状態で回転機構が駆動され、防振制御が適用された場合、倒れた設置面との摩擦や抵抗により回転機構を目標位置まで適切に駆動できず、高トルク・高出力の駆動力を発生し続けることがある。そのような場合は、回転機構が故障したり、電力を無駄に消費したりするおそれがある。
例えば、図8に示すように、Y軸に直交する断面形状が円形であるカメラ101が設置面801に倒れた場合を考える。カメラ101が倒れた状態でパンチルト回転機構が駆動され、防振制御が適用されたとする。この場合、鏡筒102がパン回転しようとするが、設置面801との摩擦力の影響により目標の制御角度に到達できないため、制御部223は、パン回転の駆動力をより大きくしようと制御する。パン回転の駆動力を大きくした結果、固定部103が回転してしまい、角速度計106から大きな角速度が出力されるため、防振制御により、角度目標値がさらに大きな値に設定される。ところが、設置面801の摩擦力の影響により依然として目標位置に到達できず、さらに回転駆動量が大きくなることでパン回転機構の動きによるカメラ101の転がりが発生してしまう。カメラ101の外郭形状によって、転がりが発生しやすい場合とそうでない場合とがあり、転がりやすい方向とそうでない方向とがある。
このように、パンチルト回転機構の制御により、カメラ101が意図せずに転がる場合があることから、制御部223は、故障発生や無駄な電力消費を回避するために、転がり判定処理(図7)を実施する。転がり判定処理により、転がり中か非転がり中かが判定される。
ステップS509では、制御部223は、転がり判定処理で判定された結果により、カメラ101が転がり中であるか否かを判別する。転がり判定処理での判定結果が「転がり中」である場合に、「転がり状態」と判別される。「転がり中」とは、カメラ101が回転していることを示す。そして、転がり中である場合は、制御部223は、ステップS511で、状態変数Stateを転倒状態に設定して、処理をステップS512に進める。
ステップS512では、制御部223は、カメラ101の落下や回転機構への高負荷による故障、電力消費の問題を回避するために、パンチルト回転機構(チルト回転ユニット104およびパン回転ユニット105)の駆動制御、通電を停止する。ステップS513では、制御部223は、カメラ101が倒れてしまったこと、およびパンチルト回転機構の駆動制御を停止したことを報知する。この報知の例を図9に示す。
図9は、無線通信システムにおいてスマートデバイス301へ報知する態様を示す図である。まず、制御部223は、第1の報知として、カメラ101のLED902から予め設定された点灯点滅パターンを出力し、カメラ101のスピーカ901から、予め設定されたエラー通知音を出力する。これにより、カメラ101の近くにユーザがいる場合に、カメラ101が倒れたことをすぐに知らせることができる。また、制御部223は、第2の報知として、無線LANやBLEを用いて、カメラ101が倒れたことを示すイベント情報をスマートデバイス301へ通知し、スマートデバイス301に設けたモニタ上に、イベント情報を表示させる。例えば、カメラが倒れている旨のメッセージ903が表示される。これにより、ユーザがカメラ101の近くにいない場合であっても、スマートデバイス301を所持していれば、カメラ101が倒れたことをすぐに知ることができる。なお、報知の態様は例示したものに限定されず、いずれかのみでもよいし、複数の組み合わせを用いてもよい。ステップS513の後、制御部223は、図5に示す処理を終了する。
ステップS509での判別の結果、カメラ101が転がり中でない場合は、制御部223は、ステップS510で、カメラ101が静止しているか否かを判別する。例えば、制御部223は、角速度計106の3軸の信号を各々の所定閾値と比較し、所定時間内に所定閾値を上回ったカウント数、あるいは所定時間内に所定閾値を下回ったカウント数によって、カメラ101が静止しているか移動しているかを判別する。あるいは、制御部223は、加速度計107の信号に基づいてカメラ101が静止しているか否かを判別してもよいし、HPF(ハイパスフィルタ或いは高域透過フィルタ)などのフィルタで特定周波数を抽出した信号により判別を行ってもよい。
この判別は、カメラ101が机上などに静止して置かれている状態なのか、それとも手持ちやウェアラブルのようにカメラ101がユーザと共に移動している状態なのかを区別するために行われる。ステップS502でカメラ101が傾いたと判別されていることから、ステップS510でカメラ101が静止していると判別された場合は、カメラ101が意図せず机などに倒れたままとなっている可能性がある。そのため、この場合は、制御部223は処理をステップS511に進める。従って、仮に転がりが収まったとしても、カメラ101が傾いたまま静止すると、状態変数Stateが転倒状態に設定される。
一方、ステップS510でカメラ101が静止していないと判別された場合は、カメラ101は転がってはおらず、静止してもいないので、手持ちやウェアラブルの状態であると推定できる。そこで、制御部223は、状態変数Stateを更新することなく図5に示す処理を終了する。
従って、カメラ101が静止していない場合、状態変数Stateは非転倒状態のままとなる。このようにしたのは次に理由による。まず、一般に、カメラを手持ちで操作しながら撮影する場合に、回転機構を頻繁に停止する動作が発生すると、自動探索、追尾、防振制御を正しく行えない場合がある。また、手持ち状態でカメラ角度が大きく変わったときに音などの通知が頻繁に発生すると不快感を与えるおそれもある。よって、机などにカメラが倒れた場合はパンチルト回転機構の駆動を停止した方がよいが、その一方、手持ちの場合は、パンチルト回転機構の駆動を停止しない方がよいと考えられるからである。
ステップS511で状態変数Stateが転倒状態に設定された以降は、ステップS501からステップS514に遷移する。ステップS514では、制御部223は、カメラ101の傾き角度が所定値B(第2の傾き角度)より小さいか否かを判別する。なお、所定値Bは0度より大きく、且つ、所定値Bは所定値Aより小さく、例えば20度である。
そして、カメラ101の傾き角度が所定値Bより小さい場合は、カメラ101がユーザにより転倒状態から正位置に修正された可能性が高い。そこで、制御部223は、ステップS516で、状態変数Stateを非転倒状態に設定する。ステップS517では、制御部223は、パンチルト回転機構(チルト回転ユニット104およびパン回転ユニット105)の駆動制御および通電を停止していたのを解除する。つまり、制御部223は、パンチルト回転機構の駆動制御を有効にして再開する。その後、制御部223は、図5に示す処理を終了する。
一方、カメラ101の傾き角度が所定値Bより小さくない場合は、カメラ101の転倒状態が継続されていると判断できるので、制御部223は、処理をステップS515に進める。ステップS515では、制御部223は、カメラ101の画角内に、撮影対象とする被写体が検出されているか否かを判別する。つまり、制御部223は、撮影画像から、撮影対象として設定された被写体を検出できたか否かを判別する。
その判別の結果、画角内に被写体が検出された場合は、ユーザが意図してカメラ101を傾けて設置している可能性が高い。例えば、ベビーベッド上の赤ちゃんを撮影するためにカメラ101を意図的に下向きに設置している場合が考えられる。そこで、この場合は、制御部223は、ステップS516で状態変数Stateを非転倒状態に設定する。しかし、画角内に被写体が検出されなかった場合は、カメラ101の転倒状態が継続されていると判断できるので、制御部223は、図5に示す処理を終了する。
図7は、図5のステップS508で実行される転がり判定処理を示すフローチャートである。制御部223は、ステップS701で、角速度計106の3軸の角速度センサ出力を取得し、ステップS702で、所定方向の角速度の周波数と振幅を算出する。所定方向は、鏡筒回転駆動部205による、チルト回転ユニット104、パン回転ユニット105の駆動方向に対応する転がり回転方向であり、カメラ101の外郭形状に応じて予め決められている。例えば、最も回転しやすい方向が所定方向として設定されている。例えば、鏡筒102がヨー方向に回転しやすい形状の場合、所定方向はヨー回転方向である。
制御部223は、所定期間の角速度値を入力値としたFFT(Fast Fourier Transform)により、各方向の周波数と振幅とを算出する。また、制御部223は、ヨー角速度、ピッチ角速度、ロール角速度を算出する。振幅と周波数の算出については、以下に説明するような処理時間を短縮した簡易処理で算出する方法を採用してもよい。
図10は、カメラ101の転がり時の3軸方向の揺れ量を示す図である。制御部223は、ヨー角速度について、符号反転タイミング(+から-、-から+)を基準として、1周期に相当する期間T1、T2、T3を計測し、これらから周波数を算出する。また、制御部223は、期間T1、T2、T3中の角速度のピーク値を振幅として各期間に対応して格納しておく。制御部223は、ピッチ角速度、ロール角速度の各々についても同様の処理を実施する。
次に、ステップS703では、制御部223は、回転駆動の防振機能がON状態(有効)になっているか否かを判別する。防振機能がON/OFFとなる条件を説明する。まず、ステップS504でカメラ101に衝撃があったと判定されていないために回転機構の一時停止がされていない場合、防振機能がONに設定される。また、カメラ101に衝撃があったと判定された後に、ステップS507で回転機構の一時停止が解除された場合において、角速度計106の出力がある程度大きくカメラ揺れがあると判定されると、防振制御がONに設定される。
一方、ステップS505での回転機構の一時停止が継続している場合、防振制御がOFFに設定される。また、回転機構が停止状態になっていなかったとしても、角速度計106の出力が非常に小さくカメラが静止していると判定されると、防振制御がOFFに設定される。
制御部223は、ステップS703での判別の結果、回転駆動の防振機能がON状態の場合は、ステップS704に進み、回転駆動の防振機能がOFF状態(無効)の場合は、ステップS705に進む。ステップS704では、制御部223は、転がり判定を行うための閾値パラメータとして、防振ON時用のパラメータを設定し、処理をステップS706に進める。ステップS705では、制御部223は、閾値パラメータとして、防振OFF時用のパラメータを設定し、処理をステップS706に進める。防振ON時用、防振OFF時用の各パラメータは、予め不揮発性メモリ216に格納されている。
防振ON/OFF時用で閾値パラメータを分けているのは、防振機能がONかOFFかによりカメラ101の転がり特性が異なるからである。防振機能OFF(通電OFF)の場合は、カメラ101の形状により揺れ量が決まり、ほとんどの場合、転がり揺れ量は小さい。しかし、防振機能ON(通電ON)の場合は、摩擦力の影響による防振制御の誤動作により、転がり揺れ量が非常に大きくなることがあるからである。
ステップS706では、制御部223は、ステップS702で算出した角速度の振幅、周波数が後述する所定条件を満たしているか否かを判別する。そして、角速度の振幅、周波数が所定条件を満たしている場合は、制御部223は、ステップS707で、転がり判定処理での判定結果を「転がり中」に設定する。一方、角速度の振幅、周波数が所定条件を満たしていない場合は、制御部223は、ステップS708で、転がり判定処理での判定結果を「非転がり中」に設定する。ステップS707、S708の後、制御部223は、図7に示す処理を終了する。
ステップS706における、角速度の振幅、周波数が所定条件を満たしているか否かの判別手法を説明する。制御部223は、ステップS702で算出したピッチ角速度、ヨー角速度、ロール角速度それぞれの振幅および周波数から転がり中か否かを判定する。
まず、図8に示すように、固定部103が円柱型で、Y軸に直交する鏡筒102および固定部103の断面形状がいずれも円形であるとする。この場合、カメラ101が転がったときに大きく振れる軸はY軸であり、Y軸回りのヨー回転方向の揺れ量が大きくなる。また、ヨー回転方向と回転機構によるパン方向の駆動方向とが一致するため、図8に示した転倒状態でパン方向の防振制御を行うと、前述した摩擦力影響による防振制御の誤動作により、ヨー回転方向の揺れ量が非常に大きくなる。
このとき、ヨー回転方向と比較すると、ピッチ、ロールの回転方向の転がり揺れ量は非常に小さい。また、転がりの時の周波数帯域はカメラ形状、重量などにより範囲が決まるものであり、可動部である鏡筒102が重いと転がり周波数は低周波側になる。よって、制御部223は、ヨー角速度の、特定の周波数範囲(例えば1~3Hz)での振幅の大きさと、それ以外の周波数範囲の振幅の大きさの両者を比較する。そして制御部223は、両者の差が第1の所定差所定を超え、且つ、ピッチ、ロール角速度とヨー角速度との振幅差が第2の所定差を超える場合に、転がり中と判定できる。
ヨー角速度の特定の周波数範囲とそれ以外の周波数範囲とで振幅差が小さければ、手持ちなどの揺れ状態である可能性が高いため、制御部223は、カメラ101が非転がり中であると判定できる。また、ヨー角速度とピッチロール角速度の振幅差が小さければ、手持ちなどの揺れ状態である可能性が高いため、制御部223は、カメラ101が非転がり中であると判定できる。なお、特定の周波数範囲や、第1、第2の所定差等のパラメータは、ステップS704、S705で設定された閾値パラメータに含まれる。従って、これらのパラメータは、防振ON時と防振OFF時とで異なる場合がある。
これらをまとめると次のようになる。「第1の条件」は、所定方向(ここではヨー回転方向)の角速度の、特定の周波数範囲(第1の周波数帯域)における振幅と特定の周波数範囲以外(第1の周波数帯域以外)の帯域における振幅との差が第1の所定差を超えることである。「第2の条件」は、所定方向の角速度の振幅と所定方向とは異なる方向(ここではピッチ、ロール回転方向)の角速度の振幅との差が第2の所定差を超えることである。そして、第1の条件と第2の条件とが共に満たされると、上記所定条件が成立し、転がり中と判定される。なお、比較に用いる振幅は最大値でもよいし、平均値でもよい。
なお、他の転がり判定手法を採用してもよい。
ヨー角速度で所定時間内に検出した最も振幅の高い周波数が特定の周波数範囲(例えば1~3Hz)の範囲内であると共にその振幅が第1の所定値を超え、且つ、ピッチ、ロール角速度の各振幅が第2の所定値を下回る場合に、転がり中と判定してもよい。特定の周波数範囲や第1、第2の所定値のパラメータは、ステップS704、S705で設定された閾値パラメータに含まれる。従って、これらのパラメータは、防振ON時と防振OFF時とで異なる場合がある。
これらをまとめると次のようになる。「第3の条件」は、所定方向(ここではヨー回転方向)の角速度の振幅が第1の周波数帯域で最大値を示すと共に当該最大値が第1の所定値を超えることである。「第4の条件」は、所定方向とは異なる方向(ここではピッチ、ロール回転方向)の角速度の各振幅が第2の所定値を下回ることである。そして、第3の条件と第4の条件とが共に満たされると、上記所定条件が成立し、転がり中と判定される。なお、第4の条件において用いる振幅は最大値でもよいし、平均値でもよい。
また、図7に示す手法に代えて、図11に示すような他の転がり判定手法を採用してもよい。図11は、図5のステップS508で実行される転がり判定処理を示すフローチャートである。
ステップS1101では、制御部223は、角速度計106の3軸の角速度センサ出力を取得する。ステップS1102では、各角速度間の相関度を算出する。相関度の算出方法は複数考えられるが、まず、第1の相関度合い算出法を説明する。
第1の相関度合い算出法は、周波数領域の相関値であるコヒーレンスを用いた方法である。制御部223は、図10に示す各軸の角速度の時系列データをフーリエ変換し、パワースペクトルを計算し、式2からコヒーレンスを算出する。
Figure 2022086195000003
ここで、fは周波数、Nは周波数のサンプル数である。X(f)およびY(f)はそれぞれ、ピッチ角速度、ヨー角速度の時系列データxiおよびyiのフーリエ変換である。X*(f)およびY*(f)はそれぞれ、X(f)およびY(f)の複素共役である。Cohはコヒーレンスを表す。制御部223は、特定の周波数範囲(例えば1~3Hz)付近でいくつか設定した周波数fに対してのコヒーレンスを算出する。
転がり方向と、角速度計によるヨー方向とが完全に一致していない場合、ピッチやロール方向の角速度にも同様の転がり回転が生じることになる。そこで、制御部223は、ヨー角速度とピッチ角速度のコヒーレンス、ヨー角速度とロール角速度のコヒーレンスをそれぞれ求め、位相相関があるかどうかにより転がり中か否かを判定する。
ステップS1106では、制御部223は、各角速度に相関があるか否かを判別する。すなわち、制御部223は、特定の周波数範囲でのコヒーレンスがコヒーレンス閾値より大きい場合、転がり影響による回転に相関あり、すなわち、各角速度に相関があると判別する。一方、制御部223は、コヒーレンスがコヒーレンス閾値以下である場合、転がり影響による回転に相関なし、すなわち、各角速度に相関がないと判別する。ステップS1106での判別の結果、制御部223は、各角速度に相関がある場合は、ステップS1107で、ステップS707と同様の処理を実行して、図11に示す処理を終了する。各角速度に相関がない場合は、制御部223は、ステップS1108で、ステップS708と同様の処理を実行して、図11に示す処理を終了する。
各角速度に相関があるか否かの判定手法をまとめると次のようになる。第5の条件は、所定方向(ここではヨー回転方向)の角速度と所定方向とは異なる方向(ここではピッチ、ロール回転方向)の角速度との相関度が所定相関度を超えることである。特定の周波数範囲でのコヒーレンスがコヒーレンス閾値より大きい場合、第5の条件が満たされる。そして、第5の条件が満たされると、上記所定条件が成立し、転がり中と判定される。
次に、第2の相関度合い算出法を説明する。第2の相関度合い算出法は、処理時間を短縮した簡易処理で算出する方法である。
図10に示すように、制御部223は、ヨー角速度とピッチ角速度との符号反転タイミングのずれが許容値以内で且つ、各期間T1、T2、T3が許容値以内の場合、位相相関があると判定してもよい。この場合も、第5の条件が満たされたことになり、上記所定条件が成立する。
あるいは、制御部223は、式3を用いて、所定期間における相互相関係数を常に算出し、相関値を求め、相関の有無を判定してもよい。
Figure 2022086195000004
ここで、Xi及びYiはそれぞれ、ピッチ角速度、ヨー角速度の時系列データである。Rxyは、時系列データXi、Yiの相互相関係数を表す。制御部223は、ロール角速度とヨー角速度とについても同様の方法で相互相関係数を算出する。相関値が所定値より大きい場合、第5の条件が満たされる。そして、第5の条件が満たされると、上記所定条件が成立し、転がり中と判定される。
なお、上記第1~第5の条件は、矛盾がない限り適宜組み合わせて適用してもよい。例えば、第1の条件と第5の条件とが共に満たされた場合に、上記所定条件が成立し、転がり中と判定されてもよい。あるいは、第2の条件と第5の条件とが共に満たされた場合に、上記所定条件が成立し、転がり中と判定されてもよい。
本実施の形態によれば、制御部223は、鏡筒回転駆動部205の駆動制御中にカメラ101の状態が転倒状態と判定された場合は、鏡筒回転駆動部205の駆動制御を停止する。これにより、意図せずに機器が転倒したことを判定できるようにすることができる。また、意図せずにカメラ101が転倒した場合に駆動制御を停止して、誤動作等による故障発生や無駄な電力消費を回避することができる。
特に、カメラ101の傾き角度が所定値A(第1の傾き角度)より大きい状態で、カメラ101が転がり中であると判定されると、カメラ101の状態が転倒状態であると判定される(S509)。これにより、目標位置に到達できずに転がりが継続することを回避することができる。
また、カメラ101の傾き角度が所定値Aを超え且つ、カメラ101が静止していると判定された場合、カメラ101の状態が転倒状態であると判定される(S510)。これにより、カメラ101が倒れたまま鏡筒回転駆動部205の駆動制御が継続されることが回避され、故障発生や電力消費を抑制することができる。
一方、カメラ101の傾き角度が所定値Aを超え且つ、カメラ101が転がり中でない場合であっても、カメラ101が静止していないと判定された場合、カメラ101の状態は転倒状態であると判定されない(S510)。従って、カメラ101が傾いたとしても、手持ちやウェアラブル時には鏡筒回転駆動部205の駆動制御が継続されるので、使い勝手がよい。
また、制御部223は、鏡筒回転駆動部205の駆動制御を停止した後に、カメラ101の状態が転倒状態から非転倒状態へ変化した場合は、鏡筒回転駆動部205の駆動制御の停止を解除する(S517)。これにより、条件が整えば、ユーザが駆動制御の再開操作をしなくても駆動制御が自動的に再開されるので、使い勝手を向上させることができる。
例えば、カメラ101の状態が転倒状態となった後、カメラ101の傾き角度が所定値Bを下回ると、カメラ101の状態が転倒状態から非転倒状態へ切り替わる(S514)。これにより、ユーザがカメラ101を正位置に復帰させた場合等に駆動制御停止を自動的に解除することができる。また、例えば、カメラ101の状態が転倒状態となった後、撮影画像に、予め設定された被写体が検出されれば、カメラ101の状態が転倒状態から非転倒状態へ切り替わる(S515)。これにより、ユーザがカメラ101を意図して傾けている場合等に駆動制御停止を自動的に解除することができる。
なお、カメラ101の傾き角度が所定値Aを超え且つ、衝撃が検出された場合に、カメラ101の転倒状態/非転倒状態にかかわらず、一定期間、鏡筒回転駆動部205の駆動制御が停止される(S504、S505)。しかし、この場合のカメラ101の傾き角度の比較値は所定値Aに限定されず、所定値Aとは異なる第3の傾き角度であってもよい。また、衝撃が検出された場合に鏡筒回転駆動部205の駆動制御を一時停止する処理は、ステップS501の直前、または、ステップS501とステップS502との間、または、ステップS501とステップS514との間に設けてもよい。なお、この処理を設けることは必須でない。
なお、本実施の形態では、カメラ101は、回動軸を2軸有する撮像装置であったが、少なくとも1軸の回動軸を有する撮像装置であってもよい。また、本実施の形態では、固定部に対する可動部の相対的な変位は、回動変位であったが、固定部に対する可動部の相対的な変位は直線的変位であってもよい。すなわち、本発明は、回転機構に限定されず、直線方向に移動する移動機構にも適用可能である。
また、本実施の形態では、撮像装置の状態が転倒状態であるか非転倒状態であるかを判定するために様々な情報を用いているが、少なくとも撮像装置の傾き情報と角速度情報に基づいて判定を行えばよく、その他の情報に基づく処理は省略してもよい。また、撮像装置の状態が転倒状態と判定した際の回転機構の停止処理や転倒通知処理を省略してもよく、自動で転倒状態から復帰する機構を有していれば転倒状態と判定した際に復帰処理を実行するようにしてもよい。また、本実施の形態で説明した転倒状態であるか非転倒状態であるかを判定方法は、角速度計と加速度計を有していて固定部に対して可動部が駆動手段により相対的に変位可能な電子機器であれば撮像装置以外の機器でも適用可能である。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
102 鏡筒
103 固定部
104 チルト回転ユニット
105 パン回転ユニット
106 角速度計
107 加速度計
205 鏡筒回転駆動部
223 制御部

Claims (20)

  1. 撮像装置であって、
    撮像部を有する可動部と、
    前記可動部を相対変位可能に支持する固定部と、
    前記可動部を前記固定部に対して相対的に変位させるよう駆動する駆動手段と、
    前記撮像装置の傾き角度を検出する第1の検出手段と、
    前記撮像装置の角速度を検出する第2の検出手段と、
    前記第1の検出手段により検出された傾き角度と前記第2の検出手段により検出された角速度とに基づいて、前記撮像装置の状態が転倒状態であるか非転倒状態であるかを判定する判定手段と、
    を有することを特徴とする撮像装置。
  2. 前記駆動手段を駆動制御すると共に、前記駆動手段の駆動制御中に、前記判定手段により前記撮像装置の状態が前記転倒状態であると判定された場合は、前記駆動手段の駆動制御を停止する制御手段を有することを特徴とする請求項1に記載の撮像装置。
  3. 前記制御手段は、前記駆動手段の駆動制御を停止した後に、前記撮像装置の状態が前記転倒状態から前記非転倒状態へ変化した場合は、前記駆動手段の駆動制御の停止を解除することを特徴とする請求項2に記載の撮像装置。
  4. 前記判定手段は、前記第2の検出手段により検出された角速度に基づいて前記撮像装置が静止しているか否かを判定し、前記撮像装置の傾き角度が第1の傾き角度を超え且つ、前記撮像装置が静止していると判定した場合に、前記撮像装置の状態が前記転倒状態であると判定することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記判定手段は、前記第2の検出手段により検出された角速度に基づいて、前記撮像装置が回転していることを示す転がり中であるか否かを判定し、前記撮像装置の傾き角度が第1の傾き角度を超え且つ、前記撮像装置が転がり中であると判定した場合に、前記撮像装置の状態が前記転倒状態であると判定することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  6. 前記判定手段は、前記第2の検出手段により検出された角速度に基づいて前記撮像装置が静止しているか否かを判定し、
    前記撮像装置の傾き角度が前記第1の傾き角度を超え且つ、前記撮像装置が転がり中であると判定しなかった場合であっても、前記撮像装置が静止していないと判定した場合は、前記撮像装置の状態が前記転倒状態であると判定しないことを特徴とする請求項5に記載の撮像装置。
  7. 前記判定手段は、前記撮像装置の状態が前記転倒状態であると判定した後、前記撮像装置の傾き角度が前記第1の傾き角度より小さい第2の傾き角度を下回った場合は、前記撮像装置の状態を前記転倒状態から前記非転倒状態へ切り替えることを特徴とする請求項4乃至6のいずれか1項に記載の撮像装置。
  8. 前記撮像部により撮影された画像から、撮影対象として設定された被写体を検出する手段を有し、
    前記判定手段は、前記撮像装置の状態が前記転倒状態であると判定した後、前記被写体が検出された場合は、前記撮像装置の状態を前記転倒状態から前記非転倒状態へ切り替えることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記判定手段は、前記駆動手段による駆動方向に対応する所定方向の角速度の、第1の周波数帯域における振幅と前記第1の周波数帯域以外の帯域における振幅との差が第1の所定差を超え、且つ、前記所定方向の角速度の振幅と前記所定方向とは異なる方向の角速度の振幅との差が第2の所定差を超える場合に、前記撮像装置が転がり中であると判定することを特徴とする請求項5または6に記載の撮像装置。
  10. 前記判定手段は、前記駆動手段による駆動方向に対応する所定方向の角速度の振幅が第1の周波数帯域で最大値を示すと共に前記最大値が第1の所定値を超え、且つ、前記所定方向とは異なる方向の角速度の振幅が第2の所定値を下回る場合に、前記撮像装置が転がり中であると判定することを特徴とする請求項5または6に記載の撮像装置。
  11. 前記判定手段は、前記駆動手段による駆動方向に対応する所定方向の角速度と前記所定方向とは異なる方向の角速度との相関度が所定相関度を超える場合に、前記撮像装置が転がり中であると判定することを特徴とする請求項5または6に記載の撮像装置。
  12. 前記判定手段は、前記駆動手段による駆動方向に対応する所定方向の角速度と前記所定方向とは異なる方向の角速度との相関度が所定相関度を超え、且つ、前記所定方向の角速度の、第1の周波数帯域における振幅と前記第1の周波数帯域以外の帯域における振幅との差が第1の所定差を超える場合に、前記撮像装置が転がり中であると判定することを特徴とする請求項5または6に記載の撮像装置。
  13. 前記判定手段は、前記駆動手段による駆動方向に対応する所定方向の角速度と前記所定方向とは異なる方向の角速度との相関度が所定相関度を超え、且つ、前記所定方向の角速度の振幅と前記所定方向とは異なる方向の角速度の振幅との差が第2の所定差を超える場合に、前記撮像装置が転がり中であると判定することを特徴とする請求項5または6に記載の撮像装置。
  14. 前記撮像装置に対する衝撃を検出する手段を有し、
    前記制御手段は、前記撮像装置の傾き角度が第3の傾き角度を超え、且つ、前記撮像装置に対する衝撃が検出された場合は、前記撮像装置が前記転倒状態であるか前記非転倒状態であるかにかかわらず、一定期間、前記駆動手段の駆動制御を停止することを特徴とする請求項2に記載の撮像装置。
  15. 前記制御手段は、前記判定手段により前記撮像装置の状態が前記転倒状態であると判定されたことに応じて前記駆動手段の駆動制御を停止した場合は、その旨を報知することを特徴とする請求項2に記載の撮像装置。
  16. 前記固定部に対する前記可動部の相対的な変位は、回動変位であることを特徴とする請求項1乃至15のいずれか1項に記載の撮像装置。
  17. 前記第1の検出手段及び前記第2の検出手段は、前記固定部に設けられていることを特徴とする請求項1乃至16のいずれか1項に記載の撮像装置。
  18. 可動部と、
    前記可動部を相対変位可能に支持する固定部と、
    前記可動部を前記固定部に対して相対的に変位させるよう駆動する駆動手段と、を有する電子機器であって、
    前記電子機器の傾き角度を検出する第1の検出手段と、
    前記電子機器の角速度を検出する第2の検出手段と、
    前記第1の検出手段により検出された傾き角度と前記第2の検出手段により検出された角速度とに基づいて、前記電子機器の状態が転倒状態であるか非転倒状態であるかを判定する判定手段と、
    を有することを特徴とする電子機器。
  19. 撮像部を有する可動部と、前記可動部を相対変位可能に支持する固定部と、前記可動部を前記固定部に対して相対的に変位させるよう駆動する駆動手段と、撮像装置の傾き角度を検出する第1の検出手段と、前記撮像装置の角速度を検出する第2の検出手段と、を有する撮像装置の制御方法であって、
    前記第1の検出手段により検出された傾き角度と前記第2の検出手段により検出された角速度とに基づいて、前記撮像装置の状態が転倒状態であるか非転倒状態であるかを判定することを特徴とする撮像装置の制御方法。
  20. 可動部と、前記可動部を相対変位可能に支持する固定部と、前記可動部を前記固定部に対して相対的に変位させるよう駆動する駆動手段と、を有する電子機器の制御方法であって、
    前記電子機器の傾き角度を検出する第1の検出ステップと、
    前記電子機器の角速度を検出する第2の検出ステップと、
    前記第1の検出ステップで検出された傾き角度と前記第2の検出ステップで検出された角速度とに基づいて、前記電子機器の状態が転倒状態であるか非転倒状態であるかを判定する判定ステップと、を有することを特徴とする電子機器の制御方法。
JP2020198082A 2020-11-30 2020-11-30 撮像装置、電子機器およびそれらの制御方法 Pending JP2022086195A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020198082A JP2022086195A (ja) 2020-11-30 2020-11-30 撮像装置、電子機器およびそれらの制御方法
EP21209779.4A EP4007266A1 (en) 2020-11-30 2021-11-23 Image pickup apparatus that drives movable unit so as to be displaced relatively to fixed unit, electronic apparatus that drives movable unit so as to be displaced relatively to fixed unit, and control methods therefor
US17/535,379 US11924552B2 (en) 2020-11-30 2021-11-24 Image pickup apparatus that drives movable unit so as to be displaced relatively to fixed unit, electronic apparatus that drives movable unit so as to be displaced relatively to fixed unit, and control methods therefor
CN202111431357.1A CN114584687A (zh) 2020-11-30 2021-11-29 摄像设备、电子设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020198082A JP2022086195A (ja) 2020-11-30 2020-11-30 撮像装置、電子機器およびそれらの制御方法

Publications (2)

Publication Number Publication Date
JP2022086195A true JP2022086195A (ja) 2022-06-09
JP2022086195A5 JP2022086195A5 (ja) 2023-12-07

Family

ID=78770408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020198082A Pending JP2022086195A (ja) 2020-11-30 2020-11-30 撮像装置、電子機器およびそれらの制御方法

Country Status (4)

Country Link
US (1) US11924552B2 (ja)
EP (1) EP4007266A1 (ja)
JP (1) JP2022086195A (ja)
CN (1) CN114584687A (ja)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116836A (ja) 2006-11-07 2008-05-22 Canon Inc 撮像装置、制御方法、及びプログラム
JP4942185B2 (ja) * 2007-04-06 2012-05-30 キヤノン株式会社 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
JP2009075254A (ja) * 2007-09-19 2009-04-09 Fujifilm Corp 焦点検出装置及び撮影装置
JP4412389B2 (ja) * 2007-10-31 2010-02-10 ソニー株式会社 データ記録装置及びその制御方法、並びにコンピュータ・プログラム
KR101821197B1 (ko) * 2010-12-21 2018-01-23 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2014099419A1 (en) * 2012-12-17 2014-06-26 Abbott Point Of Care Inc A portable clinical analysis system for hematocrit measurement
IN2014CH00115A (ja) * 2014-01-09 2015-07-10 Samsung R & D Inst India Bangalore Private Ltd
CN106716989B (zh) * 2014-09-10 2020-02-28 富士胶片株式会社 摄像装置、摄像方法及程序
KR102341107B1 (ko) * 2015-08-13 2021-12-21 삼성전자주식회사 전자 장치, 전자 장치를 보호하는 보호 장치 및 그 보호 방법
US10051231B2 (en) * 2016-07-19 2018-08-14 Symbol Technologies, Llc Arrangement for, and method of, securing a data capture session of a portable data capture device
JP6765917B2 (ja) * 2016-09-21 2020-10-07 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法
JP6766086B2 (ja) 2017-09-28 2020-10-07 キヤノン株式会社 撮像装置およびその制御方法
JP6852141B2 (ja) * 2018-11-29 2021-03-31 キヤノン株式会社 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム
KR20210101629A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 카메라 조립체 및 이를 포함하는 전자 장치
CN111787200B (zh) * 2020-06-23 2022-03-01 上海源涛信息科技有限公司 一种镜头的防摔保护系统、保护方法及影像采集设备

Also Published As

Publication number Publication date
CN114584687A (zh) 2022-06-03
EP4007266A1 (en) 2022-06-01
US20220174199A1 (en) 2022-06-02
US11924552B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
US10715736B2 (en) Image capturing apparatus and non-transitory recording medium
US11184550B2 (en) Image capturing apparatus capable of automatically searching for an object and control method thereof, and storage medium
WO2011013563A1 (ja) 制御装置、撮像システム、制御方法、プログラム
WO2019124055A1 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7545505B2 (ja) 撮像装置及びその制御方法、プログラム
JP6852141B2 (ja) 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム
JP7403218B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
WO2021140879A1 (ja) 撮像装置、撮像装置の制御方法、プログラム
CN114500790A (zh) 摄像设备及其控制方法以及存储介质
JP2008288745A (ja) 映像情報処理装置
JP7527769B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2022086195A (ja) 撮像装置、電子機器およびそれらの制御方法
JP6210214B2 (ja) 主要被写体推定装置及びプログラム並びに情報処理装置
JP5700204B2 (ja) 頭部装着型撮像装置
US11245830B2 (en) Image capture apparatus and control method for same, and storage medium
JP7451235B2 (ja) 撮像装置、制御方法、およびプログラム
CN114430450A (zh) 能够识别语音命令的摄像设备、控制方法和记录介质
JP2021111960A (ja) 撮像装置、撮像装置の制御方法、プログラム
JP2005277845A (ja) 撮影制御装置
JP2020042262A (ja) 撮像装置およびその制御方法、プログラム、記憶媒体
JP2015177420A (ja) 撮像装置およびその制御方法
JP2020071873A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2020145556A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015119324A (ja) 動画処理装置、動画処理方法、及び、プログラム
JP2023006632A (ja) 撮像装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240806

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241001