JP2022069993A - 撮像装置、その制御方法 - Google Patents

撮像装置、その制御方法 Download PDF

Info

Publication number
JP2022069993A
JP2022069993A JP2020178982A JP2020178982A JP2022069993A JP 2022069993 A JP2022069993 A JP 2022069993A JP 2020178982 A JP2020178982 A JP 2020178982A JP 2020178982 A JP2020178982 A JP 2020178982A JP 2022069993 A JP2022069993 A JP 2022069993A
Authority
JP
Japan
Prior art keywords
subject
angle
drive
image
vibration wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020178982A
Other languages
English (en)
Inventor
良太 小川
Ryota Ogawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020178982A priority Critical patent/JP2022069993A/ja
Publication of JP2022069993A publication Critical patent/JP2022069993A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Lens Barrels (AREA)
  • Studio Devices (AREA)

Abstract

【課題】振動波モータの制御性能と撮像装置の画質を両立させる。【解決手段】被写体重要度を算出する算出工程と、振動波モータの駆動周波数と駆動速度の関係に基づいて、前記振動波モータの駆動信号の駆動周波数の補正量を取得する取得工程と、前記被写体重要度と前記補正量に基づいて、前記振動波モータの駆動信号の駆動周波数を決定する決定工程と、を有し、前記取得工程では、前記振動波モータの温度と、前記振動波モータの駆動周波数と駆動速度の関係に基づいて、前記振動波モータの駆動信号の駆動周波数の補正量を取得する。【選択図】図2

Description

本発明は、振動波モータを備えた撮像装置に関する。
振動波モータは、低速で高トルク、静粛性が高い、応答性が高いなどの特徴を有する。これらの特徴を生かして、カメラなどの撮像装置の焦点調節動作用のアクチュエータや自動車のパワーウィンドウ、ロボットの関節などに用いられている。
しかしながら、振動波モータは圧電素子等に交流信号を印可することで発生する超音波振動により被駆動部を駆動しているため、交流信号や超音波振動の周波数によっては異音や不要振動が発生するというような問題があった。撮像装置にこの振動波モータを適用した場合には、動画や静止画を取得するタイミングで異音や不要振動が発生すると、画質に影響が生じてしまう。上記問題に鑑み、振動波モータの駆動信号の周波数に使用禁止周波数領域を設けて、使用禁止周波数領域を使用しないようにすることで撮像装置に対する影響を低減する方法が提案されている(特許文献1)。
特開2017-83489号公報
しかしながら、圧電素子は温度特性を持つため、温度変化に合わせて駆動周波数を変更する必要がある。
変更した駆動周波数が使用禁止周波数領域内であった場合には、使用禁止周波数を避けて駆動周波数を変更する必要があるが、使用禁止周波数領域を避けて駆動周波数を変更した場合に振動波モータの駆動速度が急に変動してしまう問題があった。その結果、映像がピクついたり、駆動音に異音として現れたりするなど悪影響を及ぼす場合があった。
そこで、本発明の目的は、振動波モータの制御性能と撮像画像の画質を両立させることを目的とする。
本発明の技術的特徴として、被写体を撮像して画像を生成する撮像手段と、圧電素子を備えた振動波モータと、前記振動波モータの温度を検出する温度検出手段と、前記振動波モータの駆動周波数と駆動速度の関係を記憶した第1の記憶手段と、を有する撮像装置の制御方法であって、被写体重要度を算出する算出工程と、前記振動波モータの駆動周波数と駆動速度の関係に基づいて、前記振動波モータの駆動信号の駆動周波数の補正量を取得する取得工程と、前記被写体重要度と前記補正量に基づいて、前記振動波モータの駆動信号の駆動周波数を決定する決定工程と、を有し、前記取得工程では、前記温度検出手段により検出された温度と、前記振動波モータの駆動周波数と駆動速度の関係に基づいて、前記振動波モータの駆動信号の駆動周波数の補正量を取得することを特徴とする。
本発明によれば、振動波モータの制御性能と撮像画像の画質を両立させることができる。
撮像装置を模式的に示す図である。 撮像装置の構成を示す図である。 電子機器としての振動波モータの駆動装置のパン回転ユニットと鏡筒回転駆動部の構成図である。 振動子1052の断面図である。 振動子1052の駆動周波数とパン回転部の駆動速度の関係(FV特性)を示した図である。 撮像装置の動作制御を説明するフローチャートである。 絶対角度算出及び像振れ補正量算出部の機能ブロック図である。 撮像装置の方向を説明する図である。 撮像装置の空間座標おける角度領域毎のエリア分割を説明するための図である。 撮影画像内のエリア分割を説明するための図である。 撮影画像内のエリア分割を説明するための図である。 撮影画像内のエリア毎の人物検出を説明するための図である。 撮影画像内のエリア毎の物体検出を説明するための図である。 撮影画像内のエリア毎のシーン検出を説明するための図である。 音声検出を説明するためのフローチャートである。 撮影画像内の動き検出を説明するための図である。 エリア毎の撮影枚数管理を説明するための図である。 個人認証された登録被写体毎の撮影枚数管理を説明するための図である。 物体認識された登録被写体毎の撮影枚数管理を説明するための図である。 シーン毎の撮影枚数管理を説明するための図である。 探索経過時間による演算を説明するためのフローチャートである。 シーン毎の探索目標角度演算を説明するための図である。 パン・チルト駆動時における駆動周波数を説明するためのフローチャートである。 目標角度到達判定を説明するための図である。 目標角度到達判定を説明するためのフローチャートである。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<撮像装置の構成>
図1は、実施形態に係る撮像装置(以下、カメラと呼ぶ)を模式的に示す図である。図1(a)に示すカメラ101は、電源スイッチのカメラ操作を行うことができる操作部材などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む鏡筒102は、カメラ101に取り付けられ、鏡筒102を固定部103に対して回転駆動できる機構を設けている。チルト回転ユニット104は鏡筒102を図1(b)に示すピッチ方向に回転できるモータ駆動機構(チルト回転ユニット)を持ち、パン回転ユニット105は鏡筒102をヨー方向に回転できるモータ駆動機構(パン回転ユニット)を持つ。(図1(b)は、固定部103位置での軸定義である。)角速度計106と加速度計107はともに、カメラ101の固定部103に実装される。
図2は自動被写体探索機能を有する撮像装置の構成を示すブロック図である。
図2において、201はズームユニットであり、変倍を行うズームレンズを含む。202はズーム駆動制御部であり、ズームユニット201を駆動制御する。203はフォーカスユニットであり、ピント調整を行うレンズを含む。204はフォーカス駆動制御部であり、フォーカスユニット203を駆動制御する。撮像部205では、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部206に出力する。
画像処理部206はA/D変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部206から出力されたデジタル画像データは、JPEG形式等の記録用フォーマットに変換し、画像記録部207で不揮発性メモリなどの記録媒体に記録する。112は、チルト回転ユニット104、パン回転ユニット105を駆動するための鏡筒回転駆動部であり、鏡筒102をチルト方向とパン方向に駆動させる。208は装置揺れ検出部である。例えば装置の3軸方向の角速度を検出する角速度計(ジャイロセンサ)106や、装置の3軸方向の加速度を検出する加速度計(加速度センサ)107が搭載され、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。209は装置移動検出部であり、GPS(Global positioning system)の位置情報や加速度センサなど移動検出手段を用いて装置の移動が検出される。GPSはカメラ本体101に設けられていてもよいし、外部GPS検出装置で検出した位置情報をカメラ101に通信して情報通知してもよい。装置揺れ検出部208でも装置のシフト量を検出しているが、加速度センサの特性上大きな移動を検出することは難しいので、小さな範囲での移動は装置揺れ検出部208で検出し、大きな移動の検出は装置移動検出部209で行う。210は音声入力部であり装置にもうけられたマイクから音声信号を取得する。211はシステムを操作するための操作部であり、電源ボタンやカメラの設定を変更できるボタンがもうけられており、電源ボタンが操作されると、システム全体に用途に応じて電源が供給され、カメラが起動される。212はシステム全体を制御する制御部である。
図3は、パン回転ユニット105と鏡筒回転駆動部112の内部ブロックを示した図である。チルト回転ユニット104は駆動軸が違うだけでパン回転ユニット105と同様な構成であるため本実施形態ではパン回転ユニット105についてのみ説明する。1051は鏡筒102をパン方向に回転させるための回転部1051である。振動子1052は回転部1051をパン方向に回転させるためのアクチュエータである。
図4は振動子1052の断面図である。図4の座標軸はx軸がパン回転部の移動方向(送り方向)であり、y軸は移動方向に直交した方向(突き上げ方向)である。401aおよび401bは電極である。402aおよび402bは圧電素子である。403はステータである。回転部1051を駆動する際は、後述する駆動回路1504から供給される位相の異なる2相の周期電圧波形がそれぞれ電極401aおよび401bに印加される。電極401に周期電圧波形が印加されると圧電素子402aおよび402bは逆圧電効果により伸縮し、ステータ403には2種類の定在波が発生する。2種類の定在波の合成によりステータ403と回転部の接触部には略楕円運動が発生する。404は電極401a、401bに所定の位相差の2相の正弦波状の電圧波形を印加した際のステータ403の点Pに発生する楕円振動の軌跡を示したものである。405は404ときの電圧波形に対して2相の周期電圧波形の位相差を大きくした際に発生する楕円振動の軌跡を示したものである。405の楕円振動は404の楕円振動に比べて送り方向成分が大きくなる。このように2相の周期電圧波形の位相差を変更することで送り方向成分と突き上げ方向の成分の比率を変えることで回転部の駆動速度を変更することができる。406は405に対して2相の周期電圧波形の周波数(駆動周波数)を低くした(振動子aの共振周波数に近づけた)際に発生する楕円振動の軌跡を示したものである。406の楕円振動は405の楕円振動に比べて移動方向成分および突き上げ方向の両方の成分が大きくなる。このように周波数を変更することでも回転部の駆動速度を変更することができる。他の方法として、周期電圧波形の電圧振幅を変更することでも楕円振動の大きさを変更してもよい。回転部の速度を制御する際には、位相差または周波数を変更することで速度が所定の値となるように制御を行う。本実施形態の振動波モータとしての超音波モータは、共振周波数よりも高い超音波領域の振動周波数を用いて制御する。速度制御を行う場合、位相差を固定し振動周波数を変更する方法(周波数制御モード)と、振動周波数を固定し位相差を変更する方法(位相差制御モード)、あるいは振動周波数と位相差の双方を変更する方法がある。位相差制御モードは、出力は低いが高精度な位置決めが可能で、高い停止位置精度が必要な場合や微少駆動時等に適している。一方、周波数制御モードは出力が高いため高速に回転部を動かしたい場合や低温環境下や可動部の耐久劣化等による振動子への負荷が増大した場合等の駆動に適している。
1053は振動子1052の温度を計測して、温度検出の結果から振動子1052に印可する電圧波形の周波数の温度補正を行う際に使用する温度センサである。1056は、回転部1051の回転位置を検出するための位置センサである。位置センサ1056は、回転部1051と一体となって取り付けられた光学式スケールに対して、発光部から光学式スケールに刻まれたパターンに対して照射した発光信号の反射光を受光部により電気信号として検出する。
1121は、位置センサ1056で検出した電気信号をアナログ-デジタル変換するためのアナログ-デジタルコンバーター(ADC)である。1122は、ADC1121でデジタル化したセンサ情報から回転部1051の回転位置を求めるための位置演算部である。1123は、操作部211からの回転指示に基づいてパンの目標回転位置を設定する目標位置設定部である。1124は、目標位置設定部1123に設定されている回転部1051の目標位置と位置演算部1122で求めた回転部1051の位置との偏差に基づいてPID制御演算を行うPID制御演算部である。1127はPID演算部1124で算出した制御量を電圧波形の位相差と周波数に変換する制御量-位相差、周波数変換部である。制御量-位相差、周波数変換部1127ではPID演算部1124で得られる制御量に応じて、2相の駆動電圧波形の位相差および周波数を決定する。1128はそれぞれ振動子1052に印加する電圧波形を発生させる電圧波形発生回路である。
1054は電圧波形発生回路で生成された電圧波形を振動子が駆動な所定の電圧波形となるように増幅および信号変換するための駆動回路である。
<振動子1052の駆動周波数とパン回転部の駆動速度の関係(FV特性)>
図5は振動子1052の駆動周波数とパン回転部の駆動速度のFV特性の温度変化と使用禁止駆動周波数領域を示した図である。501は基準温度tsdでのFV曲線である。502は基準温度tsdから温度がΔα変化したときのFV曲線である。501、502は、いずれも2相の駆動電圧波形の位相差は90°である。Vsdは振動子1052を温度補正する際の基準速度である。
位相差制御時の駆動周波数Fpは温度によって異なり、式(1)で表される。
Fp=Fini-k×(tx-tsd)・・・(1)
(tsd:基準の温度、tx:温度センサで検出した温度、Fini:温度がtsdのときの起動周波数、k:起動周波数の温度補正係数)
Finiは、温度tsdのときに振動子1052に位相差が90°の2相の駆動電圧波形を印可した場合に駆動速度がVsdとなる周波数である。
FαおよびFβはそれぞれ、tsdから温度がΔα変化したときの駆動周波数、tsdから温度がΔβ変化したときの駆動周波数である。
504は振動子に印可する電圧波形の周波数の使用禁止周波数領域である。使用禁止周波数領域504は、振動子に起因する機械的振動や駆動回路から発生する電気的ノイズの影響によりカメラの映像や動作に悪影響を及ぼす可能性がある周波数領域である。
温度がtsdからΔα変化した場合に駆動周波数Fαは使用禁止周波数領域となる。温度補正により駆動周波数が使用禁止周波数領域内となる場合には使用禁止周波数領域外でFαに最も近い周波数となるFβに駆動周波数を設定する。ただし、tsdから温度がΔβ変化したときに駆動周波数をFβとすると2相の駆動電圧波形の位相差が90°のときの速度は基準速度Vsdより高いVabとなる。この状態で回転部1051の位置制御を行うと回転部の駆動電圧波形の位相差の変化に対する回転部の変化量が想定以上に大きくなり、適切に制御できなくなる。最悪の場合、制御不能(発振)状態となる。
502のように温度補正した駆動周波数が使用禁止領域となった場合には、2相の駆動電圧波形の電圧振幅を変更することで位相差が90°の時の駆動速度がVsdとなるように調整する。
振動子の温度tsdのときの駆動電圧波形の電圧振幅をAsdとした場合、503の駆動電圧波形の電圧振幅Aβは式(2)となる。
Aβ=(Vsd÷Vab)×Asd・・・(2)
このように温度補正により駆動周波数が使用禁止周波数になった場合には、回転部の制御性能を駆動周波数前の性能と合わせるために駆動周波数および電圧を同時に変更する必要がある。駆動電圧波形の電圧と位相差を同時にかつ不連続に変化させるため、FV特性の乗り替わり起因による不要振動が振動子1052に発生し、回転部に回転ムラや異音となって現れる可能性がある。映像記録中に回転ムラが発生した場合、回転ムラの影響で回転方向にブレた映像が撮影される場合がある。駆動周波数の温度補正をしなければこれらの問題は発生しないが、回転部1051の位置制御を行うと回転部の駆動電圧波形の位相差の変化に対する回転部の変化量が不適となる。その結果、回転部1051の回転位置変化による負荷変動を抑えられないことにより回転ムラが発生する可能性がある。その結果、ブレた映像が撮影される可能性がある。この課題を解決する方法を後述する。
<撮像装置の動作>
図6は、本実施系における撮像装置の動作の例を説明するフローチャートである。図6に示す自動被写体探索機能を有した撮像装置は、カメラ101の主電源オンでスタートされ、自動被写体探索や自動撮影が実行される。
操作部211にて電源ボタンが操作されると、まずステップS601において、制御部212が、各種初期設定(撮像/自動探索など)を行う。自動探索の初期化では後に説明する被写体重要度レベルの初期化などの処理が行われる。初期設定が終了し、撮像素子からの画像情報を取得可能になると、ステップS602に進む。ステップS602では、撮像部205で取り込まれた信号を画像処理部206で被写体検出用に画像処理された画像が生成される。生成された画像によって人物や物体検出などの被写体検出が行わる。人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す顔信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。以上の方法で、撮像情報から各被写体情報を得ることができる。
ステップS602で動画撮影を開始する。ステップS603で被写体検出情報などの撮像情報が取り込まれるとステップS604に進む。ステップS604では装置揺れ検出部208内の角速度情報が取得され、ステップS605に進む。ステップS605では、装置揺れ検出部208内の加速度情報が取得され、ステップS606に進む。ステップS607では、検出された加速度情報と角速度情報からカメラ絶対角度の算出が行われ、ステップS608に進む。ステップS608では、カメラ101が手持ち状態や人の体にウェアラブル装着された状態において生じる画像ブレを抑えるための像振れ補正量が算出される。ステップS606のカメラ絶対角度の算出、ステップS607の像振れ補正量の算出の方法は、図7と図8に示すブロック図を基に説明する。
図1(a)に示すように、角速度計106と加速度計107はともに、カメラ101の固定部103に実装される。よって、角速度や加速度は固定部103位置の情報が出力されるので、その情報を基に算出するカメラ絶対角度も固定部103位置での絶対角度が算出されることになる。また、鏡筒102の回転ブレ(撮像素子のブレ)を補正するには、固定部103位置での角速度情報を基に、補正角度用を演算する。それにより像振れ補正量を算出し、像振れ補正量に基づき、チルト回転ユニット104、パン回転ユニット105を駆動する。これにより、鏡筒102を回転させることで振れ補正が可能である。
<カメラ絶対角度算出と像振れ補正量算出のブロック図>
図7にカメラ絶対角度算出と像振れ補正量算出のブロック図を示す。
カメラ絶対角度算出方法について、説明する。角速度計106の出力(ピッチ、ヨー、ロール)と、加速度計107の出力(X軸、Y軸、Z軸)がピッチ絶対角度算出部701、ヨー絶対角度算出部702、ロール絶対角度算出部703にそれぞれ入力される。そして、ピッチ方向、ヨー方向、ロール方向それぞれの絶対角度をそれぞれ算出する。これにより、角速度計106と加速度計107位置の絶対角度、即ちカメラ固定部103の絶対角度を算出する。まず加速度計107の各軸の出力の関係から、ロール方向、ピッチ方向、ヨー方向のカメラ絶対角度を算出することができ、加速度演算ピッチ絶対角度と加速度演算ヨー絶対角度とロール演算絶対角度をそれぞれ算出される。しかし、装置が静止している状態で外部からの加速度の影響を受けない場合、即ち加速度計が検出する加速度は重力加速度が支配的である場合でしか精度よく傾き角度を算出できない。カメラが移動される状態で撮影する場合、重力加速度以外の加速度の影響(ここでは振動加速度と呼ぶ)が大きくなり、正確な絶対角度演算を行うことは困難である。例えば、撮影者が手持ちで歩行しながらの撮影や、体の一部にカメラを固定装着しての撮影や、車やバイクなどの乗り物にカメラを取り付けての撮影などがこれにあたる。また、角速度計106のみでカメラ角度を推定する場合においても、角速度出力の積分演算により姿勢角度を推定可能であるが、積分による誤差も蓄積されてしまい、これもまた正確な絶対角度演算を行うことは困難である。
そこで、角速度計106と加速度計107のそれぞれに苦手とするノイズ領域を除去し、センサフュージョンにより信号合成して絶対角度演算を行う。より詳しくは、カルマンフィルタや相補フィルタなどを用いて演算され、角速度計106の積分誤差に最も影響する低周波ノイズを除去し、加速度計107の外乱による演算誤差に最も影響する高周波ノイズを除去し、信号を合成する。センサフュージョンによれば、ノイズを除去した正確な絶対角度演算が可能になる。
よって、角速度計106からのジャイロピッチ角速度と加速度演算ピッチ絶対角度とのセンサフュージョンによるピッチ絶対角度算出が行われ、ピッチ絶対角度が演算される。また、角速度計106からのジャイロヨー角速度と加速度演算ヨー絶対角度とのセンサフュージョンによるヨー絶対角度算出が行われ、ヨー絶対角度が演算される。また、角速度計106からのジャイロロール角速度と加速度演算ロール絶対角度とのセンサフュージョンによるロール絶対角度算出が行われ、ロール絶対角度が演算される。
また、加速度計107からのカメラ絶対角度が算出不可能な軸(例えば、図5(b)のY方向が重力方向と完全一致している場合の、Y軸周りの回転時軸であるヨー回転軸)では、角速度計106のみで絶対角度演算が行われる。カメラ角度変化により、絶対角度が算出可能だと判定されていた最後の絶対角度をスタートにして、絶対角度が算出不可能な期間は、角速度積分による絶対角度演算がされることになる。以上の方法により、カメラ絶対角度が算出可能である。
次に、像振れ補正量算出方法について説明する。
先に説明したカメラ絶対角度算出方法によって、カメラ絶対角度が算出可能であるので、その信号に基づいて、チルト回転ユニット104、パン回転ユニット105を回転駆動すれば、振れ補正が可能である。しかし、カメラ絶対角度に基づいて防振制御した場合、いつまでも同じ姿勢を維持し続ける制御を行うことになる。その結果、撮影者が移動しながら撮影するなどの場合に構図が変更されないなどの影響や、それぞれのユニットの可動端を超えての防振制御が不可能になってしまうなどの問題が生じる。このような問題の対策として、低周波成分の振れ補正は行わないで、高周波成分のみを防振制御を行うようにする。そのため、像振れ補正量算出は、低周波成分の振れ補正制御は行わずに高周波成分の振れ補正制御のために角速度計106のみを用いて補正量を算出する。
角速度計106出力をHPF(ハイパスフィルタ或いは高域透過フィルタ)でDC成分をカットされた後に積分され、角度信号に変換することで、防振角度を算出する。角速度計106は、カメラ固定部103に実装されている。パン回転ユニット105の回転軸に対する角速度計106のヨー方向の回転軸は一致している。パン防振角度算出部705では、角速度計106出力のヨー角速度をHPFと積分で角度変換することで、パン方向(ヨー方向)の防振角度を算出する。算出した防振角度に基づいてパン回転ユニット105を回転駆動することで、パン方向の振れ補正を行う。チルト方向については、角速度計106がカメラ固定部103に実装されているので、パン回転ユニット105の回転角度によって、チルト方向の振れ補正を行うための制御が変化する。パン回転が正位置(図8(a)、X軸が光軸に対して常に垂直方向に位置するとき)の場合は、ピッチ防振角度算出部706で算出したピッチ防振角度をそのままチルト防振角度として算出する。パン回転角度が正位置から90度回転(図8(b)、Z軸が光軸に対して常に垂直方向に位置するとき)の場合は、ロール防振角度算出部707で算出したロール防振角度をそのままチルト防振角度として算出する。x軸およびz軸上以外のパン角度は、パン回転角度に基づいて、ピッチ防振角度とロール防振角度とから、パン角度回転位置でのチルト防振角度を算出するので、パン角度回転位置に応じたチルト防振角度は式(3)で算出できる。
θtl=θpi×cosθap+θri×sinθap・・・(3)
(θtl:チルト防振角度、θpi:ピッチ防振角度、θri:ロール防振角度、θap:パン回転角度)
以上のように、チルト防振角度算出部404で、パン回転位置に応じて、チルト防振角度が算出される。
式(3)はピッチ角度とロール角度を変換し、チルト防振角度を算出した。しかしながら、角速度計106からのピッチ角速度とロール角速度と、パン回転角度から、チルト角速度を算出し、チルト角速度をHPFと積分処理で角度変換する方法でも、チルト防振角度を算出可能である。
以上の方法で、パン防振角度とチルト防振角度をそれぞれ算出可能であり、それぞれの防振角度(像振れ補正量)に応じて、チルト回転ユニット104、パン回転ユニット105を回転駆動すれば、振れ補正が可能である。
また、上記求めたカメラ絶対角度と、チルト回転ユニット104、パン回転ユニット105の回転位置から鏡筒102の絶対角度も算出することができる。具体的には、ヨー絶対角度算出部702出力のヨー絶対角度から、パン回転ユニット105の回転角度を減算することで、ヨー方向の光軸基準カメラ角度(鏡筒102ヨー絶対角度)を算出できる。
固定部103位置に変換したピッチ方向の鏡筒回転角度とロール方向の鏡筒回転角度はパン回転ユニット105の回転位置とチルト回転ユニット104の回転位置から算出できる。ピッチ方向の光軸基準カメラ角度(鏡筒102ピッチ絶対角度)は、ピッチ絶対角度算出部701出力のピッチ絶対角度からピッチ方向の鏡筒回転角度を減算して算出する。ロール方向の光軸基準カメラ角度(鏡筒102ロール絶対角度)は、ロール絶対角度算出部703出力のロール絶対角度から、ロール方向の鏡筒回転角度を減算することで算出する。
以上のように、光軸基準のカメラ角度が求めることができれば、例えばカメラ起動時の角度を基準として、現在の鏡筒(カメラ光軸)がどの角度方向を向いているかを判定可能である。
カメラ絶対角度と像振れ補正量が算出されると、ステップS607に進みカメラ移動検出が行われる。装置移動検出部209内のGPS位置情報や加速度情報によりカメラ101が大きく移動したかどうかを検出する。もしくはGPS位置情報を取得できる外部デバイスを有し、カメラ101と外部デバイスとが相互通信可能な構成で、GPS位置情報の変化があった場合に外部デバイスからカメラ101へ移動情報を通知することで移動したかどうかを検出してもよい。
ステップS608ではカメラ状態判定を行う。角速度情報や加速度情報やGPS位置情報などで検出したカメラ角度やカメラ移動量などにより、現在カメラがどのような振動/動き状態なのかを判定する。例えば、車にカメラ101を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用することができる。また、カメラ角度の変化が大きいか否かを判定し、カメラ101が揺れ角度がほとんどない「置き撮り状態」であるのかを判定する。「置き撮り状態」である場合は、カメラ101自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。また、比較的カメラ角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。各状態での被写体探索方法については、後程説明する。
ステップS609では、ステップS605で検出されたカメラ角度が正確に算出されているか否かを判定する。そして、S610にて、カメラ絶対角度検出が難しい状態の場合に検出不可と判定し、ステップS611に進む。ステップS611では、自動探索処理の初期化が行われ、後に説明する被写体重要度レベルの初期化などの処理が行われる。S610にて、カメラ絶対角度が検出可能な状態と判定されれば、ステップS612に進む。カメラ絶対角度が検出不可能な状態とは、カメラ衝撃が非常に大きく、加速度計出力からのカメラ角度算出に不具合が生じてしまう場合や、カメラ角速度が非常に大きく、角速度計が検出できる範囲をオーバーしてしまう場合である。
ステップS612では、ステップS601での初期設定時や、ステップS611での自動被写体探索の初期化時におけるカメラ101の絶対角度を基準としたエリア分割が行われる。そして、現在カメラ101が取得している画像をエリア分割に基づいて、ブロック分割される。
図9を用いて、エリア分割を説明する。
図9(a)のようにカメラ(原点Oがカメラ位置とする。)位置を中心として、全周囲でエリア分割を行う。図9(a)の例においては、チルト方向、パン方向それぞれ22.5度で分割している。図9(a)のように分割すると、カメラチルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図9(b)のように、チルト角度が45度以上の場合、水平方向のエリア範囲は22.5度よりも大きく設定している。
図9(c)(d)に撮影画角内でのエリア分割された例を示す。軸901は初期化時のカメラ101の方向であり、この方向角度を基準位置としてエリア分割が行われる。902は、撮像されている画像の画角エリアを示しており、そのときの画像例を図9(d)に示す。画角に写し出されている画像内ではエリア分割に基づいて、図9(d)の903~918のように画像分割される。
図10(a)(b)(c)にカメラのパン方向が、初期化時の方向901を向いているときの、撮影画角内におけるエリア分割を示す。自動被写体探索の初期化時におけるカメラ101の絶対角度を基準としたエリア領域であり、チルト角度が0度の場合の、カメラ撮影画角を1001に、画角中心を1002に示し、そのときの撮影画像を図10(b)に示す。チルト角度が55度の場合の、カメラ撮影画角を1003に、画角中心を1004に示し、そのときの撮影画像を図10(c)に示す。
チルト角度が0度の場合は、横(水平)方向の角度範囲がそれほど大きく変わらないので、エリアの大きさの差も小さいが、チルト角度が55度の場合は、横方向の角度範囲が角度によって大きく変わってしまう。そこで、チルト角度が45度以上の場合は、水平方向のエリア範囲を22.5度よりも大きくとることで、チルト角度が大きくなるにつれてエリア範囲が小さくなりすぎることを防いでいる。
図11(a)(b)は、カメラ初期位置からパン方向に11.25度回転させたときのエリア領域であり、チルト角度が0度の場合の、カメラ撮影画角を1101に、画角中心を1102に示し、そのときの撮影画像を図11(b)に示す。図11(a)に示すように、水平方向は、11.25度を中心として、エリア領域が設定される。
上記の撮影画角内でのエリア分割領域は以下の式(4)(5)で求められ、画角内で存在する分割領域をすべて算出し、図10(b)(c)や図11(b)のように、画像内でエリア分割される。
θay=θy+θy’・・・(4)
θax=θx’×cosθay・・・(5)
θx:パン角度(カメラ初期位置を基準)
θy:チルト角度(カメラ初期位置を基準)
θx’:パン角度位置(画像水平中心)からエリア分割角度までの角度
θy’:チルト角度位置(画像垂直中心)からエリア分割角度までの角度
θax:画像内での水平中心から水平方向エリア分割角度までの水平方向角度の長さ
θay:画像内での垂直中心から垂直方向エリア分割角度までの垂直方向角度の長さ
※カメラ初期位置を0度基準とする。
エリア分割角度は22.5度毎に設定されるが、垂直方向45度~67.5度の範囲は、水平方向エリア分割は45度に設定される。垂直方向67.5度~90度の範囲は水平方向の分割は行わず1つのエリアとして設定される。
このように、ステップS612で、エリア分割が行われると、ステップS613に進み、被写体重要度レベルの算出が行われる。
以下、図9(d)のような取得画像内の被写体情報等に基づいて、エリア別に被写体重要度レベルが算出される。ただし、図9(d)のように、画角に対して写っている領域が小さい(例えば、エリアの大きさ100%としたときに画像内でエリアが写っている領域が50%以下)のときは、被写体重要度の判定や更新は行われない。
上記設定したエリア毎に被写体重要度レベルがさまざまな条件で設定される。
被写体重要度レベルは、例えば以下の項目から算出される。
<人物情報に応じた重要度レベル設定>
画角内の各エリア位置での人物情報に応じた重要度レベル設定を行う。顔検出の公知の技術には、例えば顔に関する知識(肌色情報、目・鼻・口などのパーツ)を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、検出精度向上のために複数の顔検出方法を組み合わせて顔検出を行うのが一般的である。顔検出からは、顔の大きさや向き、また顔としての確からしさを示す信頼度などが算出される。また、顔の各器官検出情報から顔の表情を検出する技術も知られており、目の開き度合を検出したり、笑顔度を検出したりすることができる。具体的には、顔を構成する器官(目、鼻、及び口など)の輪郭、並びに目頭、目尻、小鼻、口角及び唇の位置等から表情検出に必要な特徴量を取得する。特徴量を取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる方法や、顔構成部品の多数のサンプル画像を用いた学習アルゴリズムによる方法などがある。検出した特徴量に基づいて、笑顔度や目つむり、ウインクや表情推定(喜び/驚き/怒り/悲しみ/真顔)などの表情検出情報を取得可能である。
また、予め個別の顔データを登録しておき、検出した顔から特定の個人であるかを更に検出する個人顔認証も行うことができる。予めデータベースに登録されている対象との状態が一致するか否か、またはその一致度を判定する。検出された被写体の画像データから、その被写体領域と被認証対象として識別するための特徴情報を抽出する。そして抽出した特徴情報と予めデータベースに登録されている被写体の画像の特徴情報とを比較する。この比較による類似度を示す認証評価値に基づき、被認証対象がどの登録対象であるか、または該当する登録対象がいないかの認証を行う。例えば、認証評価値に対して所定の閾値を設け、所定の閾値以上の場合に、被認証対象がデータベースに登録されている該当対象であると判定することができる。
Krは、顔信頼性によってレベル付された(例えば、信頼性小→大でKrが大きくなるような)値であり、顔の大きさや向き、顔の確からしさなどよって信頼性が判定される。
Kaは、個人顔認証情報によってレベル付された値であり、登録された個人顔毎の重要度(予め重要度を登録などしておく)や、後程説明する過去撮影情報に基づいて、顔毎に設定されている。
Ksは、顔表情によってレベル付けされた値であり、予め設定された表情に応じたレベル付(例えば、笑顔/喜び/驚きなどは高いレベルに設定され、怒り/悲しみ/真顔/目つむりなどは低いレベルに設定されている)に基づいて、顔毎にレベル付けされる。ここで、各表情で表情の度合い、例えば笑顔であれば笑顔度合いに応じてレベルを可変させるような構成にしてもよい。
以上求めたKr、Ka、Ksより、人物表情に応じたレベルFlvlは、式(6)で求められる。
Flvl=Kr×Ka×Ks・・・(6)
図12を用いて、人物情報に応じたレベル設定の説明を行う。上記説明したとおりエリア1201、1204、1205、1208のように、画像に写っている領域が小さい場合は、探索していないものとして判定されない。ここで、3人の人物(1209、1210、1211)が画角内に写っている場合を例に説明する。被写体1209は個人顔認証登録されていない被写体であり、表情に笑顔がない被写体とする。被写体1210は個人顔認証登録されていない被写体であり、表情に笑顔がある被写体とする。被写体1211は個人顔認証登録されている被写体であり、表情に笑顔がある被写体とする。
エリア1202と1206に人物1209が写っているので、両方のエリアに1209の人物情報に応じたレベル設定を行う。1209は、個人認証の登録情報を参照すると個人認証登録されていないのでゲインKaは1、笑顔でないのでゲインKsは1となり、1209のレベルは、Krとなり、顔信頼性によって被写体1209の重要度レベルが決まる。
エリア1203と1207に人物1210と1211が写っているので、両方のエリアに1210と1211の人物情報に応じたレベル設定を行う。1210は、個人顔認証登録されていないのでゲインKaは1、笑顔がある被写体なのでゲインKsは1以上の値に設定されている。1211は、個人顔認証登録されているのでゲインKaは1以上に、笑顔がある被写体なのでゲインKsは1以上の値に設定されている。
よって、顔信頼性が1209と1210と1211とで同じ信頼度の場合、各被写体の重量度レベルの大きさは、1211>1210>1209となる。
また、顔が写っている割合によって、レベル分けを行う。顔割合が大きいエリアには、上記求めたレベルをそのまま設定し、顔割合が小さいエリアには顔割合によってレベルを変更する。例えば、エリア1203とエリア1207の人物顔の写っている割合が8:2の場合、レベルを10:2.5に設定される。
以上のように、人物の顔情報に基づいて、エリア毎に人物レベルが設定される。
<物体認識情報に応じた重要度レベル設定>
予め登録されている被写体を検出したら、物体認識情報に基づいた重要度レベル設定を行う。例えば、「犬」や「猫」など一般的な物体カテゴリー認識を行ったり、事前に登録された被写体画像との一致度から、被写体認識による重要度レベル設定を行う。物体認識については、ニューラルネットに代表される学習アルゴリズムにより「犬」「猫」などの識別器を構成する方法などがある。
図13を用いて、予め登録されている物体認識情報に応じたレベル設定を説明する。ここで、画面上に3つの被写体(1309、1311、1313)が画角内に写っている場合を例に説明する。被写体1309は物体認識により犬と判定され、被写体1313は猫と判定される。被写体1311は人物であり、人物は<人物情報に応じた重要レベル設定>で判定されているので、物体認識情報に応じたレベル設定からは対象外の被写体となる。「犬」を認識した場合のレベルと、「猫」を認識した場合のレベルはそれぞれ登録されているものとする。例えば犬を重要被写体であり、「猫」は重要被写体でないと設定されている場合は、「犬」を検出したエリア1307の方が「猫」を検出したエリアよりもレベルが高く設定される。また、物体認識の信頼度を求め、検出の信頼度に応じてレベルを変更してもよい。
ここでも、被写体が写っている割合によって、レベル分けを行う。被写体割合が最も大きいエリアには、上記求めた重要度レベルをそのまま設定し、被写体割合が小さいエリアにはその割合によってレベルを変更する。
<シーンに応じた重要度レベル設定>
画像データを解析することで、「青空シーン」、「事前の緑が多いシーン」、「夕景シーン」等を判定し、シーン判定情報に基づいたレベル設定を行う。
なお、空にかかわるシーン判定については、カメラの絶対角度情報から、カメラが傾き情報が分かるので、重力方向と垂直な方向よりも、上方向領域の画像に置いて、「青空シーン」や「夕景シーン」のような空の判定が行われる。
まず、撮影された1フレームの12ビットRAWデータをn×m(n、mは整数)の領域にブロック分割し、分割された各領域内のR、G、B各色の画素の平均値を算出する。各ブロックのR,G、B平均値に対して、ホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。
「青空シーン」の判定は、画面内上方向領域における青空ブロックの割合を算出することで行われる。青空ブロックかどうかの判定はUV色空間上で青空判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。「夕景シーン」の判定は、画面内上方向領域における夕景ブロックの割合を算出することで行われる。夕景ブロックかどうかの判定はUV色空間上で夕景判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。「自然の緑シーン」の判定は、画面内全ブロックに占める自然の緑ブロックの割合を検出することで行われる。自然の緑ブロックかどうかの判定はUV色空間上で自然の緑判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。
図14を用いて、シーン検出情報に応じた重要度レベル設定の説明を行う。画面内の右上範囲に青空が写っており、画面内の左範囲に建物が写っており、画面内の右下範囲に自然の緑が写っているシーンであるとする。画面内のシーン判定より、「青空シーン」と「自然の緑シーン」を検出し、エリア1403は青空領域認識に応じたレベルが設定され、エリア1407は自然の緑領域認識に応じたレベルが設定される。エリア1402はエリアに対する青空領域が40%程度なので、青空領域認識に応じたレベルの40%が設定される。エリア1406はエリアに対する自然の緑領域が30%程度なので、青空領域認識に応じたレベルの30%が設定される。
上記、色空間情報によるシーン判定方法を説明したが、輝度値によってシーンを判定する方法もあり、「夜景シーン」の判定を例に説明する。夜景シーンの場合、画面全体のヒストグラムから極端に輝度の高いレベルと極端に輝度の低いレベルのみで分布されている場合夜景として判定する。また、画像の輝度信号の高周波成分に基づいてコントラスト評価により点光源を判定し、輝度分布と点光源検出結果とを用いて「夜景シーン」を判定してもよい。
「青空シーン」「夕景シーン」「自然の緑のシーン」「夜景シーン」それぞれにおける重要度レベルはそれぞれ登録されており、それぞれの登録されている重要度レベルに応じて、エリア毎にシーンに応じた重要度レベル設定を行う。
<音声情報に応じた重要度レベル設定>
音声情報データを解析することで、「音声方向」、「音レベル」、「音声認識」等を判定し、音声情報に基づいた重要度レベル設定を行う。図15のフローチャートを用いて、音声検出の結果、得られた音声情報に応じた重要度レベル設定の説明を行う。
ステップS1501で、音声取得部が、外部で発声した音声を取得したか否かを判定する。音声を取得した場合は、ステップS1502に進む。音声を取得しなかった場合は、ステップS1501へ戻る。
ステップS1502で、音声方向検知部が、取得した音声の発生方向を検知する。ステップS1503で、音レベルを検知する。ステップS1504で、音声認識部が、取得した音声を認識する。音声認識するための特定の音声コマンドか否かをステップS1505で判定し、音声コマンドの場合はS1506に進み、音声認識レベルScをAc1に設定する。音声コマンドでない場合はS1507に進み、音声認識コマンドレベルScを0に設定する。次にステップS1508で、検出した音レベルが所定値以上であるかを判定し、所定値以上であれば、ステップS1509に進み、音声レベルSsをAc2に設定する。音レベルが所定値より小さければ、ステップS1510に進み、音レベルSsを0に設定する。次にステップS1511に進み、ステップS1502で検出した音方向から図6に対応する音方向エリアを算出する。(例えば、音声方向認識誤差を考えて、判定された方向の角度から±45度の範囲すべてを音方向エリアとする)次にステップS1512で、音声認識レベルScと音声レベルSsを加算し、トータル音レベルSlを算出し、ステップS1513に進む。ステップS1513ではSlが前回サンプリングでのSlに対して、大きくなる方へ変化したかどうかを判定し、大きくなる方に変化した場合、ステップS1514に進み、所定時間パラメータTaに時間カウントXtを設定し、ステップS1515に進む。ステップS1515ではステップS1511で設定したエリアにレベルSlを設定し、ステップS1501へ戻る。
ステップS1513でSlが前回サンプリングでのSlに対して、同じか小さくなる方に変化した場合は、ステップS1516に進み、所定時間パラメータTaをデクリメントし、ステップS1517に進む。ステップS1517で時間Taが0以下かを判定し、0以下(Slが大きくなる方へ変化してからTa経過した場合)であればステップS1518で、レベルSlを0に設定しステップS1511で設定したエリアを0に設定する。ステップS1517で時間Taが0より大きい場合ステップS1515へ進み、これまでで演算されたSlを音声方向のエリアに音声情報に応じた重要度レベルを設定する。
<画像動き情報に応じた重要度レベル設定>
図9のようにエリア分割された各エリアにおいて動き被写体が存在するか否かを判定し、画像動き情報に応じた重要度レベル設定を行う。
エリア毎にフレーム間の差分検出やフレーム間の動きベクトル検出等を行う。動きベクトルの検出方法としては、画面を複数の領域に分割し、予め記憶されている1フレーム前の画像と現在の画像(連続する2つの画像)を比較することで、画像の相対的なズレ情報から画像動き量を算出する。
ここで、カメラ絶対角度とチルト回転ユニット104、パン回転ユニット105の回転位置との差分により、鏡筒(撮像面光軸方向)の角度が分かるので、フレーム間の鏡筒角度の差分より、カメラ角度変化影響による像振れの動きベクトル値は検出できる。図16(a)のようにエリアの中でも更に分割された領域でフレーム間の移動ピクセルを検出し、検出した移動ピクセルからカメラ角度変化影響による動きベクトル値を減算したベクトル信号から、度数分布処理を行う。なお、低コントラストなどのベクトル検出が難しい場合は、検出不可ブロックのベクトル情報は度数分布処理には反映されない。度数分布例を図16(b)と(c)に示す。図16(b)はあるエリアに動き被写体がいない場合の、あるフレームでの度数分布例を示す。閾値1602の範囲はベクトル値が小さく、ほとんど動きがないベクトル範囲であるため、閾値1602範囲内のベクトル情報は使用しない。閾値1602以外の移動量が度数閾値1603を超えている場合、エリア内に動き被写体がいると判定するが、図16(b)においては閾値1603を超えていないので動き被写体ないと判定される。図16(c)はエリアに動き被写体がいる場合のあるフレームでの度数分布例を示す。閾値1602範囲外におけるベクトル移動量が度数閾値1603を超えているので、このエリアに動き被写体がいると判定される。過去数フレームの間、動き被写体が連続していると判定されると、動き被写体ありの重要度レベルが設定される。
<過去撮影情報に応じたレベル設定>
過去に撮影された情報から重要度レベル設定を行う。カメラは後に説明する方法で、パン・チルトを駆動し、被写体自動探索を行う。探索中の画像情報から、カメラが自動撮影トリガーを検出すると、自動撮影が行われる。自動撮影トリガーは例えば、人物の笑顔などの表情検出であったり、後に説明する最終的な被写体重要度レベルの大きさであったりする。また、撮影者がカメラに設けられたレリーズSWなどにより、手動で撮影されることもある。カメラは撮影すると、過去撮影情報が記憶管理される。
まず、エリア毎の過去撮影情報に応じたレベル設定について説明する。図9のようにエリア分割された各エリアにおいて、各エリアでの撮影枚数が記憶管理される。エリア毎の過去管理の方法を図17に示し、縦軸がエリア毎に、横軸が時間毎に、撮影枚数が管理されている。図17のようなエリア毎の過去情報から、エリア毎の重要度レベル設定を行う。「今~T1時間」は現在から過去T1時間前までの撮影枚数であり、この重み係数を例えば1とする。「T1時間~T2時間」は過去T1時間から過去T2時間までの間の撮影枚数であり、この重み係数を例えば0.8とする。「T2時間~T3時間」は過去T2時間から過去T3時間までの間の撮影枚数であり、この重み係数を例えば0.5とする。「T3時間~T4時間」は過去T3時間から過去T4時間までの間の撮影枚数であり、この重み係数を例えば0.2とする。
それぞれの重み係数と撮影枚数を乗算し、各時間の計算結果を加算することで、重みありのトータル撮影枚数をエリア毎に算出する。
Area1のトータル撮影枚数は、0×1+0×0.8+0×0.5+2×0.2=0.4枚となり、Area3のトータル撮影枚数は、3×1+4×0.8+2×0.5+0×0.2=7.2枚となる。
各エリアのトータル撮影枚数にレベル係数(係数はマイナスの値であり、撮影枚数が多くなるにつれて重要度レベルが下がっていくようにしている)を乗算して、エリア毎の過去撮影情報に応じたレベル設定を行う。
また、過去撮影情報は、<人物情報に応じた重要度レベル設定>や<物体認識情報に応じた重要度レベル設定>や<シーンに応じた重要度レベル設定>などにもフィードバックされ、各レベル設定にも影響するようにしている。
図18は、<人物情報に応じた重要度レベル設定>にフィードバックするための過去撮影情報を管理した表である。個人登録されている被写体毎(Asan、Bsan,Csan、Dsan・・・)の過去撮影枚数がそれぞれ記憶管理されている。図14で説明した方法と同様に、各時間で重み係数が設定されており、登録被写体毎にそれぞれトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果を、ゲインKaに加算することで、<人物情報に応じたレベル設定>に過去撮影情報をフィードバックする。
レベル係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている。なお、Kaは0以下にはならないように設定される。
図19は、<物体認識情報に応じた重要度レベル設定>にフィードバックするための過去撮影情報を管理した表である。登録されている被写体毎(犬、猫・・・)の過去撮影枚数がそれぞれ記憶管理されている。図14で説明した方法と同様に、各時間で重み係数が設定されており、登録被写体毎にそれぞれトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果を、各被写体に応じたレベル設定に加算することで、<物体認識情報に応じたレベル設定>に過去撮影情報をフィードバックする。係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている。なお、各被写体に応じた重要度レベル0は以下にはならないように設定される。
図20は、<シーンに応じた重要度レベル設定>にフィードバックするための過去撮影情報を管理した表である。シーン毎(青空、夕景、自然の緑、夜景・・・)の過去撮影枚数がそれぞれ記憶管理されている。図14で説明した方法と同様に、各時間で重み係数が設定されており、登録被写体毎にそれぞれトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果を、各シーンに応じたレベル設定に加算することで、<シーンに応じたレベル設定>に過去撮影情報をフィードバックする。
係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている。なお、各シーンンに応じた重要度レベルは0以下にはならないように設定される。
<未探索時間による重要度レベル設定>
図9のように分割された各エリア位置での最後に探索されたときからの経過時間に応じた重要度レベル設定を行う。処理のフローチャートを図21に示す。処理がスタートすると、ステップS2101で現在のパン・チルト位置を取得し、ステップS2102に進む。ステップS2102では図9で説明した方法で算出されたカメラ絶対角度を取得し、ステップS2103に進む。ステップS2103では、ステップS2101で取得したパン・チルト位置とステップS2102で取得したカメラ絶対角度とから鏡筒102の絶対角度を算出し、ステップS2103に進む。
ステップS2104では、ループ演算のための変数であるAreaに1を代入し、ステップS2105に進む。ステップS2105では鏡筒102の絶対角度を微分処理して算出した絶対角速度が所定速度以内であるかを判定し、また図9のように分けられたエリア毎に各エリア番号が定義されており、変数Areaが画角内に写っているエリア番号かどうかを判定する。Areaが画角内にいる場合且つ、鏡筒絶対角速度がそれぞれ被写体検出できる程度の速度(撮像遅れ、検出時間遅れを加味して、画像から被写体検出するまでの遅れ時間が所定値以内の角速度であること)であれば、ステップS2106に進む。ステップS2106では、現在のAreaの未探索時間に応じた重要レベルを0に設定し、ステップS2108に進む。ステップS2105で、現在のAreaが画角内にいない或いは、鏡筒絶対角速度が所定角速度よりも大きければ、ステップS2107に進み、現在のAreaの時間レベルをインクリメントし、ステップS2108に進む。ステップS2108ではAreaをインクリメントし、ステップS2109に進み、Areaがトータルエリアの数より大きいかを判定し、大きければ処理を終了する。Areaがトータルエリアの数よりも小さければステップS2105に戻り、ステップS2105~2109の処理を繰り返す。
以上の方法により、エリア毎に未探索時間に応じた重要レベルは設定される。エリアが最後に被写体探索されてからの経過時間(エリアの未探索時間)によって、各エリアの時間レベルが大きくなっていくことで、長時間探索されていないエリアがあれば、重要度レベルが上がりパン・チルトによりそのエリアの探索を行う仕様になる。
<カメラ振動状態による重要度レベル設定>
カメラ振動状態に応じて重要度レベル設定を行う。ステップS609で算出したカメラ状態判定結果から、カメラの振動状態(乗り物検出状態、置き撮り状態、手持ち状態)が判定される。
カメラ振動状態が「置き撮り状態」の場合、カメラ絶対角度演算を間違うことはなく、各エリアの重要度レベルの演算の信頼性は高いので、これまでで演算された各エリアの被写体重要度レベルをそのまま使用して後の探索制御を行う。
カメラ振動状態が「乗り物検出状態」の場合は、移動速度が速いので、乗り物に乗っている人のエリアの変化はほとんどないが、風景などの被写体は刻々と変化する。よって、乗り物状態の場合は、<人物情報に応じた重要度レベル設定>はそのまま重要レベルを使用するが、<画像動き情報に応じた重要度レベル設定>の重要度レベルは使用しない。また、<シーンに応じた重要度レベル設定>や<物体認識情報に応じた重要度レベル設定>はすぐに変化する可能性が高いので、重要レベルを下げる。(但し、自動撮影においては検出したらすぐ撮影を行うなどの工夫もする。)<音声情報に応じた重要度レベル設定>や<過去撮影情報に応じたレベル設定>はそのまま重要度レベルを使用する。また、カメラの進行方向を検出して、速い速度で移動している進行方向を加速度センサなどで検出し、進行方向のエリアの重要度レベルを上げておくなどの演算も行われる。
カメラ振動状態が「手持ち状態」(ブレ振動が大きい状態)の場合は、撮影者がカメラの方向を操作する可能性が高い。そこで、カメラ正位置(チルト角度、パンチルト角度が0度)から±45度の範囲のエリアは重要度レベルを大きく設定し、±45度~±90度の範囲のエリアは重要度レベルをより小さく設定する。そして、±90度よりも離れた範囲では重要度レベルを更に小さくなるように、各エリアの重要度レベルを設定する。エリア毎に重要度レベルを加算する方法でもよいし、エリア毎に算出された重要度レベルに範囲に応じて重みをかける方法でもよい。(±45度の範囲のエリアは重み係数1、±45度~±90度の範囲のエリアは重み係数を1以下、±90度よりも離れた範囲では重み係数を更に小さくしておく)
以上の方法により、カメラ振動状態により、各重要度レベル演算を変更し、各振動状態にあった被写体探索が行われるようにしている。
上記の方法で求めた各エリアにおける各重要度レベルを加算し、被写体重要度レベルを算出し、ステップS613に進む。
<パン・チルト探索目標角度算出>
ステップS613では、エリア毎の被写体重要度レベルから、パン・チルト探索の目標角度を算出し、ステップS614に進む。パン・チルト探索目標角度は以下の方法で算出される。
まず、各エリアで隣接するエリアの被写体重要度レベルから、探索用最終レベルを算出する。図22(a)の2201のエリアにおける探索用最終レベルはエリア2201と周辺のエリアの情報を用いて演算される。2201の重み係数を1として、その他の重み係数を1以下(例えば0.5)として、各エリアの被写体重要度レベルに各重み係数を乗算し、すべてのエリアでもとめた計算値を加算することで探索用最終レベルが算出される。この演算をすべてのエリアで行い、各エリアでの探索用最終レベルを算出する。
次に探索用最終レベルが最も大きいエリアを探索目標エリアと設定する。探索目標エリアが図22の2201だった場合、2201~2209の探索用最終レベルと2201~2209の各エリアの中心角度とからパン・チルト探索目標角度を式(7)により演算する。
Figure 2022069993000002
nは2201~2209のエリアの数(9)であり、iは2201~2209を1~9に定義した変数であり、bは各エリアの中心角度、aは各エリアの探索用最終レベルである。このように演算されたエリア2201~2209間の探索用最終レベルに基づいた角度の重心位置yを演算する(yは、チルト方向、パン方向それぞれで演算される。)ことで、パン・チルト探索目標角度yを算出する。
なお、各エリアの探索用最終レベルすべての値が所定閾値以下の場合は、探索してもその時点での重要な被写体はいないと判定され、パン・チルト駆動はしないようにする。
このとき、<過去撮影情報に応じたレベル設定>を除外した条件で算出した被写体重要度に基づいて目標角度を演算し、目標角度にパン・チルト駆動した後は、各エリアの探索用最終レベルのいずれかが所定閾値より大きくなるまで、その角度位置に保持される。
以上のようにして、パン・チルト探索目標角度を算出し、ステップS615に進む。
<パンチルト駆動量算出>
ステップS615では、ステップS607で求めた像振れ補正量とステップS614までで求めたパン・チルト探索目標角度から、パン・チルト駆動量を算出する。像振れ補正量とパン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出(パンの駆動角度、チルトの駆動角度それぞれを算出)し、ステップS616に進む。
<パンチルト目標角度到達の判定処理>
ステップS616でパン・チルトの現在角度とステップS615で算出した目標駆動角度からパン・チルトが目標角度に到達したかどうかの判定を行う。ステップS616の目標角度判定処理を詳細に説明する。ここではパンを例にして目標角度到達判定処理について説明するが、チルトも同様の方法で判定可能である。
図24(a)は、パン駆動時におけるパンの目標角度と現在角度の時間変化を示した図である。2401(破線)はパンの目標角度、2402(実線)はパンの現在角度、2403の背景がグレーの領域は目標角度Ptfを中心とする目標角度到達判定領域である。目標角度到達判定領域の幅を示すΔPtはパン・チルト駆動用のモータの停止精度に依存する値である。モータの停止精度を加味して決める。ΔPtはパン・チルトの駆動速度に応じて変更するようにしてもよい。ほかにもΔPtを決める条件として、像ブレ量または像ブレ量から算出するパン・チルト角度の補正量に応じて変更するようにしてもよい。さらには、式(7)で算出される被写体重要度が高いほどΔPtは小さく、重要度が低いほどΔPtは大きくするなど被写体重要度レベルに応じて変更するようにしてもよい。
図24(b)は、パン駆動時におけるパンの目標駆動角度から像振れ補正量を引いた角度とパンの現在角度から像振れ補正量を引いた角度の関係を示した図である。2404(破線)はパンの目標駆動角度から像振れ補正量を引いた角度、2405(実線)はパンの目標駆動角度から像振れ補正量を引いた角度である。図24(a)に示すように、時刻t1において現在角度が目標角度到達判定領域内となっている。一方で、図24(b)に示すように、パンの現在角度から像振れ補正量を引いた角度(像ブレ補正する際のパンの基準角度)は目標角度到達判定領域外となっている。時刻t1で目標角度に到達したと判定してパンの目標角度の更新を停止した場合にユーザーが意図しない画角に停止してしまうことになる。パンの現在角度から像振れ補正量を引いた角度が目標角度到達判定領域内となったタイミングで目標角度到達判定を行うと、像振れ量に関わらずにユーザーが意図する画角にパンを停止させることができる。
図25はステップS616の処理の詳細を示したフローチャートである。
まず、ステップS2501において、パンの現在角度Pcnの検出を行う。次にステップS2502において、目標角度Ptnを算出する。時刻tnにおける目目標角度Ptnは式(8)であらわされる。
Ptn=Va×(tn-t0)+Pc0・・・(8)
(Ptn:目標角度、Va:目標駆動速度、tn0:駆動開始時刻、Pc0:駆動開始時の角度)
次にステップS2503において、目標駆動角度から像振れ補正量を引いた角度Pinの算出を行う。Pinは式(9)で算出する。
Pin=Pcn-Psn・・・(9)
(Pcn:現在角度、Psn:像振れ補正量)
次にステップS2504において、パンの目標角度Ptnが最終的な目標角度Ptfに到達したかどうかの判定を行う。目標角度に到達していない場合(Ptn<Ptf)にはステップS2505に進み目標角度に到達していないことをスマートフォンなどの駆動指示を与える指示手段に対して通知する。
目標角度に到達した(Ptn≧Ptf)の場合にはステップS2506に進みパンの目標駆動角度から像振れ補正量を引いた角度Pinが最終的な目標角度Ptfに到達したかどうかの判定を行う。判定条件は式(10)で表わされる。
|Ptf-Pin|≦ΔPt・・・・・・(10)
ステップS2506でパンの駆動角度が最終的な目標角度Ptfに到達したと判定した場合は、ステップS2507に進み、目標角度に到達したことをスマートフォンなどの駆動指示を与える指示手段に対して通知して、パンの目標角度の更新を停止する。
ステップS2506でパンの駆動角度が目標角度に到達していないと判定した場合は、ステップS2505に進み、目標角度に到達するまでにステップS2501~ステップS2507の動作を繰り返す。
本実施形態では、最終的なパン・チルト目標駆動角度から像振れ補正量を引いた角度とパン・チルトの現在角度から像振れ補正量を引いた角度が所定範囲内に入った場合に目標位置に到達したと判定する例を示した。しかし、一度でも到達したかどうかで判定した場合にはパン・チルト角度検出センサの異常やノイズの影響等で目標位置を誤検出した場合にユーザーが意図しない角度で目標位置に到達したと判定することがある。このような問題の対策として所定時間以上、判定条件に入り続けた場合のみパン・チルトが目標位置に到達したと判定するようにするとよい。例えば、図24に示すようにt2で最終的な目標駆動角度から像振れ補正量を引いた角度と現在角度から像振れ補正量を引いた角度が所定範囲内に入るが、ここでは到達したとはみなさずに、判定時間Δtw経過したt3で到達したと判定すればよい。ステップS616でパンの駆動角度が目標角度に到達していないと判定した場合はステップS617に進み、目標角度に到達したと判定した場合はステップS618に進む。
<パンチルト駆動>
ステップS617でパン・チルトそれぞれ駆動角度に応じて、鏡筒回転駆動部112によって、チルト回転ユニット104、パン回転ユニット105をそれぞれ駆動制御する。
図23はパン回転ユニット105の駆動制御する際に、駆動電圧波形の周波数を決定するフローを示した図である。
ステップS2351では、温度センサ1053で温度を取得する。S2352では、取得した温度に基づいて振動子に印可する駆動電圧波形の駆動周波数Fpnを式(1)に基づいて算出する。ステップS2353では、ステップS2352で算出した駆動周波数Fpnが現在の駆動周波数Fpn-1と同じ場合はステップS2354に進み駆動周波数は変更しない。ステップS2352で算出した駆動周波数Fnが現在の駆動周波数Fpn-1が異なる場合はステップS2355に進み、動画記録中であるかどうかを判定する。動画記録中の場合はステップS2356に進み、動画記録中でない場合はS2357に進み駆動周波数をステップS2352で算出した駆動周波数Fpnに変更する。ステップS2355で動画記録中であった場合はステップS2356に進み、駆動周波数を変更した場合の影響度を判定する。影響度Effは式(8)で表される。
Eff=ΔV×y・・・(8)
式(8)のΔVは、駆動電圧波形の位相差が90°の時の駆動周波数Fnと駆動周波数Fn-1のときの速度差である。式(8)のyは、式(7)で算出される被写体重要度レベルである。Effが閾値Th以上の場合は映像に与える影響度が大きいと判定してステップS2354に進み駆動周波数は変更しない。Effが閾値Th未満の場合は、映像に与える影響度が小さいと判定して駆動電圧波形の周波数をステップS2352で算出した駆動周波数に変更する。動画画像の撮影を例に説明したが、静止画の撮影を行う場合においても同様の方法で、自動撮影や過去撮影情報の管理が行われる。
<過去撮影情報の更新>
ステップS618で過去撮影情報が更新する。過去撮影情報が更新されると、ステップS602に戻り、自動被写体探索、自動撮影処理を繰り返す。
上述した実施形態による方法で、振動波モータの振動子に印可する電圧波形の駆動周波数を変更する際に映像への影響が小さいタイミングで駆動周波数を変更するため、振動波モータの駆動音や制御性などの駆動特性と映像の画質を両立させることが可能となる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 カメラ
102 鏡筒
103 パン回転ユニット
104 チルト回転ユニット

Claims (15)

  1. 被写体を撮像して画像を生成する撮像手段と、
    被写体重要度を算出する算出手段と、
    圧電素子を備えた振動波モータと、
    前記振動波モータの温度を検出する温度検出手段と、
    前記振動波モータの駆動周波数と駆動速度の関係を記憶した第1の記憶手段と、
    前記振動波モータの駆動周波数と駆動速度の関係に基づいて、前記振動波モータの駆動信号の駆動周波数の補正量を取得する取得手段と、
    前記被写体重要度と前記補正量に基づいて、前記振動波モータの駆動信号の駆動周波数を決定する決定手段と、を有し、
    前記取得手段は、前記温度検出手段により検出された温度と、前記振動波モータの駆動周波数と駆動速度の関係に基づいて、前記振動波モータの駆動信号の駆動周波数の補正量を取得することを特徴とする撮像装置。
  2. 前記決定手段は、前記補正量を用いて補正した場合の前記振動波モータの駆動速度の変化量に基づいて、駆動周波数を決定することを特徴とする請求項1に記載の撮像装置。
  3. 前記振動波モータの駆動信号の使用禁止とする周波数領域を記憶する第2の記憶手段をさらに有し、
    前記決定手段は、前記補正量を用いて補正した場合の駆動周波数が前記使用禁止とする周波数領域内となる場合は、使用禁止とする周波数領域の外になるように駆動周波数を変更することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記算出手段は、顔信頼度、表情検出情報、個人認証の登録情報、のいずれか1つ以上の顔情報に基づいて、被写体重要度を算出することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記算出手段は、予め登録された被写体を認識した結果に基づいて、被写体重要度を算出することを特徴とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  6. 前記算出手段は、画像の色または輝度の少なくともいずれかに基づいて、被写体重要度を算出することを特徴とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  7. シーンを検出するシーン検出手段をさらに有し、
    前記算出手段は、シーンを検出した結果に基づいて、被写体重要度を算出することを特徴とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  8. 前記画像の動き情報を検出する動き検出手段をさらに有し、
    前記算出手段は、動き情報の検出結果に基づいて、被写体重要度を算出することを特徴とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  9. 音声情報データから音声方向の検出と、音声レベルの検出と、音声認識の検出の少なくともいずれか1つの音声情報の取得を行う音声検出手段をさらに有し、
    前記算出手段は、前記音声情報に基づいて、被写体重要度を算出することを特徴とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  10. 前記算出手段は、予め設定された個人認証登録された被写体の過去撮影枚数、予め設定された被写体を認識した過去撮影枚数、予め設定されたシーンの過去撮影枚数、のいずれか一つ以上の過去撮影枚数の情報に基づいて、被写体重要度を算出することを特徴とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  11. 最後に探索されたときからの経過時間に基づいて、被写体重要度を算出することを特徴とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  12. 撮像装置の振動状態を判定する状態判定手段をさらに有し、
    前記被写体重要度は、撮像装置の振動状態に応じて変更されることを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
  13. 前記撮像手段により生成された画像を記録するか否かを制御する制御手段をさらに有し、
    前記決定手段は、画像を記録しない場合は、前記被写体重要度によらずに前記振動波モータの駆動信号の駆動周波数を決定することを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。
  14. 前記振動波モータは、振動子が超音波領域の周波数の振動をする超音波モータであることを特徴とする請求項1乃至13のいずれか1項に記載の撮像装置。
  15. 被写体を撮像して画像を生成する撮像手段と、圧電素子を備えた振動波モータと、前記振動波モータの温度を検出する温度検出手段と、前記振動波モータの駆動周波数と駆動速度の関係を記憶した第1の記憶手段と、を有する撮像装置の制御方法であって、
    被写体重要度を算出する算出工程と、
    前記振動波モータの駆動周波数と駆動速度の関係に基づいて、前記振動波モータの駆動信号の駆動周波数の補正量を取得する取得工程と、
    前記被写体重要度と前記補正量に基づいて、前記振動波モータの駆動信号の駆動周波数を決定する決定工程と、を有し、
    前記取得工程では、前記温度検出手段により検出された温度と、前記振動波モータの駆動周波数と駆動速度の関係に基づいて、前記振動波モータの駆動信号の駆動周波数の補正量を取得することを特徴とする撮像装置の制御方法。
JP2020178982A 2020-10-26 2020-10-26 撮像装置、その制御方法 Pending JP2022069993A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020178982A JP2022069993A (ja) 2020-10-26 2020-10-26 撮像装置、その制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020178982A JP2022069993A (ja) 2020-10-26 2020-10-26 撮像装置、その制御方法

Publications (1)

Publication Number Publication Date
JP2022069993A true JP2022069993A (ja) 2022-05-12

Family

ID=81534199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020178982A Pending JP2022069993A (ja) 2020-10-26 2020-10-26 撮像装置、その制御方法

Country Status (1)

Country Link
JP (1) JP2022069993A (ja)

Similar Documents

Publication Publication Date Title
JP6765917B2 (ja) 探索装置及び、その撮像装置及び、探索方法
US10848662B2 (en) Image processing device and associated methodology for determining a main subject in an image
US8184965B2 (en) Imaging device
US8068164B2 (en) Face recognition auto focus apparatus for a moving image
US7860387B2 (en) Imaging apparatus and control method therefor
JP6351321B2 (ja) 光学機器、その制御方法、および制御プログラム
KR101247519B1 (ko) 화상처리장치 및 화상처리방법
JP2007081682A (ja) 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
CN110022433A (zh) 摄像设备、镜头设备及其控制方法
JP2007088644A (ja) 撮像装置及びその制御方法、コンピュータプログラム、記憶媒体
US20070058049A1 (en) Image sensing apparatus and method of controlling the same
JP5335408B2 (ja) 焦点調節装置及び方法
JP2022069993A (ja) 撮像装置、その制御方法
JP2023072383A (ja) 撮像装置及びその制御方法
JP2023085196A (ja) 駆動制御装置、撮像装置、及び制御方法
JP2023032608A (ja) 電子機器、撮像装置、および駆動制御方法
JP2023180547A (ja) 撮像装置およびその制御方法
JP2023073078A (ja) 撮像装置及びその制御方法
US20230179864A1 (en) Driving control apparatus, image pickup apparatus, and control method
JP6865720B2 (ja) 移動体、撮像制御方法、プログラム、及び記録媒体
JP2011059977A (ja) 撮像装置
JP7438706B2 (ja) 撮像制御装置、撮像装置、及び撮像制御方法
WO2021131573A1 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2023084845A (ja) 撮像装置及びその制御方法
JP5737637B2 (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20201105