JP2022095433A - 光学機器および生成方法 - Google Patents
光学機器および生成方法 Download PDFInfo
- Publication number
- JP2022095433A JP2022095433A JP2020208760A JP2020208760A JP2022095433A JP 2022095433 A JP2022095433 A JP 2022095433A JP 2020208760 A JP2020208760 A JP 2020208760A JP 2020208760 A JP2020208760 A JP 2020208760A JP 2022095433 A JP2022095433 A JP 2022095433A
- Authority
- JP
- Japan
- Prior art keywords
- level
- user
- request
- focus
- reward
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims description 38
- 230000008859 change Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims description 50
- 230000004043 responsiveness Effects 0.000 claims description 39
- 238000010801 machine learning Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 18
- 230000001419 dependent effect Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 56
- 238000007726 management method Methods 0.000 description 56
- 238000006243 chemical reaction Methods 0.000 description 44
- 230000001133 acceleration Effects 0.000 description 40
- 238000004422 calculation algorithm Methods 0.000 description 31
- 238000012937 correction Methods 0.000 description 19
- 230000035945 sensitivity Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 238000013500 data storage Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000010687 lubricating oil Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/282—Autofocusing of zoom lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Lens Barrels (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
【課題】機械学習モデルを生成するための報酬の情報を生成するのに有利な光学機器を提供する。【解決手段】光学機器200は、アクチュエータ105による光学部材の駆動に関する要求をユーザが設定するための設定部205、206、226と、要求のレベルに基づいて、駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する処理部220とを有する。設定部は記要求のレベルを変更することを入力するためのものである。【選択図】図1
Description
本発明は、光学機器および生成方法に関する。
TVカメラやデジタルカメラ等の撮像装置においてアクチュエータによりレンズや絞り等の光学部材を駆動する場合には、被写体の状態や、求められるピント精度、撮像を行う環境、撮像時間等の様々な要因により、駆動速度、位置精度、消費電力、静音等の駆動性能に対する優先度が変わり得る。特許文献1には、駆動の速度や加速度を制限することにより、光学部材の駆動をより静音で行えるレンズ装置が開示されている。
ユーザの要求に適した光学部材の駆動を行うには、ユーザの要求に基づく機械学習により得られた機械学習モデルを用い得る。該機械学習を行うのに用いる報酬をユーザが適切に設定するのは困難である。
本発明は、例えば、機械学習モデルを生成するための報酬の情報を生成するのに有利な光学機器を提供することを目的とする。
本発明の一側面としての光学機器は、アクチュエータによる光学部材の駆動に関する要求をユーザが設定するための設定部と、要求のレベルに基づいて、駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する処理部とを有する。設定部は記要求のレベルを変更することを入力するためのものであることを特徴とする。
また、本発明の他の一側面は、アクチュエータによる光学部材の駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する生成方法である。該生成方法では、駆動に関する要求をユーザに設定させ、要求のレベルに基づいて、報酬の情報を生成する。設定は、前記要求のレベルを変更することを入力することであることを特徴とする。なお、上記生成方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。
本発明によれば、例えば、機械学習モデルを生成するための報酬の情報を生成するのに有利な光学機器を提供することができる。
以下、本発明の実施例について図面を参照しながら説明する。
<システム構成>
図1には、本発明の実施例1である撮像システム(以下、カメラシステムという)の構成を示している。カメラシステムは、光学機器としての撮像装置(以下、カメラ本体という)200と、該カメラ本体200に対して着脱可能なアクセサリとしてのレンズ装置(以下、単にレンズという)100とにより構成されている。カメラ本体200とレンズ100は結合機構であるマウント300を介して機械的および電気的に接続されている。カメラ本体200は、マウント300に設けられた不図示の電源端子部を介してレンズ100に電源を供給する。また、カメラ本体200とレンズ100はマウント300に設けられた不図示の通信端子部を介して相互に通信を行う。本実施例では、レンズ装置とカメラ本体がマウントを介して接続される場合を示すが、カメラ本体にレンズを一体に設けてもよい。
図1には、本発明の実施例1である撮像システム(以下、カメラシステムという)の構成を示している。カメラシステムは、光学機器としての撮像装置(以下、カメラ本体という)200と、該カメラ本体200に対して着脱可能なアクセサリとしてのレンズ装置(以下、単にレンズという)100とにより構成されている。カメラ本体200とレンズ100は結合機構であるマウント300を介して機械的および電気的に接続されている。カメラ本体200は、マウント300に設けられた不図示の電源端子部を介してレンズ100に電源を供給する。また、カメラ本体200とレンズ100はマウント300に設けられた不図示の通信端子部を介して相互に通信を行う。本実施例では、レンズ装置とカメラ本体がマウントを介して接続される場合を示すが、カメラ本体にレンズを一体に設けてもよい。
レンズ100は、不図示の被写体からの光を結像させる撮像光学系を有する。撮像光学系は、焦点調節を行うフォーカスレンズ101、変倍を行うズームレンズ102、光量を調節する絞りユニット103および像振れ補正を行う補正レンズ104を含む。フォーカスレンズ101、ズームレンズ102、絞りユニット103および補正レンズ104は光学部材に相当する。フォーカスレンズ101とズームレンズ102は、不図示のレンズ保持枠によって保持されている。レンズ保持枠は、不図示のガイド軸により撮像光学系の光軸(図中に破線で示す)が延びる方向である光軸方向に移動可能にガイドされている。
フォーカスレンズ101は、フォーカスレンズ駆動部105により光軸方向に駆動され、その位置はフォーカスレンズ検出部106によって検出される。ズームレンズ102は、ズームレンズ駆動部107によって光軸方向に駆動され、その位置はズームレンズ検出部108によって検出される。
絞りユニット103は、複数の絞り羽根が絞り駆動部109により開閉方向に駆動されることで光量調節を行う。絞りユニット103のF値は、絞り検出部110によって検出される。
補正レンズ104は、補正レンズ駆動部112によって光軸に直交する方向に駆動され、手振れ等のカメラ振れに起因する像振れを低減(補正)する。補正レンズ104の位置は、補正レンズ検出部113によって検出される。
フォーカスレンズ駆動部105、ズームレンズ駆動部107、絞り駆動部109および補正レンズ駆動部112は、振動型モータ、DCモータ、ステッピングモータおよびボイスコイルモータ等のアクチュエータとその駆動回路を含む。
フォーカスレンズ検出部106、ズームレンズ検出部108、絞り検出部110および補正レンズ検出部113は、ポテンションメータやエンコーダ等の位置センサを用いて構成されている。また、駆動部がステッピングモータのように印加される駆動パルスをカウントすることで駆動量を取得できるアクチュエータを含む場合は、初期位置を検出するフォトインタラプタ等のセンサと駆動パルス数をカウントするカウンタとにより検出部を構成してもよい。
振れセンサ111は、ジャイロセンサ等により構成され。手振れ等によるレンズ100の振れ(カメラ振れ)を検出する。
レンズマイクロコンピュータ(以下、レンズマイコンという)120は、CPU等により構成され、NN制御部(制御手段)121、レンズ情報決定部122、NNデータ記憶部123、動作ログ管理部124、レンズ制御部125および通信部126を有する。
NN制御部121は、フォーカスレンズ101の位置を制御する。NN制御部121の内部には、ニューラルネットワーク(NN)アルゴリズムが実装されている。NN制御部121は、機械学習パラメータを用いたNNアルゴリズムによりフォーカスレンズ101を駆動するためのフォーカス駆動信号を生成する。レンズ情報決定部122は、NN制御部121が使用するレンズ情報を決定する。NNデータ記憶部123は、NNアルゴリズムにて用いられるウエイトを保持する。動作ログ管理部124は、フォーカスレンズ101の駆動制御に関する動作ログ情報を管理する。NNアルゴリズム、ウエイト、レンズ情報および動作ログ情報については後述する。
レンズ制御部125は、ズームレンズ102、絞りユニット103および補正レンズ104のそれぞれの位置を制御したり、レンズ100とカメラ本体200との間の情報伝達を制御したりする。レンズ制御部125は、例えば、制御対象の目標位置または速度と現在の位置または速度との偏差に応じてPID制御により駆動指令を生成する。通信部126は、カメラ本体200との通信を行う。
カメラ本体200は、撮像素子201、A/D変換回路202、信号処理回路203、記録部204、表示部(表示手段)205、操作部206、カメラマイクロコンピュータ(以下、カメラマイコンという)210および学習プロセッサ220を有する。
撮像素子201は、レンズ100の撮像光学系から入射した光により形成される被写体像を電気信号に変換するCCDセンサやCMOSセンサ等の光電変換素子である。A/D変換回路202は、撮像素子201から出力された電気信号をデジタル信号に変換する。信号処理回路203は、A/D変換回路202から出力されたデジタル信号を映像データに変換する。記録部204は、映像データを記録する。表示部205は、LCDパネルまたは有機ELパネル等のディスプレイデバイスにより構成され、映像データに対応する映像や後述するユーザ要望入力画像を表示する。操作部206は、ユーザにより操作される各種操作部材を有する。
カメラマイコン210は、CPU等により構成され、カメラ本体200を制御する。カメラマイコン210は、カメラ制御部211および通信部212を有する。カメラ制御部211は、信号処理回路203からの映像データおよび操作部206からの操作情報に基づいてレンズ100への駆動指令を行う。また制御部211は、学習プロセッサ220に対する指令や情報伝達を制御する。通信部212は、カメラ制御部211からの駆動指令を制御コマンドとしてレンズ100に送信したり、レンズ100からの情報を受信したりする。
学習プロセッサ(処理部)220は、コンピュータとして機能するプロセッサ(CPU、GPU等)、記憶装置(ROM、RAM、HDD等)により構成されている。プロセッサは、コンピュータプログラムに従って、機械学習部(生成部)221、機器制約報酬管理部224、報酬管理部223、ユーザ要望報酬管理部225およびユーザ要望入力管理部(表示制御部)226の処理を実行する。記憶装置には、これらを制御するためのコンピュータプログラムや、動作ログ保持部222が保持している動作ログ情報が記憶されている。さらに記憶装置には、報酬管理部223が管理している報酬情報、機器制約報酬管理部224が管理している機器制約報酬情報、ユーザ要望報酬管理部225が管理しているユーザ要望報酬情報およびユーザ要望報酬変換情報等が保持されている。報酬情報、機器制約報酬情報、ユーザ要望報酬情報およびユーザ要望報酬変換情報については後述する。
<フォーカス制御>
カメラ制御部211は、信号処理回路203から出力された映像データを用いてフォーカスレンズ101の駆動を制御するオートフォーカス制御(以下、単にフォーカス制御という)を行う。具体的には、カメラ制御部211は、映像データのコントラストの明暗差が最も大きくなるようにフォーカスレンズ101の位置を制御して被写体にピントを合わせる。カメラ制御部211は、フォーカスレンズ101の目標位置をフォーカス駆動指令として通信部212に出力する。通信部212は、フォーカス駆動指令を制御コマンドに変換してレンズ100に送信する。
<フォーカス制御>
カメラ制御部211は、信号処理回路203から出力された映像データを用いてフォーカスレンズ101の駆動を制御するオートフォーカス制御(以下、単にフォーカス制御という)を行う。具体的には、カメラ制御部211は、映像データのコントラストの明暗差が最も大きくなるようにフォーカスレンズ101の位置を制御して被写体にピントを合わせる。カメラ制御部211は、フォーカスレンズ101の目標位置をフォーカス駆動指令として通信部212に出力する。通信部212は、フォーカス駆動指令を制御コマンドに変換してレンズ100に送信する。
レンズ100の通信部126は、受信した制御コマンドをフォーカス駆動指令に変換し、レンズ制御部125を介してNN制御部121に出力する。NN制御部121は、フォーカス駆動指令に応じて、NNデータ記憶部123に記憶されている学習済みのウエイトを用いてフォーカス駆動信号を生成し、これをフォーカスレンズ駆動部105に出力してフォーカスレンズ101を駆動させる。NN制御部121がフォーカス駆動信号を生成する方法については、後述する。
<絞り制御>
カメラ制御部211は、信号処理回路203から出力された映像データを用いて絞りユニット103の駆動を制御する露出制御を行う。具体的には、カメラ制御部211は、映像データの輝度値が一定となるように目標F値(絞り羽根の目標位置)を決定し、該目標F値を示す絞り駆動指令を通信部212に出力する。通信部212は、絞り駆動指令を制御コマンドに変換してレンズ100に送信する。レンズ100の通信部126は、受信した制御コマンドを絞り駆動指令に変換してレンズ制御部125に出力する。レンズ制御部125は、絞り駆動指令と絞り検出部110により検出された現在のF値とに基づいて絞り駆動信号を生成し、これを絞り駆動部109出力して絞りユニット103を駆動させる。
<ズーム制御>
ユーザが操作部206においてズーム操作を行うと、カメラ制御部211は、操作部206から出力されたズーム操作量に応じたズーム駆動量を示すズーム駆動指令を通信部212に出力する。通信部212は、ズーム駆動指令を制御コマンドに変換してレンズ100に送信する。レンズ100の通信部126は、受信した制御コマンドをズーム駆動指令に変換してレンズ制御部125に出力する。レンズ制御部125は、ズーム駆動指令とズームレンズ検出部108により検出された現在のズームレンズ102の位置とに基づいてズーム駆動信号を生成し、これをズームレンズ駆動部107に出力してズームレンズ102を駆動させる。
<振れ補正制御>
レンズ制御部125は、振れセンサ111からの出力信号により得られたカメラ振れによる像振れを打ち消すように、補正レンズ104の目標位置を決定する。レンズ制御部125は、目標位置と補正レンズ検出部113により検出された現在の補正レンズ104の位置とに基づいて補正駆動信号を生成し、これを補正レンズ駆動部112に出力して補正レンズ104を駆動させる。
<フォーカス制御に要求される事項>
フォーカス制御には、フォーカスレンズ101の位置精度、駆動速度、消費電力および静音という4つの要求事項があり、これらの要求事項のバランスが良くなるようにフォーカスレンズ101の駆動を制御することが求められる。
<絞り制御>
カメラ制御部211は、信号処理回路203から出力された映像データを用いて絞りユニット103の駆動を制御する露出制御を行う。具体的には、カメラ制御部211は、映像データの輝度値が一定となるように目標F値(絞り羽根の目標位置)を決定し、該目標F値を示す絞り駆動指令を通信部212に出力する。通信部212は、絞り駆動指令を制御コマンドに変換してレンズ100に送信する。レンズ100の通信部126は、受信した制御コマンドを絞り駆動指令に変換してレンズ制御部125に出力する。レンズ制御部125は、絞り駆動指令と絞り検出部110により検出された現在のF値とに基づいて絞り駆動信号を生成し、これを絞り駆動部109出力して絞りユニット103を駆動させる。
<ズーム制御>
ユーザが操作部206においてズーム操作を行うと、カメラ制御部211は、操作部206から出力されたズーム操作量に応じたズーム駆動量を示すズーム駆動指令を通信部212に出力する。通信部212は、ズーム駆動指令を制御コマンドに変換してレンズ100に送信する。レンズ100の通信部126は、受信した制御コマンドをズーム駆動指令に変換してレンズ制御部125に出力する。レンズ制御部125は、ズーム駆動指令とズームレンズ検出部108により検出された現在のズームレンズ102の位置とに基づいてズーム駆動信号を生成し、これをズームレンズ駆動部107に出力してズームレンズ102を駆動させる。
<振れ補正制御>
レンズ制御部125は、振れセンサ111からの出力信号により得られたカメラ振れによる像振れを打ち消すように、補正レンズ104の目標位置を決定する。レンズ制御部125は、目標位置と補正レンズ検出部113により検出された現在の補正レンズ104の位置とに基づいて補正駆動信号を生成し、これを補正レンズ駆動部112に出力して補正レンズ104を駆動させる。
<フォーカス制御に要求される事項>
フォーカス制御には、フォーカスレンズ101の位置精度、駆動速度、消費電力および静音という4つの要求事項があり、これらの要求事項のバランスが良くなるようにフォーカスレンズ101の駆動を制御することが求められる。
位置精度は、フォーカスレンズ101を目標位置へ駆動する際に、目標位置に対してどれだけ正確に駆動できるかを表す。図2(a)、(b)はそれぞれ、焦点深度が浅い場合と深い場合におけるフォーカスレンズとピント位置との関係を示している。これらの図は、撮像光学系の構成は同じでF値のみが異なる場合の上記関係を示している。
<位置精度>
目標位置Gは、光軸上の被写体としての点物体Sの光学像である被写体像(以下、点物体像という)が、撮像素子201上に合焦状態にて結像するフォーカスレンズの位置を示している。フォーカスレンズの実位置Cは、フォーカスレンズを目標位置Gに向けて駆動した後のフォーカスレンズの位置を示している。実位置Cは、目標位置Gに対して制御誤差Eだけ点物体S側の位置となっている。ピント位置Bpは、フォーカスレンズが実位置Cにあるときの点物体像の結像位置を示している。錯乱円δは撮像素子201の錯乱円である。
<位置精度>
目標位置Gは、光軸上の被写体としての点物体Sの光学像である被写体像(以下、点物体像という)が、撮像素子201上に合焦状態にて結像するフォーカスレンズの位置を示している。フォーカスレンズの実位置Cは、フォーカスレンズを目標位置Gに向けて駆動した後のフォーカスレンズの位置を示している。実位置Cは、目標位置Gに対して制御誤差Eだけ点物体S側の位置となっている。ピント位置Bpは、フォーカスレンズが実位置Cにあるときの点物体像の結像位置を示している。錯乱円δは撮像素子201の錯乱円である。
図2(a)におけるF値Faは、図2(b)におけるF値Fbよりも小さい(明るい)値となっている。このため、図2(a)における焦点深度幅2Faδは、図2(b)における焦点深度幅2Fbδよりも狭くなっている。図2(a)における光線Caと光線Gaはそれぞれ、実位置Cと目標位置Gにあるフォーカスレンズを通過する点物体Sからの光線のうち最も外側の光線を示している。図2(b)における光線Cbと光線Gbはそれぞれ、実位置Cと目標位置Gにあるフォーカスレンズを通貨する点物体Sからの光線のうち最も外側の光線を示している。図2(a)において、点像直径Iaは、フォーカスレンズが実位置Cにあるときの撮像素子201上での点物体像の直径を示す。図2(b)において、点像直径Ibは、フォーカスレンズが実位置Cにあるときの撮像素子201上での点物体像の直径を示す。
図2(a)において、フォーカスレンズが実位置Cにあるとき、ピント位置Bpは焦点深度幅2Faδの範囲外となっている。また、点像直径Iaは錯乱円δより大きく、点物体像は撮像素子201の中心の画素に収まらず、その隣の画素上にはみ出している(すなわち、点物体Sからの光線が中心の画素と隣の画素に入射している)。このため、フォーカスレンズが実位置Cにある状態において、点物体Sに対する非合焦状態となる。
一方、図2(b)において、フォーカスレンズが実位置Cにあるとき、ピント位置Bpは焦点深度幅2Fbδの範囲内となっている。また、点像直径Ibは錯乱円δより小さく、撮像素子201の中心の画素内に収まっている(すなわち、点物体Sからの光線のすべてが中心の画素に入射している)。このため、フォーカスレンズが実位置Cにある状態において、点物体Sに対する合焦状態となる。
このように、フォーカスレンズ101の位置精度が同じであっても、F値等の撮像条件によって合焦状態となったりならなかったりする。つまり、撮像条件に応じて、求められるフォーカスレンズ101の位置精度が変化する。
<駆動速度>
フォーカスレンズ101の駆動速度は、フォーカスレンズ101の単位時間当たりの移動量である。以下の説明において、フォーカスレンズ101の移動量をレンズ移動量といい、結像位置(像面)の光軸方向での移動量をピント移動量、像面の移動速度をピント移動速度という。レンズ移動量はピント移動量と比例関係にある。この比例定数をフォーカス敏感度という。フォーカス敏感度は撮像光学系を構成する複数のレンズの位置関係によって変化する。ピント移動量ΔBp、フォーカス敏感度Seおよびレンズ移動量ΔPは、式(1)に示す関係を有する。
ΔBp=Se×ΔP (1)
図3(a)、(b)はそれぞれ、(a)フォーカス敏感度Seが大きい場合と(b)フォーカス敏感度Seが小さい場合におけるフォーカスレンズの位置とピント位置との関係を示している。図3(a)、(b)は、撮像光学系の構成は同じで、フォーカスレンズ(つまりは撮像光学系)から点物体Sまでの距離が異なる場合を示している。
<駆動速度>
フォーカスレンズ101の駆動速度は、フォーカスレンズ101の単位時間当たりの移動量である。以下の説明において、フォーカスレンズ101の移動量をレンズ移動量といい、結像位置(像面)の光軸方向での移動量をピント移動量、像面の移動速度をピント移動速度という。レンズ移動量はピント移動量と比例関係にある。この比例定数をフォーカス敏感度という。フォーカス敏感度は撮像光学系を構成する複数のレンズの位置関係によって変化する。ピント移動量ΔBp、フォーカス敏感度Seおよびレンズ移動量ΔPは、式(1)に示す関係を有する。
ΔBp=Se×ΔP (1)
図3(a)、(b)はそれぞれ、(a)フォーカス敏感度Seが大きい場合と(b)フォーカス敏感度Seが小さい場合におけるフォーカスレンズの位置とピント位置との関係を示している。図3(a)、(b)は、撮像光学系の構成は同じで、フォーカスレンズ(つまりは撮像光学系)から点物体Sまでの距離が異なる場合を示している。
図3(a)において、ピント位置をBp1からBp2に移動させるには、フォーカスレンズの位置をPa1からPa2に移動させる必要がある。このとき、レンズ移動量ΔPaとピント移動量ΔBpは、式(1)に示した関係を有する。
図3(b)において、ピント位置をBp1からBp2へ移動させるには、フォーカスレンズの位置をPb1からPb2に移動させる必要がある。このとき、レンズ移動量ΔPbとピント移動量ΔBpも、式(1)に示した関係を有する。
図3(a)におけるフォーカス敏感度が図3(b)におけるフォーカス敏感度より小さいため、同じピント移動量ΔBpを得るために必要となるレンズ移動量ΔPaは、図3の(a)の方が大きくなる。つまり、図3(a)の場合に比べ、図3(b)の場合は、単位時間当たりのレンズ移動量を少なくすることができるため、フォーカスレンズの駆動速度を遅くしてもピント移動速度は同じになる。
このように、あるピント移動速度を得るために必要となるフォーカスレンズ101の駆動速度は撮像条件によって異なる。つまり、撮像条件に応じて、求められるフォーカスレンズ101の駆動速度が変化する。
<消費電力>
フォーカスレンズ101を駆動するために消費される電力である消費電力は、フォーカスレンズ101の駆動時間、駆動速度または駆動加速度の変化に応じて変化する。駆動時間が長いほど、駆動速度が速いほどまたは駆動加速度の変化が大きいほど消費電力が多くなる。
<消費電力>
フォーカスレンズ101を駆動するために消費される電力である消費電力は、フォーカスレンズ101の駆動時間、駆動速度または駆動加速度の変化に応じて変化する。駆動時間が長いほど、駆動速度が速いほどまたは駆動加速度の変化が大きいほど消費電力が多くなる。
一方、消費電力を抑えることで、カメラ本体200におけるバッテリ容量を有効活用することが可能になり、1回の充電で撮像可能な画像数を増やしたり、バッテリをより小型化したりすることが可能になる。
<静音>
フォーカスレンズ101を駆動する際に、振動や摩擦等により駆動音が発生する。駆動音は、駆動速度や駆動加速度の変化に応じて変化する。駆動速度が速いほど、駆動加速度の変化が大きいほど駆動音が大きくなる。また、フォーカスレンズ101が停止する時間が長いほど、駆動音が発生しない時間が長くなる。
<静音>
フォーカスレンズ101を駆動する際に、振動や摩擦等により駆動音が発生する。駆動音は、駆動速度や駆動加速度の変化に応じて変化する。駆動速度が速いほど、駆動加速度の変化が大きいほど駆動音が大きくなる。また、フォーカスレンズ101が停止する時間が長いほど、駆動音が発生しない時間が長くなる。
周囲が静かな場所での撮像においては、駆動音が目立ち、録音が行われる動画撮像時には不要な駆動音が収録される。このため、撮像条件(周囲環境)によっては、フォーカスレンズ101の駆動により発生する駆動音をできるだけ少なくする静音駆動が要求される。
<位置精度と、駆動速度、消費電力および静音との関係>
図4(a)、(b)はそれぞれ、(a)焦点深度が浅い場合と(b)焦点深度が深い場合における、動く被写体に対して合焦状態を維持するためのフォーカスレンズ101の移動を示している。各図の横軸は時間経過を、縦軸はフォーカスレンズ101の位置を示す。フォーカスレンズ101の位置が上側に移動するほど無限遠側にある被写体に対して合焦状態となり、下側に移動するほど至近側にある被写体に対して合焦状態となる。
<位置精度と、駆動速度、消費電力および静音との関係>
図4(a)、(b)はそれぞれ、(a)焦点深度が浅い場合と(b)焦点深度が深い場合における、動く被写体に対して合焦状態を維持するためのフォーカスレンズ101の移動を示している。各図の横軸は時間経過を、縦軸はフォーカスレンズ101の位置を示す。フォーカスレンズ101の位置が上側に移動するほど無限遠側にある被写体に対して合焦状態となり、下側に移動するほど至近側にある被写体に対して合焦状態となる。
フォーカスレンズ101の目標位置Gは、ピント位置が撮像素子201上となるフォーカスレンズ101の合焦位置を示す。図4(a)、(b)における焦点深度はそれぞれ、2Faδと2Fbδである。図4(a)において、目標位置Gを中心として合焦状態が得られる焦点深度の無限遠側の端をGalimI、至近側の端をGalimMで示す。図4(b)において、目標位置Gを中心とする焦点深度の無限遠側の端をGblimI、至近側の端をGblimMで示す。図4の(a)、(b)におけるCaとCbはそれぞれ、被写体が焦点深度内に収まるように位置が制御されたフォーカスレンズ101の移動軌跡を示している。
図4(a)では焦点深度が深いため、フォーカスレンズ101が移動軌跡Caを描くようにその移動が制御されても、被写体に対する合焦状態が維持される。一方、図4(b)では図4(a)に比べて焦点深度が浅いため、フォーカスレンズ101の移動を図4(a)に比べて目標位置Gとの偏差が小さい移動軌跡Cbを描くように制御すれば、被写体に対する合焦状態が維持される。ただし、図4(a)の移動軌跡Caの方が図4(b)の移動軌跡Cbに比べてカーブが緩やかであり、このため図4(a)の場合の方が図4(b)の場合に比べてフォーカスレンズ101の駆動量と駆動速度を小さくすることができる。したがって、求められる位置精度が低い撮像条件下においては、フォーカスレンズ101を低速、低消費電力かつ静音で駆動することができる。
<駆動速度と位置精度、消費電力および静音との関係>
図5(a)、(b)の横軸は時間経過を示し、縦軸はフォーカスレンズ101の位置を示す。図5(a)は、フォーカスレンズ101を図3(a)に示した位置Pa1からPa2までの駆動量ΔPaだけ時間T0~T1の間に駆動したときのフォーカスレンズ101の移動軌跡Caを示している。図5(b)は、フォーカスレンズ101を図3(b)に示した位置Pb1からPb2までの駆動量ΔPbだけ時間T0~T1の間に駆動したときのフォーカスレンズ101の移動軌跡Cbを示している。図3(a)、(b)に示したように、フォーカスレンズ101が位置Pa1からPa2へ移動したときのピント移動量ΔBpと、位置Pb1からPb2へ移動したときのピント移動量ΔBpとは互いに同じである。図5(a)、(b)における移動軌跡Ca、Cbの傾きはフォーカスレンズ101の駆動速度を示す。
<駆動速度と位置精度、消費電力および静音との関係>
図5(a)、(b)の横軸は時間経過を示し、縦軸はフォーカスレンズ101の位置を示す。図5(a)は、フォーカスレンズ101を図3(a)に示した位置Pa1からPa2までの駆動量ΔPaだけ時間T0~T1の間に駆動したときのフォーカスレンズ101の移動軌跡Caを示している。図5(b)は、フォーカスレンズ101を図3(b)に示した位置Pb1からPb2までの駆動量ΔPbだけ時間T0~T1の間に駆動したときのフォーカスレンズ101の移動軌跡Cbを示している。図3(a)、(b)に示したように、フォーカスレンズ101が位置Pa1からPa2へ移動したときのピント移動量ΔBpと、位置Pb1からPb2へ移動したときのピント移動量ΔBpとは互いに同じである。図5(a)、(b)における移動軌跡Ca、Cbの傾きはフォーカスレンズ101の駆動速度を示す。
図5(a)、(b)から分かるように、時間T0~T1の間に同じピント移動量ΔBpだけピント位置を移動させるためのフォーカスレンズ101の駆動速度は、図5(a)の場合の方が図5(b)の場合に比べて速くなる。また、図5(a)の場合は、図5(b)の場合に比べてフォーカスレンズ101の駆動速度が速いため、フォーカスレンズ101が目標位置であるPa2に到達した後、位置が安定するまでにある程度の時間が必要となる。一方、図5(b)の場合は、図5(a)の場合に比べてフォーカスレンズ101の駆動速度が遅いため、フォーカスレンズ101が目標位置であるPb2に到達した後、直ぐに位置が安定する。このことは、フォーカスレンズ101の位置精度に影響する。また、フォーカスレンズ101を速く駆動したり、停止時における加速度の変化が大きくなったりするため、図5(a)の場合は図5(b)の場合に比べて消費電力が多くなり、駆動音も大きくなる。したがって、求められる駆動速度が遅い撮像条件下においては、フォーカスレンズ101を高い位置精度、低消費電力かつ静音で駆動することができる。
以上説明したように、フォーカス制御における4つの要求事項のバランスが良くよるようにフォーカス制御を行うためには、フォーカスレンズ101に対して求められる位置精度と、フォーカスレンズ101の駆動速度を決めるための前述したレンズ情報とを用いる必要がある。
以上説明したように、フォーカス制御における4つの要求事項のバランスが良くよるようにフォーカス制御を行うためには、フォーカスレンズ101に対して求められる位置精度と、フォーカスレンズ101の駆動速度を決めるための前述したレンズ情報とを用いる必要がある。
レンズ情報は、レンズ情報決定部122により決定される。レンズ情報は、フォーカス制御により撮影映像が受ける影響に関する情報であり、例えば、焦点深度やフォーカス敏感度に関する情報である。焦点深度やフォーカス敏感度に関する情報は、これらを直接示す情報であってもよいし、焦点深度やフォーカス敏感度に変換可能な情報であってもよい。
レンズ情報決定部122は、現在のF値と錯乱円の情報から焦点深度を決定する。さらにレンズ情報決定部122は、フォーカス敏感度とフォーカスレンズ101およびズームレンズ102の位置との関係を示す予め保持した不図示の変換テーブルを用いて、フォーカスレンズ101およびズームレンズ102の位置からフォーカス敏感度を決定する。これらのレンズ情報を用いることで、フォーカス制御により撮像映像が受ける影響を加味して、位置精度、駆動速度、消費電力および静音のそれぞれの要求事項のバランスが良くなるようにフォーカスレンズ101の駆動を制御することができる。NN制御部121は、レンズ情報を用いたNNアルゴリズムによってフォーカス制御を行う。
<NNアルゴリズムとウエイト>
NNアルゴリズムが実装されたNN制御部121は、NNデータ記憶部123に記録されたNNの特徴量かつ結合重み係数であるウエイトを参照し、ウエイトを用いたNNアルゴリズムによりフォーカス駆動信号を生成する。ウエイトの作成方法については後述する。
<NNアルゴリズムとウエイト>
NNアルゴリズムが実装されたNN制御部121は、NNデータ記憶部123に記録されたNNの特徴量かつ結合重み係数であるウエイトを参照し、ウエイトを用いたNNアルゴリズムによりフォーカス駆動信号を生成する。ウエイトの作成方法については後述する。
図6は、NNアルゴリズムを用いた機械学習モデル(学習済モデル)を備えたNN制御部121の入出力構造を概念的に示している。X1はレンズ制御部125から入力されたフォーカス駆動指令としての目標位置である。X2はフォーカスレンズ検出部106から得られたフォーカスレンズ101の現在位置(実位置)である。X3はレンズ情報としての焦点深度であり、X4はレンズ装置としてのフォーカス敏感度である。Y1は出力としてのフォーカス駆動信号である。このように、NN制御部121は、フォーカスレンズ101の目標位置、フォーカスレンズ101の現在位置、焦点深度およびフォーカス敏感度を入力として、学習モデルからの出力としてのフォーカス駆動信号を決定(生成)する。
<ウエイトの作成方法>
ユーザが操作部206において機械学習の実行を示す操作を行うと、機械学習実行指令がカメラ制御部211を介して機械学習部221に伝えられる。機械学習部221は、該指令に応じて機械学習を開始する。
<ウエイトの作成方法>
ユーザが操作部206において機械学習の実行を示す操作を行うと、機械学習実行指令がカメラ制御部211を介して機械学習部221に伝えられる。機械学習部221は、該指令に応じて機械学習を開始する。
図7のフローチャートは、機械学習の流れを示している。機械学習部221は、コンピュータプログラムに従って機械学習を行う。ステップS101において、機械学習部221は、カメラ制御部211に対してウエイトの初期値を出力する。ウエイトの初期値を受け取ったカメラ制御部211は、レンズ制御部125にウエイトの初期値を送信する。ウエイトの初期値を受信したレンズ制御部125は、該ウエイトの初期値をNNデータ記憶部123に設定する。
次にステップS102において、機械学習部221は、カメラ制御部211に対して、フォーカス駆動指令(目標位置)と動作ログ情報の取得を要求する。該要求を受け取ったカメラ制御部211は、レンズ制御部125に対してフォーカス駆動指令と動作ログ情報の取得を要求する。フォーカス駆動指令の取得要求を受け取ったレンズ制御部125は、カメラ制御部211から機械学習部221が出力したフォーカス駆動指令を受け取り、これをNN制御部121に出力する。NN制御部121は、NNデータ記憶部123に保持されたウエイトを用いてフォーカス駆動信号を生成し、フォーカスレンズ101の駆動を制御する。ここで、機械学習部221は、予め学習用に決められた開始位置から停止位置までの特定の駆動パターンを保持しており、該駆動パターンに従うフォーカス駆動指令を出力する。なお、これに代えて、フォーカス制御を実行してフォーカス駆動指令を出力してもよい。
また動作ログ情報の取得要求を受信したレンズ制御部125は、動作ログ管理部124に対して動作ログ情報の出力を要求する。該要求を受け取った動作ログ管理部124は、フォーカスレンズ101の駆動時における動作ログ情報をレンズ制御部125を介してカメラ制御部211に送信する。動作ログ情報については後述する。
次にステップS103において、機械学習部221は、報酬管理部223が保持している報酬情報と動作ログ保持部222が保持している動作ログ情報を用いて、NNアルゴリズムによる制御結果を点数化する。報酬情報と制御結果の点数化については後述する。
次にステップS104において、機械学習部221は、NNアルゴリズムによる制御結果の累計点数が最大化されるようにウエイトを更新する。本実施例では、ウエイトの更新に誤差逆伝搬法(Backpropagation)を使用するが、他の方法を使用してもよい。生成されたウエイトは、ステップS101と同様の手順でNNデータ記憶部123に設定される。
次にステップS105において、機械学習部221は、ウエイトの学習が完了したか否かを判定する。学習の完了は、学習(ウエイトの更新)の反復回数が規定値に達したか、または更新時の動作ログ情報中の累計点数の変化量が規定値より小さくなったか等により判定することができる。機械学習部221は、学習未完と判定した場合はステップS101へ戻って機械学習を続け、学習完了と判定した場合は機械学習を終了する。
機械学習の具体的なアルゴリズムとしては、本実施例の通り、NNを利用して学習するための特徴量と結合重み付け係数を自ら生成する深層学習(ディープラーニング)が挙げられる。また、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン等を用いてもよく、これらのアルゴリズムのうち利用可能なものを適宜選択さればよい。
なお、GPUは一般にCPUに比べてデータをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングモデルのような機械学習モデルを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。このため、機械学習部221による処理を、CPUに加えてGPUを用いて行ってもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUとが協働して演算を行うことで学習を行う。なお、機械学習部221の処理は、CPUのみ又はGPUのみにより行われてもよい。
<動作ログ情報>
動作ログ情報は、NNアルゴリズムによる制御結果の点数化する際に、点数を決める対象となる制御結果情報である。動作ログ管理部124は、図6に示したX1~X4とY1であるNNアルゴリズムの入出力情報を、NNアルゴリズムによる制御周期毎に収集して動作ログ情報として記録する。また、動作ログ管理部124は、フォーカスレンズ駆動部105の消費電力を測定する不図示の電力検出部から得られた消費電力も動作ログ情報として記録する。
<動作ログ情報>
動作ログ情報は、NNアルゴリズムによる制御結果の点数化する際に、点数を決める対象となる制御結果情報である。動作ログ管理部124は、図6に示したX1~X4とY1であるNNアルゴリズムの入出力情報を、NNアルゴリズムによる制御周期毎に収集して動作ログ情報として記録する。また、動作ログ管理部124は、フォーカスレンズ駆動部105の消費電力を測定する不図示の電力検出部から得られた消費電力も動作ログ情報として記録する。
また、動作ログ管理部124は、NN制御部121に入力されたフォーカス駆動指令やフォーカスレンズ検出部106によって検出されたフォーカスレンズ101の位置情報も動作ログ情報として記録する。さらに動作ログ管理部124は、フォーカスレンズ101の目標位置(フォーカス駆動指令)と位置情報から位置精度Eを決定し、これを動作ログ情報として記録する。加えて、動作ログ管理部124は、フォーカスレンズ101の位置情報から、フォーカスレンズ101の駆動速度と駆動加速度を算出し、これらを動作ログ情報として記録する。
動作ログ管理部124は、記録した動作ログ情報を、レンズ制御部125を介してカメラ制御部211に送信する。カメラ制御部211は、受信した動作ログ情報を動作ログ保持部222に記録する。
<報酬情報と制御結果の点数化>
報酬情報は、NNアルゴリズムによる制御結果を点数化する際における点数の基準となる情報である。報酬情報は、NNアルゴリズムによる制御結果に対して、点数の境界値とその境界値で区切られた報酬範囲毎に割り当てられた点数の情報を含む。
<報酬情報と制御結果の点数化>
報酬情報は、NNアルゴリズムによる制御結果を点数化する際における点数の基準となる情報である。報酬情報は、NNアルゴリズムによる制御結果に対して、点数の境界値とその境界値で区切られた報酬範囲毎に割り当てられた点数の情報を含む。
図8(a1)、(b1)、(c1)、(d1)はそれぞれ、NNアルゴリズムによる制御結果を示す項目である位置精度、駆動速度、駆動加速度および消費電力についての学習時における経過時間(横軸)と点数の境界値(縦軸)との関係を示している。また、図8(a2)、(b2)、(c2)、(d2)はそれぞれ、位置精度、駆動速度、駆動加速度および消費電力についての報酬情報のデータ構造を示している。報酬情報のデータは、複数の報酬範囲の境界値と、それぞれの境界値で区切られた報酬範囲で獲得できる点数とより構成されている。本実施例では、2つの境界値とこれらにより区切られた3つの報酬範囲に割り当てられた3つの点数とで構成される例を示す。
NNアルゴリズムは制御結果の獲得点数が高得点となるように学習される。このため、境界値が駆動目標(目標位置)に近いほど、より高精度な制御が行われるように学習される。例えば、位置精度の境界値が0に近い値になるほど、位置精度が0に近づく制御が行われるように学習される。また他の項目よりも点数を高くすることは、他の項目よりも学習の優先度が高いことを示す。例えば、位置精度よりも消費電力の点数を高くすることで、位置精度よりも消費電力を優先させる制御となるように学習される。
図8(a1)の縦軸は、フォーカスレンズ101の目標位置と現在位置との差である位置精度Eの値を示している。正の位置精度Eは目標位置に対して現在位置が無限遠側にあることを示し、負の位置精度Eは目標位置に対して現在位置が至近側にあることを示す。位置精度Eが0に近いほど、フォーカスレンズ101の駆動制御における位置精度が高いことを示している。
図8(a2)は、位置精度Eの報酬情報である位置精度報酬情報REのデータ構造を示している。位置精度報酬情報REは、位置精度Eの報酬範囲の境界値E1、E2と、それぞれの報酬範囲において獲得できる点数SE1、SE2、SE3により構成される。E1×-1~E1の報酬範囲をAE1とし、報酬範囲AE1を除くE2×-1~E2の報酬範囲をAE2とする。また、報酬範囲AE1、AE2以外の報酬範囲をAE3とする。位置精度Eが報酬範囲AE1、AE2、AE3内にあるときそれぞれ、図8(a2)に示す点数SE1、SE2、SE3が報酬として与えられる。ここで点数SE1、SE2、SE3の関係は、SE1>SE2>SE3となっており、位置精度Eが0に近いほど高い点数が与えられる。
図8(a1)に示すように、任意の時間TP1、TP2、Tp3のそれぞれにおける位置精度Eは報酬範囲AE2、AE3、AE1内にある。このため、時間TP1、TP2、Tp3のそれぞれにおいて獲得できる報酬は、点数SE2、SE3、SE1となる。
例えば、境界値E1としては±Fδ/2が、境界値E2としては±Fδの値が設定される。つまり、フォーカスレンズ101の目標位置に対して現在位置が焦点深度内に制御されていれば高い得点が獲得され、焦点深度外となった場合には低い点数しか獲得されない。また、フォーカスレンズ101の現在位置が目標位置に近いほど多い点数が獲得される。
図8(b1)の縦軸は、フォーカスレンズ101の駆動速度Vの値を示している。正の駆動速度Vは無限遠方向への駆動速度を示し、負の駆動速度Vは至近方向への駆動速度を示している。駆動速度Vが0に近いほど、駆動音がより小さくなる。
図8(b2)は、駆動速度の報酬情報である速度報酬情報RVのデータ構造を示している。速度報酬情報RVは、駆動速度Vの報酬範囲(点数)の境界値V1、V2と、それぞれの報酬範囲において獲得できる点数SV1、SV2、SV3により構成されている。
V1×-1~V1の報酬範囲をAV1とし、報酬範囲AV1を除くV2×-1~V2の報酬範囲AV2とする。また、報酬範囲AV1、AV2以外の報酬範囲をAV3とする。駆動速度Vが報酬範囲AV1、AV2、AV3内にあるときはそれぞれ、図8(b2)に示す点数SV1、SV2、SV3が報酬として与えられる。点数SV1、SV2、SV3の関係は、SV1>SV2>SV3となっており、駆動速度Vが0に近いほど高い点数が与えられる。
図8(b1)に示すように、時間TP1、TP2、Tp3における駆動速度Vはそれぞれ報酬範囲AV2、AV3、AV1内である。このため、時間TP1、TP2、Tp3において獲得できる報酬はそれぞれ、点数SV2、SV3、SV1となる。
例えば、V1、V2は駆動速度Vと駆動音との関係により決定され、駆動速度Vを遅くするほど、獲得できる点数が多くなるように設定される。一般に駆動速度が遅いほど、駆動音が小さくなるため、獲得された点数が高いほど、静音を重視した駆動制御が行われることを示す。
図8(c1)の縦軸は、フォーカスレンズ101の駆動加速度Aの値を示している。正の駆動加速度Aは無限遠方向への駆動加速度を示し、負の駆動加速度は至近方向への駆動加速度を示している。駆動加速度Aが0に近いほど、駆動音が小さくなる。
図8(c2)は、駆動加速度Aの報酬情報である加速度報酬情報RAのデータ構造を示している。加速度報酬情報RAは、駆動加速度Aの報酬範囲(点数)の境界値A1、A2と、それぞれの報酬範囲において獲得できる点数SA1、SA2、SA3により構成されている。
図8(c2)は、駆動加速度Aの報酬情報である加速度報酬情報RAのデータ構造を示している。加速度報酬情報RAは、駆動加速度Aの報酬範囲(点数)の境界値A1、A2と、それぞれの報酬範囲において獲得できる点数SA1、SA2、SA3により構成されている。
A1×-1~A1の報酬範囲をAA1とし、報酬範囲AA1を除くA2×-1~A2の報酬範囲をAV2とする。また、報酬範囲AA1、AA2以外の報酬範囲をAA3とする。駆動加速度Aが報酬範囲AA1、AA2、AA3内のときはそれぞれ、図8(c2)に示す点数SA1、SA2、SA3が報酬として与えられる。点数SA1、SA2、SA3の関係は、SA1>SA2>SA3となり、駆動加速度Aが0に近いほど高い点数が与えられる。
図8の(c1)が示す通り、駆動音に対して、時間TP1、TP2、Tp3における駆動加速度Aはそれぞれ報酬範囲AA1、AA3、AA2内である。このため、時間TP1、TP2、Tp3において獲得できる報酬はそれぞれ、点数SA1、SA3、SA2となる。
例えば、A1、A2は駆動加速度Aと駆動音との関係により決定され、駆動加速度Aを小さくするほど、獲得できる点数が多くなるように設定される。一般に駆動加速度が小さいほど駆動音が小さくなるため、獲得された点数が高いほど、静音を重視した駆動制御が行われることを示す。
図8(d1)の縦軸は、フォーカスレンズ101の駆動による消費電力Pの値を示している。消費電力Pが0に近いほど、消費電力が小さくなる。
図8(d2)は、消費電力Pの報酬情報である消費電力報酬情報RPのデータ構造を示している。消費電力報酬情報RPは、消費電力Pの報酬範囲(点数)の境界値P1、P2と、それぞれの報酬範囲において獲得できる点数SP1、SP2、SP3により構成されている。
0~P1の報酬範囲をAP1とし、P1~P2の報酬範囲をAP2とする。また、報酬範囲AP1、AP2以外の報酬範囲をAP3とする。消費電力Pが報酬範囲AP1、AP2、AP3内のときはそれぞれ、図8(d2)に示す点数SP1、SP2、SP3が報酬として与えられる。点数SP1、SP2、SP3の関係は、SP1>SP2>SP3となっており、消費電力Pが0に近いほど、高い点数が与えられる。
図8(d1)に示すように、時間TP1、TP2、TP3における消費電力Pはそれぞれ報酬範囲AP1、AP3、AP2内である。このため、時間TP1、TP2、TP3において獲得できる報酬はそれぞれ、点数SP1、SP3、SP2となる。
例えば、P1、P2は任意に決定され、消費電力Pを小さくするほど、獲得される点数が多くなるように設定される。このため、獲得された点数が高いほど、低消費電力を重視した駆動制御が行われることを示す。
機械学習部221は、上記報酬情報と、学習時におけるフォーカスレンズ101の駆動における動作ログ情報とを用いて、NNアルゴリズムによる制御結果を単位時間毎に点数化し、単位時間毎の点数を累計する。これにより、NNアルゴリズムによる制御結果の累計点数を決定することができる。また、位置精度(制御誤差)、駆動速度、駆動加速度および消費電力のそれぞれの得点を加算することで、NNアルゴリズムによるトータルとしての制御結果を点数化することができる。
なお、本実施例では消費電力を制御結果として用いる例について説明しているが、駆動速度および駆動加速度と消費電力との関係から得られる駆動速度や駆動加速度の制御結果を用いて消費電力に対する報酬情報を設定してもよい。また本実施例では、境界値の数を固定しているが、可変としてもよい。さらに本実施例では、点数を境界値により決定しているが、位置精度、駆動速度、駆動加速度および消費電力を点数に変換する変換関数を用いて点数化してもよい。この場合、報酬情報として境界値ではなく、変換関数とその係数が報酬情報として設定される。
<機器制約報酬情報、ユーザ要望報酬情報およびユーザ要望報酬変換情報>
図9は、機器制約報酬情報とユーザ要望報酬情報のデータ構造を示している。機器制約報酬情報は、位置精度報酬情報REb、速度報酬情報RVb、加速度報酬情報RAbおよび消費電力報酬情報RPbにより構成されている。ユーザ要望報酬情報は、位置精度報酬情報REu、速度報酬情報RVu、加速度報酬情報RAuおよび消費電力報酬情報RPuにより構成されている。
<機器制約報酬情報、ユーザ要望報酬情報およびユーザ要望報酬変換情報>
図9は、機器制約報酬情報とユーザ要望報酬情報のデータ構造を示している。機器制約報酬情報は、位置精度報酬情報REb、速度報酬情報RVb、加速度報酬情報RAbおよび消費電力報酬情報RPbにより構成されている。ユーザ要望報酬情報は、位置精度報酬情報REu、速度報酬情報RVu、加速度報酬情報RAuおよび消費電力報酬情報RPuにより構成されている。
位置精度報酬情報REbと位置精度報酬情報REuは、図8(a2)に示した位置精度報酬情報REと同じデータ構造を有する。速度報酬情報RVbと速度報酬情報RVuは、図8(b2)に示した速度報酬情報RVと同じデータ構造を有する。加速度報酬情報RAbと加速度報酬情報RAuは、図8(c2)に示した加速度報酬情報RAと同じデータ構造を有する。消費電力報酬情報RPbと消費電力報酬情報RPuは、図8(d2)に示した消費電力報酬情報RPと同じデータ構造を有する。
機器制約報酬情報は、レンズ100に固有の報酬情報であり、レンズ100に応じて予め決められた報酬情報として機器制約報酬管理部224に保持されている。ユーザ要望報酬情報は、光学部材(つまりはアクチュエータ)の駆動に関する条件(設定項目)に対するユーザの要望レベル、言い換えれば上記駆動に関するユーザの要求のレベルに応じて変更される報酬情報である。本実施例では、フォーカス制御におけるフォーカスレンズ101の駆動に対して後述する複数の設定項目が設けられている。ユーザ要望報酬情報は、ユーザ要望報酬管理部225により、ユーザ設定によって変更された要望レベルとユーザ要望報酬変換情報とに応じて決定される。
報酬管理部223は、機器制約報酬情報とユーザ要望報酬情報を合わせたものを報酬情報として管理している。
機器制約報酬情報は、レンズ100(機器)として最低限守るべき制御を規定するための報酬情報であり、ユーザ要望報酬情報よりも境界値により決定される報酬範囲が広く、期待する目標から逸脱する場合に負の値を含む低い点数が設定される。
ユーザ要望報酬情報は、ユーザ要望入力管理部226を介してユーザ設定により変更可能であり、ユーザ設定により変更された要望レベルとユーザ要望報酬変換情報とにより決定される。ユーザ要望入力管理部226は、ユーザが容易に要望レベルの設定を変更可能となるように表示部205に表示させるユーザ要望入力画像を管理(制御)する。また、ユーザ要望入力管理部226は、ユーザにより操作された操作部206からの入力に対して、要望レベルの変更を管理する。操作部206、ユーザ要望入力管理部226および表示部205により設定部が構成される。ユーザ要望入力管理部226により表示部205に表示されるユーザ要望入力画像については後述する。
NNアルゴリズムの学習においては、図8に示す通り、機器制約報酬情報とユーザ要望報酬情報のそれぞれを用いて制御結果の点数が決定され、それらの点数を加算したものが最終的な制御結果の点数として決定される。
ここで、ユーザにより設定された要望レベルに応じてユーザ要望報酬情報を決定する方法について説明する。 図10(a)~(d)は、ユーザ要望報酬変換情報のデータ構造を示している。ユーザ要望報酬変換情報は、ユーザにより設定される要望レベルと各設定項目における駆動目標との関係を示す情報に相当する。
図10(a)は、位置精度ユーザ要望報酬変換情報UREuのデータ構造を示している。位置精度ユーザ要望報酬変換情報UREuは、レベル毎に境界値と点数が異なる複数の位置精度報酬情報REuにより構成されている。
図10(b)は、静音ユーザ要望報酬変換情報URSuのデータ構造を示している。静音ユーザ要望報酬変換情報URSuは、速度ユーザ要望報酬変換情報URVuと加速度ユーザ要望報酬変換情報URAuにより構成されている。速度ユーザ要望報酬変換情報URVuと加速度ユーザ要望報酬変換情報URAuはそれぞれ、レベル毎に境界値と点数が異なる複数の速度報酬情報RVuと複数の加速度報酬情報RAuにより構成されている。
図10(c)は、消費電力ユーザ要望報酬変換情報URPuのデータ構造を示している。消費電力ユーザ要望報酬変換情報URPuは、レベル毎に境界値と点数が異なる複数の消費電力報酬情報RPuにより構成されている。
図10(d)は、応答性ユーザ要望報酬変換情報URRuのデータ構造を示している。応答性ユーザ要望報酬変換情報URRuは、それぞれレベル毎に境界値と点数が異なる複数の速度報酬情報RVuと複数の加速度報酬情報RAuにより構成されている。
位置精度ユーザ要望報酬変換情報UREu、静音ユーザ要望報酬変換情報URSu、消費電力ユーザ要望報酬変換情報URPuおよび応答性ユーザ要望報酬変換情報URRuには、ユーザの要望レベルが高い順に、レベル1、レベル2、レベル3、レベル4およびレベル5がある。また、この順で要望レベルが高い方から低くなるように境界値と点数が決定されている。具体的には、レベル1は、他のレベルに比べて境界値が設定項目における駆動目標に近い値となっており、かつ高い点数が与えられている。
ただし、応答性ユーザ要望報酬変換情報URRuでは、フォーカスレンズ101の応答性が良い、すなわち駆動速度や駆動加速度が大きい方がユーザの要望レベルとして高い方向であるため、静音ユーザ要望報酬変換情報URSuとは点数の大小が逆となる。具体的には、点数SVu1<SVu2<SVu3となり、駆動速度Vが大きいほど高い点数となる。また、点数SAu1<SAu2<SAu3となり、駆動加速度Aが大きいほど高い点数となる。
図1に示した操作部206によりユーザが設定した位置精度、静音および消費電力のそれぞれのレベル情報は、カメラ制御部211とユーザ要望入力管理部226を介してユーザ要望報酬管理部225に伝達される。ユーザ要望報酬管理部225は、自身が保持している図10(a)~(d)に示したユーザ要望報酬変換情報から、ユーザが設定した位置精度、静音、消費電力および応答性のそれぞれのレベル情報に基づいてユーザ要望報酬情報を決定する。
このように、ユーザ設定により変更された要望レベルとユーザ要望報酬情報とに基づいてNNアルゴリズムの学習が行われ、設定された要望レベルに応じた最適な制御を行うことが可能なNNアルゴリズム(機械学習モデル)が生成される。生成されたNNアルゴリズムは、カメラ制御部211からレンズ制御部125に送られ、NNデータ記憶部123に記憶されてフォーカス制御に使用される。
<ユーザ要望入力画像>
図11(a1)は、複数の設定項目としての位置精度、静音、消費電力および応答性に対するユーザの要望レベルをそのままユーザに設定(入力)させる場合における表示部205に表示されるユーザ要望入力画像の例を示している。この画像例では、ユーザが位置精度、静音、消費電力および応答性に対する要望レベルをレベル1~5のうち任意に設定可能な表示がなされている。ユーザは、操作部206を操作して希望するレベルへ設定指標(黒丸)を移動させる。
<ユーザ要望入力画像>
図11(a1)は、複数の設定項目としての位置精度、静音、消費電力および応答性に対するユーザの要望レベルをそのままユーザに設定(入力)させる場合における表示部205に表示されるユーザ要望入力画像の例を示している。この画像例では、ユーザが位置精度、静音、消費電力および応答性に対する要望レベルをレベル1~5のうち任意に設定可能な表示がなされている。ユーザは、操作部206を操作して希望するレベルへ設定指標(黒丸)を移動させる。
図11(a2)は、図11(a1)で設定された要望レベルを示している。位置精度ユーザ要望報酬変換情報UREu(以下、位置精度レベルという)はレベル4、静音ユーザ要望報酬変換情報URSu(以下、静音レベルという)はレベル1に設定されている。また、消費電力ユーザ要望報酬変換情報URPu(以下、消費電力レベルという)はレベル3、応答性ユーザ要望報酬変換情報URRu(以下、応答性レベルという)はレベル1に設定されている。この例は、ユーザが静音を最も優先度を高くしたいという要望により静音レベルを1に設定し、さらに応答性は静音よりは優先度は低いができるだけ高い方がよいと考えた場合の例である。
ただし、応答性レベルの各レベルが定量的にどのような応答性かをユーザは認識できないため、ユーザが応答性レベルをどのレベルに設定すべきかを判断することが難しい。仮に、図11(a1)のように、応答性は高いほどよいであろうと考えて応答性レベルも1に設定した場合、実際には静音と応答性には依存関係があるため、最も優先度が高い静音に対して駆動音が最も低くならず、ユーザの要望レベルを満足することができない可能性がある。よって、ユーザが適切に要望レベルを設定するには、各設定項目間の依存関係を認識しながら設定する必要があり、これは非常に困難である。
本実施例は、このような課題を解消するために、現在の要望レベルをユーザに意識させることなく、簡単に要望レベルを設定(変更)できるようにするためのユーザインターフェースを提供する。図12(a1)~(c2)は、本実施例における表示部205でのユーザ要望入力画像の例と内部設定された要望レベルとの関係を示している。
図12(a1)は、ユーザに設定を入力させる際の初期表示の例を示している。図12(a2)は、図12(a1)の初期表示状態においてユーザ要望入力管理部226で設定項目ごとに設定されている内部データとしての要望レベルを示している。ここでは、位置精度レベルが4、静音レベルが2、消費電力レベルが3、応答性レベルが5である例を示している。図12(a1)では、ユーザ要望入力管理部226で設定されている現在の要望レベルがどのレベルであるかに関わらず、基準位置としての中央位置に設定指標(黒丸)が表示されている。そして、ユーザは操作部206において各設定項目に対応する性能の要望レベルを上げる(UP)か下げる(DOWN)かのみを選択する操作をすればよいことを示す表示がなされている。言い換えれば、現在設定されている要望レベルをユーザに対して表示することなく、ユーザに要望レベルの上げと下げを選択する(すなわち要望レベルを変更する)操作を行わせる。そして、該操作をガイドするユーザ要望入力画像を表示部205に表示する。このような表示がなされることで、ユーザは、各設定項目に対応する性能を上げるか下げるかを選択するのみでよいため、簡単に要望レベルを設定することができる。
また、図12(b1)は、図12(a1)の初期表示状態から、位置精度と静音の要望レベルを上げるようにユーザ操作がなされた場合の表示例を示している。図12(b2)は、図12(b1)の状態でのユーザの要望レベルの内部データを示しており、位置精度レベルはレベル4からレベル3に変更され、静音レベルはレベル2からレベル1に変更されている。ここで各要望レベルの変更に応じて、前述したようにユーザ要望報酬管理部225にてユーザ要望報酬変換情報からユーザ要望報酬情報が決定され、NNアルゴリズムの学習が行われる。また、静音の要望レベルが上げられると、静音と依存関係にある応答性が図12(b1)に示すようにグレーアウト等することで、要望レベルの変更を不可とする表示を行う。これにより、相互に依存関係がある静音と応答性の両方の要望レベルが上げられ、結果として両方の性能が上がらないことを防止することができ、ユーザの要望レベルをより正確に反映させることができる。
図12(c1)は、図12(b1)、(b2)での設定にて学習が完了した後に、再度要望レベルの変更を受け付ける際の表示例を示している。図12(c2)は、図12(c1)の状態での要望レベルの内部データを示しており、図12(b2)での要望レベルの内部データからは変化していない。しかし、図12(c1)の表示状態は、図12(b1)の表示状態から変更されている。
ユーザに要望レベルを設定させるための表示は、学習が完了した現在の性能を基準として該性能を上げるか下げるかを入力させる表示とするため、図12(b1)で要望レベルが上げられた位置精度においては再び基準位置(中央位置)に設定指標が表示される。また、静音においては、現在の静音レベルが最大のレベル1であり、かつ静音と依存関係にある応答性のレベルも最低のレベル5である。よって、これ以上、静音の性能を上げることは不可能であるため、設定を上げる側に表示して、これ以上、静音に対する要望レベルを上げることができないようにする。
以上説明したように、本実施例では、ユーザが各設定項目に対応する性能を現在の性能から上げるか下げるかを単純に選択して指定するだけで、相互に依存関係にある複数の性能を同時に上げることができる。また、これ以上は上げられない性能を上げるようなユーザの誤操作を防止することもできる。すなわち、上記複数の性能のレベルをユーザが簡単に設定することができる。
図16は、本実施例においてユーザ要望入力管理部226が表示部205にユーザ要望入力画像を表示する処理(生成方法)を示している。ユーザ要望入力管理部226は、コンピュータプログラムに従って本処理を実行する。
ステップS201において、ユーザ要望入力管理部226は、表示部205に図12(a1)に示した初期表示を行う。この際、各設定項目に対して、図12(a2)に示した内部データに応じた要望レベルを設定する。
次にステップS202において、ユーザ要望入力管理部226は、操作部206においてユーザにより選択された設定項目の性能を上げる(UP)か下げる(DOWN)かの操作がなされたか否かを判定する。ユーザ要望入力管理部226は、操作がなされなければ再度、本ステップを繰り返す。UPが操作された場合は、ステップS203に進み、選択された設定項目の要望レベルを1段階上げてステップS205に進む。一方、DOWNが操作された場合は、ステップS204に進み、選択された設定項目の要望レベルを1段階下げてステップS205に進む。
ステップS205では、ユーザ要望入力管理部226は、ステップS203またはステップS204で変更された後の要望レベルで内部データの更新を行う。そしてステップS202に戻る。
<他のユーザ要望入力画像>
本実施例では、各性能の要望レベルを現在のレベルから1段階上げるか下げるかをユーザが設定可能な表示例について説明したが、複数段階上げるか下げるかを設定可能としてもよい。また、性能の要望レベルを上げるか否かのみを設定可能としてもよい。
<他のユーザ要望入力画像>
本実施例では、各性能の要望レベルを現在のレベルから1段階上げるか下げるかをユーザが設定可能な表示例について説明したが、複数段階上げるか下げるかを設定可能としてもよい。また、性能の要望レベルを上げるか否かのみを設定可能としてもよい。
また本実施例では、直接的に相互依存関係を有する静音と応答性について同時に要望レベルを上げることを不可とする例について説明したが、その他の性能についても相互依存関係は少なからずある。例えば、一般に、応答性が高いと消費電力が大きくなる傾向にあり、また位置精度も低下する傾向にある。このため、要望レベルを変更できる設定項目を1つに限定してもよい。
また本実施例では、特定の性能の要望レベルが最大のレベル1となった場合に、これ以上要望レベルを上げられない表示を行う例について説明した。しかし、該特定の性能と相互依存関係にある他の性能のレベルを下げることで、特定の性能の要望レベルを上げることができるようにしてその表示を行うようにしてもよい。例えば、静音レベルがレベル1であっても応答性レベルがレベル4であれば、静音の要望レベルの上げを受け付け可能とし、静音の要望レベルが上げられた場合は応答性レベルをレベル5に下げるようにしてもよい。このような場合において、性能のレベルを下げる設定項目は、要望レベルを上げる設定項目との依存関係がより大きい設定項目を優先することが好ましい。
さらに本実施例では、性能の要望レベルのユーザ設定に基づいて該性能のレベルを変更する例について説明したが、ユーザ要望報酬変換情報の境界値や点数を変更して報酬情報を変更することにより、性能のレベルを変更するようにしてもよい。
<フォーカス制御以外の例>
本実施例ではフォーカスレンズ101を駆動対象とするフォーカス(AF)制御に対するユーザ要望入力画像について説明したが、同様のユーザ要望入力画像をズーム制御、絞り制御および振れ補正制御等の他の制御において表示してもよい。
<フォーカス制御以外の例>
本実施例ではフォーカスレンズ101を駆動対象とするフォーカス(AF)制御に対するユーザ要望入力画像について説明したが、同様のユーザ要望入力画像をズーム制御、絞り制御および振れ補正制御等の他の制御において表示してもよい。
静音と消費電力については、フォーカスレンズ101だけでなく、ズームレンズ102、絞りユニット103および補正レンズ104等の光学部材をアクチュエータにより駆動する場合に共通の課題を有する。ズームレンズ102については、ズーミングによる画角変化における被写体の拡大変化量の関係により要求される位置精度が決定される。またズームレンズ102の駆動量と画角変化量との関係からもズームレンズ102の位置精度が決定される。絞りユニット103については、絞り駆動量と映像の輝度変化量との関係から位置精度が決定される。補正レンズ104については、撮像光学系の焦点距離と映像のシフト量との関係から位置精度が決定される。
<他のレンズ情報>
本実施例では、レンズ情報として、焦点深度およびフォーカス敏感度を例に説明したが、レンズ100の姿勢、温度および周囲音量もレンズ情報に含めてもよい。光学部材の駆動には重力が影響するため、レンズ100の姿勢に応じてアクチュエータに必要な駆動力(またはトルク)を変化させてもよい。また、光学部材の駆動機構に使用される潤滑油の特性が温度によって変化するため、レンズ100の温度に応じてアクチュエータの駆動力を変化させてもよい。さらに、アクチュエータの駆動音が周囲音量に比べて小さければ、光学部材の駆動速度の制限を外しても撮像より取得される映像には影響がない。したがって、周囲音量に応じて駆動速度の上限を変化させてもよい。
<他のレンズ情報>
本実施例では、レンズ情報として、焦点深度およびフォーカス敏感度を例に説明したが、レンズ100の姿勢、温度および周囲音量もレンズ情報に含めてもよい。光学部材の駆動には重力が影響するため、レンズ100の姿勢に応じてアクチュエータに必要な駆動力(またはトルク)を変化させてもよい。また、光学部材の駆動機構に使用される潤滑油の特性が温度によって変化するため、レンズ100の温度に応じてアクチュエータの駆動力を変化させてもよい。さらに、アクチュエータの駆動音が周囲音量に比べて小さければ、光学部材の駆動速度の制限を外しても撮像より取得される映像には影響がない。したがって、周囲音量に応じて駆動速度の上限を変化させてもよい。
<撮像モードに応じた要望レベルの保持>
本発明の実施例2であるカメラシステムの構成は、図1に示した実施例1のカメラシステムと同様である。実施例1では、ユーザが簡単に要望レベルを設定できるユーザ要望入力画像の例について説明したが、ユーザの要望レベルは撮像条件によって大きく異なる場合がある。例えば、静止画撮像では被写体に精度良くピントが合うことが望まれるために合焦精度の要望が高く、動画撮像ではアクチュエータの駆動音が録音されないように静音に対する要望が高い。このため、ユーザが撮像条件によらずに現在設定されている性能を基準として要望レベルを設定すると、ユーザは静止画撮像と動画撮像を切り替えるたびに各設定項目に対する要望レベルを設定し直さなければならず、煩わしい。そこで、実施例2では、撮像条件としての撮像モードごとに要望レベルの設定値を保持し、選択された撮像モードに対応する設定値からの要望レベルの変更を可能とする。
<ユーザ要望入力画像>
図13(a1)~(c2)は、本実施例において表示部205に表示されるユーザ要望入力画像の例と内部設定された要望レベルとの関係を示している。図13(a1)は、ユーザに設定を入力させる際の初期表示の例を示している。ユーザは、撮像モードを静止画撮像を行う静止画モードと動画撮像を行う動画モードに操作部206を通じて切り替え可能であり、図13(a1)は現在の撮像モードが静止画モードである場合を示している。設定項目としては、実施例1と同様に位置精度、静音、消費電力および応答性が設けられている。
本発明の実施例2であるカメラシステムの構成は、図1に示した実施例1のカメラシステムと同様である。実施例1では、ユーザが簡単に要望レベルを設定できるユーザ要望入力画像の例について説明したが、ユーザの要望レベルは撮像条件によって大きく異なる場合がある。例えば、静止画撮像では被写体に精度良くピントが合うことが望まれるために合焦精度の要望が高く、動画撮像ではアクチュエータの駆動音が録音されないように静音に対する要望が高い。このため、ユーザが撮像条件によらずに現在設定されている性能を基準として要望レベルを設定すると、ユーザは静止画撮像と動画撮像を切り替えるたびに各設定項目に対する要望レベルを設定し直さなければならず、煩わしい。そこで、実施例2では、撮像条件としての撮像モードごとに要望レベルの設定値を保持し、選択された撮像モードに対応する設定値からの要望レベルの変更を可能とする。
<ユーザ要望入力画像>
図13(a1)~(c2)は、本実施例において表示部205に表示されるユーザ要望入力画像の例と内部設定された要望レベルとの関係を示している。図13(a1)は、ユーザに設定を入力させる際の初期表示の例を示している。ユーザは、撮像モードを静止画撮像を行う静止画モードと動画撮像を行う動画モードに操作部206を通じて切り替え可能であり、図13(a1)は現在の撮像モードが静止画モードである場合を示している。設定項目としては、実施例1と同様に位置精度、静音、消費電力および応答性が設けられている。
図13(a2)は、図13(a1)の初期表示状態においてユーザ要望入力管理部226で設定項目ごとに設定されている内部データとしての要望レベル(設定値)を示している。この要望レベルは、撮像モード毎に保持されている。ここでは、静止画モードにおける要望レベルとして、位置精度レベルが1、静音レベルが5、消費電力レベルが4、応答性レベルが2である場合を示している。また、動画モードにおける要望レベルとして、位置精度レベルが3、静音レベルが1、消費電力レベルが2、応答性レベルが4である場合を示している。
図13(a1)では、ユーザ要望入力管理部226で設定されている現在の静止画モードの要望レベルがどのレベルであるかに関わらず、基準位置としての中央位置に設定指標(黒丸)が表示されている。そして、実施例1と同様に、ユーザは各設定項目に対応する性能の要望レベルを上げる(UP)か下げる(DOWN)かのみを指定(選択)する操作をすればよいことを示す表示がなされている。
図13(b1)は、図13(a1)の初期表示状態から、消費電力の要望レベルを上げるようにユーザ設定がなされた場合の表示例を示している。図13(b2)は、この状態に操作された場合のユーザの要望レベルを示しており、静止画モードにおける消費電力レベルがレベル4からレベル3に変更されている。
図13(c1)は、図13(a1)の初期表示状態から、ユーザにより撮像モードが動画モードに変更され、位置精度の要望レベルが上げられた場合の表示例を示している。図13(c2)は、図13(b1)の状態でのユーザの要望レベルの内部データを示しており、動画モードにおける位置精度レベルがレベル3からレベル2に変更されている。
図13(b2)や図13(c2)で変更された各要望レベルに応じて、実施例1で説明したようにユーザ要望報酬管理部225にてユーザ要望報酬変換情報からユーザ要望報酬情報が決定され、NNアルゴリズムの学習が行われる。
このように、ユーザ要望入力管理部226にて管理される要望レベルは撮像モード毎に保持され、現在設定されている撮像モードに対応した要望レベルが変更されると、それに応じた学習が実行される。このため、ユーザは、各設定項目に対する要望レベルが大きく異なる撮像モード毎に設定された要望レベルを基準として要望レベルを変更することができ、撮像モードを変更するたびにすべての設定項目に対する要望レベルを変更する必要がなくなる。
<その他の撮像条件>
本実施例では、撮像条件が撮像モードである場合について説明したが、撮像条件には、レンズ100の姿勢や温度、周囲音量、さらに被写体の種類等、ユーザの要望レベルに変化が生じる可能性のあるものを含めることができる。
<その他の撮像条件>
本実施例では、撮像条件が撮像モードである場合について説明したが、撮像条件には、レンズ100の姿勢や温度、周囲音量、さらに被写体の種類等、ユーザの要望レベルに変化が生じる可能性のあるものを含めることができる。
<ユーザ優先度に応じた要望レベル変更の重み付け>
本発明の実施例3であるカメラシステムの構成は、図1に示した実施例1のカメラシステムと同様である。実施例1では、ユーザが簡単に要望レベルを設定できるユーザ要望入力画像の例について説明したが、ユーザは各設定項目対する要望レベルを変更することで該設定項目の性能が定量的にどの程度変化するかが分からない。このため、要望レベルが変更されても、ユーザが要望する性能に達しない可能性がある。そこで、実施例3では、撮像情報から各設定項目に対するユーザの優先度(以下、ユーザ優先度という)を取得し、ユーザ優先度に応じて1回の要望レベルの上げ(UP)操作に対する要望レベルの変更の大きさ(優先ウエイトの値)を異ならせる。
<撮像情報>
撮像情報は、フォーカス制御において撮像映像が受ける影響を示す情報であり、カメラ本体200による撮像により生成された撮像映像から得られる情報である。本実施例では、撮像情報を用いてフォーカス制御によって撮像映像が受ける影響を加味して要望レベルを変更することで、ユーザが要望する性能をより適切に実現できるように制御する。
撮像情報は、信号処理回路203で得られた撮像映像をカメラ制御部211が解析することで得られ、カメラ制御部211からユーザ要望入力管理部226に送られる。具体的には、撮像情報は、焦点深度、動く被写体の移動速度、不図示のマイクにより検出された周辺音量、不図示のバッテリの電源残量等である。
<優先ウエイト>
図14(a1)~(b2)は、本実施例において表示部205に表示されるユーザ要望入力画像の例と内部設定された要望レベルおよび優先ウエイトとの関係を示している。図14(a1)は、ユーザに設定を入力させる際の初期表示の例を示している。図14(a2)は、図14(a1)の初期表示状態においてユーザ要望入力管理部226で設定項目ごとに設定されている内部データとしての要望レベルを示している。また、各設定項目に対して撮像情報から決定された優先ウエイトも示している。現在の要望レベルは、位置精度レベルが1、静音レベルが5、消費電力レベルが4、応答性レベルが2である。
本発明の実施例3であるカメラシステムの構成は、図1に示した実施例1のカメラシステムと同様である。実施例1では、ユーザが簡単に要望レベルを設定できるユーザ要望入力画像の例について説明したが、ユーザは各設定項目対する要望レベルを変更することで該設定項目の性能が定量的にどの程度変化するかが分からない。このため、要望レベルが変更されても、ユーザが要望する性能に達しない可能性がある。そこで、実施例3では、撮像情報から各設定項目に対するユーザの優先度(以下、ユーザ優先度という)を取得し、ユーザ優先度に応じて1回の要望レベルの上げ(UP)操作に対する要望レベルの変更の大きさ(優先ウエイトの値)を異ならせる。
<撮像情報>
撮像情報は、フォーカス制御において撮像映像が受ける影響を示す情報であり、カメラ本体200による撮像により生成された撮像映像から得られる情報である。本実施例では、撮像情報を用いてフォーカス制御によって撮像映像が受ける影響を加味して要望レベルを変更することで、ユーザが要望する性能をより適切に実現できるように制御する。
撮像情報は、信号処理回路203で得られた撮像映像をカメラ制御部211が解析することで得られ、カメラ制御部211からユーザ要望入力管理部226に送られる。具体的には、撮像情報は、焦点深度、動く被写体の移動速度、不図示のマイクにより検出された周辺音量、不図示のバッテリの電源残量等である。
<優先ウエイト>
図14(a1)~(b2)は、本実施例において表示部205に表示されるユーザ要望入力画像の例と内部設定された要望レベルおよび優先ウエイトとの関係を示している。図14(a1)は、ユーザに設定を入力させる際の初期表示の例を示している。図14(a2)は、図14(a1)の初期表示状態においてユーザ要望入力管理部226で設定項目ごとに設定されている内部データとしての要望レベルを示している。また、各設定項目に対して撮像情報から決定された優先ウエイトも示している。現在の要望レベルは、位置精度レベルが1、静音レベルが5、消費電力レベルが4、応答性レベルが2である。
優先ウエイトについて、例として電源残量が少ない場合の例を説明する。電源残量が所定値を下回るとユーザの低消費電力の要望が高まると推測し、消費電力に対するユーザ優先度が高いと判断して消費電力に対する優先ウエイトを他の設定項目よりも高く設定する。図14(a2)では、消費電力の優先ウエイトは2、他の設定項目の優先ウエイトは1としている。
また、図14(a1)では、ユーザ要望入力管理部226で設定されている現在の要望レベルがどのレベルであるかに関わらず、基準位置としての中央位置に設定指標(黒丸)が表示されている。そして、実施例1と同様に、ユーザは各設定項目に対応する性能の要望レベルを上げる(UP)か下げる(DOWN)かのみを指定(選択)する操作をすればよいことを示す表示がなされている。
図14(b1)は、図14(a1)の初期表示状態から、消費電力の要望レベルを上げるようにユーザ設定がなされた場合の表示例を示している。図14(b2)は、図14(b1)の状態でのユーザの要望レベルを示しており、優先ウエイトの値(2)だけ、すなわちレベル4からレベル2に消費電力レベルが上げられている。
図14(b2)で変更された各要望レベルに応じて、実施例1で説明したようにユーザ要望報酬管理部225にてユーザ要望報酬変換情報からユーザ要望報酬情報が決定さられ、NNアルゴリズムの学習が行われる。
このように、撮像情報から得られるユーザ優先度が高いと推測される設定項目の優先ウエイトを高くして該設定項目の性能改善効果を大きくすることで、ユーザの要望を満足する可能性を高くすることができる。
図17は、本実施例においてユーザ要望入力管理部226が表示部205にユーザ要望入力画像を表示する処理を示している。
ステップS301において、ユーザ要望入力管理部226は、表示部205に図14(a1)に示した初期表示を行う。この際、各設定項目に対して、図14(a2)に示した内部データに応じた要望レベルと優先ウエイトを設定する。
次にステップS302において、ユーザ要望入力管理部226は、操作部206においてユーザにより選択された設定項目の性能を上げる(UP)か下げる(DOWN)かの操作がなされたか否かを判定する。ユーザ要望入力管理部226は、操作がなされなければ再度、本ステップを繰り返す。UPが操作された場合は、ステップS303に進み、選択された設定項目の要望レベルを優先ウエイトの値の段階上げてステップS305に進む。一方、DOWNが操作された場合は、ステップS304に進み、選択された設定項目の要望レベルを1段階下げてステップS305に進む。
ステップS305では、ユーザ要望入力管理部226は、ステップS303またはステップS304で変更された後の要望レベルで内部データの更新を行う。そしてステップS302に戻る。
次に、要望レベルを下げる設定項目の選択方法について説明する。図15は、本実施例の表示例と内部設定されている要望レベルおよび優先ウエイトの関係を示している。
図15(a1)~(b2)は、本実施例において表示部205に表示されるユーザ要望入力画像の例と内部設定された要望レベルおよび優先ウエイトとの関係を示している。図15(a1)は、ユーザに設定を入力させる際の初期表示の例を示している。図15(a2)は、図15(a1)の初期表示状態においてユーザ要望入力管理部226で設定項目ごとに設定されている内部データとしての要望レベルを示している。また、各設定項目に対して撮像情報から決定された優先ウエイトも示している。
現在の要望レベルは、位置精度レベルが1、静音レベルが2、消費電力レベルが4、応答性レベルが2である。優先ウエイトについて、周辺音量が小さく、かつ被写体の移動速度が速い場合の例を説明する。周辺音量が所定値を下回ると、ユーザの静音の要望が高まると推測し、静音のユーザ優先度が高いと判断して静音に対する優先ウエイトを高く設定する。さらに、被写体の移動速度が所定値を上回ると、ユーザの応答性の要望が高まると推定し、応答性のユーザ優先度が高いと判断して応答性に対する優先ウエイトを高く設定する。この際、被写体の移動速度が速いほど応答性に対する優先ウエイトを高く設定する。図15(a2)では、静音の優先ウエイトは2、応答性の優先ウエイトは3、他の設定項目の優先ウエイトは1としている。
また、図15(a1)では、ユーザ要望入力管理部226で設定されている現在の要望レベルがどのレベルであるかに関わらず、基準位置としての中央位置に設定指標(黒丸)が表示されている。そして、実施例1と同様に、ユーザは各設定項目に対応する性能の要望レベルを上げる(UP)か下げる(DOWN)かのみを指定(選択)する操作をすればよいことを示す表示がなされている。
図15(b1)は、図15(a1)の初期表示状態から、応答性の要望レベルを上げるようにユーザ設定がなされた場合の表示例を示している。図15(b2)は、図15(b1)の状態でのユーザの要望レベルを示している。要望レベルが上げられた応答性については優先ウエイトの値(3)だけ応答性レベルが上げられる。ただし、応答性レベルが上限であるレベル1に達した場合は、他の設定項目の要望レベルを下げることで応答性の性能改善効果が上がるようにする。この際、優先ウエイトの低い設定項目、すなわちユーザ優先度が低い設定項目から順に要望レベルを下げる。したがって、応答性レベルがレベル2からレベル1に変更された場合に、残りの2つのレベルを優先ウエイトが低い設定項目から下げる。具体的には、位置精度レベルをレベル1からレベル2に変更し、消費電力レベルをレベル4からレベル5に変更する。
図15(b2)で変更された各要望レベルに応じて、実施例1で説明したようにユーザ要望報酬管理部225にてユーザ要望報酬変換情報からユーザ要望報酬情報が決定さられ、NNアルゴリズムの学習が行われる。
このように、撮像情報に基づいて優先ウエイトを設定し、ユーザ優先度が高いと推測される設定項目の要望レベルが上げられた場合に優先ウエイトが低い設定項目の要望レベルを下げることにより、ユーザ優先度が高い設定項目の性能改善効果を高めることができる。これにより、ユーザの要望を反映することができる。
<その他の優先ウエイトの設定方法>
本実施例では、撮像情報に基づいて優先ウエイト(優先度)を設定する場合について説明したが、他の方法で優先ウエイトを設定してもよい。例えば、ユーザが要望レベルを変更する頻度に応じて優先ウエイトを設定してもよい。すなわち、変更頻度が高いほど優先ウエイトを高くすることで、ユーザが頻繁に要望レベルを変更する設定項目の性能改善効果を高めることができる。また、ユーザが要望レベルを変更した履歴に応じて優先ウエイトを設定してもよい。すなわち、ユーザ操作に対応する設定項目の要望レベルが上限に達していて別の設定項目の要望レベルを下げる場合において、直近で変更された設定項目の優先ウエイトを上げることにより、その設定項目の優先ウエイトを下げないようにするとよい。これらの設定方法によって優先ウエイトを設定しても、ユーザが要望する性能をより適切に実現することができる。
<その他の優先ウエイトの設定方法>
本実施例では、撮像情報に基づいて優先ウエイト(優先度)を設定する場合について説明したが、他の方法で優先ウエイトを設定してもよい。例えば、ユーザが要望レベルを変更する頻度に応じて優先ウエイトを設定してもよい。すなわち、変更頻度が高いほど優先ウエイトを高くすることで、ユーザが頻繁に要望レベルを変更する設定項目の性能改善効果を高めることができる。また、ユーザが要望レベルを変更した履歴に応じて優先ウエイトを設定してもよい。すなわち、ユーザ操作に対応する設定項目の要望レベルが上限に達していて別の設定項目の要望レベルを下げる場合において、直近で変更された設定項目の優先ウエイトを上げることにより、その設定項目の優先ウエイトを下げないようにするとよい。これらの設定方法によって優先ウエイトを設定しても、ユーザが要望する性能をより適切に実現することができる。
また本実施例では、要望レベルの設定と優先ウエイトに基づいて各性能の要望レベルを変更することで性能を変更する場合について説明したが、ユーザ要望報酬変換情報の境界値や点数を優先ウエイトに応じて変更することで性能を変更するようにしてもよい。
またアクセサリは、レンズに限らず、カメラ本体に対して着脱可能で光学部材の駆動を制御する機能を有するものであればよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
100 レンズ装置
101 フォーカスレンズ
105 フォーカスレンズ駆動部
200 カメラ本体
206 操作部
221 機械学習部
226 ユーザ要望入力管理部
101 フォーカスレンズ
105 フォーカスレンズ駆動部
200 カメラ本体
206 操作部
221 機械学習部
226 ユーザ要望入力管理部
Claims (15)
- アクチュエータによる光学部材の駆動に関する要求をユーザが設定するための設定部と、
前記要求のレベルに基づいて、前記駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する処理部とを有し、
前記設定部は、前記要求のレベルを変更することを入力するためのものであることを特徴とする光学機器。 - 前記設定部は、前記レベルを上げることを入力するためのものであることを特徴とする請求項1に記載の光学機器。
- 前記設定部は、前記駆動に関する複数の要求をユーザが設定するためのものであることを特徴とする請求項1または2に記載の光学機器。
- 前記要求は、前記駆動における精度、音、消費電力および応答性のうち少なくとも1つに関することを特徴とする請求項1から3のいずれか一項に記載の光学機器。
- 前記設定部は、前記複数の要求のうち相互に依存関係がある2つの要求に関しては、前記2つの要求のうちの1つの要求を前記ユーザに設定させることを特徴とする請求項1から4のいずれか一項に記載の光学機器。
- 前記設定部は、前記要求のレベルと前記入力とに基づいて前記要求のレベルを更新することを特徴とする請求項1から5のいずれか一項に記載の光学機器。
- 前記設定部は、撮像条件ごとに、前記要求をユーザが設定するためのものであることを特徴とする請求項1から6のいずれか一項に記載の光学機器。
- 前記撮像条件は、前記光学機器の撮像モード、姿勢、温度、周囲音量および被写体のうち少なくとも1つに関することを特徴とする請求項7に記載の光学機器。
- 前記設定部は、前記駆動に関する複数の要求に関して、該複数の要求に対する優先度に基づいて、前記入力に対する前記レベルの変更の大きさを互いに異ならせることを特徴とする請求項1から8のいずれか一項に記載の光学機器。
- 前記設定部は、前記駆動に関する複数の要求のうち前記レベルを上げる入力がなされた要求に対するレベルを上げずに、前記複数の要求のうち他の要求に対するレベルを下げることを特徴とする請求項1から9のいずれか一項に記載の光学機器。
- 前記設定部は、前記複数の要求に対する優先度に基づいて、前記他の要求に対するレベルを下げることを特徴とする請求項10に記載の光学機器。
- 前記設定部は、撮像により得られた画像、焦点深度、周辺音量、電源残量、像面の移動速度、前記設定の履歴のうち少なくとも1つに基づいて、前記優先度を得ることを特徴とする請求項9または11に記載の光学機器。
- 前記機械学習モデルを生成する生成部を有することを特徴とする請求項1から12のいずれか一項に記載の光学機器。
- アクチュエータによる光学部材の駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する生成方法であって、
前記駆動に関する要求をユーザに設定させ、
前記要求のレベルに基づいて、前記報酬の情報を生成し、
前記設定は、前記要求のレベルを変更することを入力することであることを特徴とする方法。 - 請求項14に記載の生成方法における処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020208760A JP2022095433A (ja) | 2020-12-16 | 2020-12-16 | 光学機器および生成方法 |
US17/546,125 US11843851B2 (en) | 2020-12-16 | 2021-12-09 | Optical apparatus and generating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020208760A JP2022095433A (ja) | 2020-12-16 | 2020-12-16 | 光学機器および生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022095433A true JP2022095433A (ja) | 2022-06-28 |
JP2022095433A5 JP2022095433A5 (ja) | 2023-12-20 |
Family
ID=81942085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020208760A Pending JP2022095433A (ja) | 2020-12-16 | 2020-12-16 | 光学機器および生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11843851B2 (ja) |
JP (1) | JP2022095433A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022086802A (ja) * | 2020-11-30 | 2022-06-09 | キヤノン株式会社 | レンズ装置、撮像装置、カメラ装置、制御方法、及びプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4756932B2 (ja) | 2005-06-27 | 2011-08-24 | キヤノン株式会社 | 撮像装置及び交換レンズ |
JP4922768B2 (ja) * | 2007-01-09 | 2012-04-25 | 株式会社エルモ社 | 撮像装置、焦点自動調節方法 |
JP5292175B2 (ja) * | 2009-05-15 | 2013-09-18 | 株式会社エルモ社 | 撮像装置、焦点調節方法 |
US9948918B2 (en) * | 2012-12-10 | 2018-04-17 | Mediatek Inc. | Method and apparatus for stereoscopic focus control of stereo camera |
US10771757B2 (en) * | 2012-12-10 | 2020-09-08 | Mediatek Inc. | Method and appartus for stereoscopic focus control of stereo camera |
JP6593629B2 (ja) * | 2015-09-09 | 2019-10-23 | ソニー株式会社 | 画像処理装置、固体撮像素子、および電子機器 |
JP6339655B1 (ja) * | 2016-12-19 | 2018-06-06 | ファナック株式会社 | 光源ユニットの光学部品の調芯手順を学習する機械学習装置および光源ユニット製造装置 |
JP6780537B2 (ja) * | 2017-02-22 | 2020-11-04 | オムロン株式会社 | 光学センサ、学習装置、及び画像処理システム |
JP6795472B2 (ja) * | 2017-08-28 | 2020-12-02 | ファナック株式会社 | 機械学習装置、機械学習システム及び機械学習方法 |
US11769159B2 (en) * | 2017-11-13 | 2023-09-26 | Aloke Chaudhuri | System and method for human emotion and identity detection |
CN109975898A (zh) * | 2017-12-27 | 2019-07-05 | 华为技术有限公司 | 一种镜头模组和镜头模组的控制方法 |
JP6795567B2 (ja) * | 2018-10-30 | 2020-12-02 | ファナック株式会社 | 加工条件設定装置及び三次元レーザ加工システム |
JP7278138B2 (ja) * | 2019-04-18 | 2023-05-19 | キヤノン株式会社 | 基板処理装置、物品製造方法、基板処理方法、基板処理システム、管理装置、およびプログラム |
JP2020199517A (ja) * | 2019-06-07 | 2020-12-17 | ファナック株式会社 | レーザ加工システム |
JP2022086802A (ja) * | 2020-11-30 | 2022-06-09 | キヤノン株式会社 | レンズ装置、撮像装置、カメラ装置、制御方法、及びプログラム |
-
2020
- 2020-12-16 JP JP2020208760A patent/JP2022095433A/ja active Pending
-
2021
- 2021-12-09 US US17/546,125 patent/US11843851B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220191386A1 (en) | 2022-06-16 |
US11843851B2 (en) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5539045B2 (ja) | 撮像装置およびその制御方法、記憶媒体 | |
JP5773583B2 (ja) | 撮像装置およびその制御方法、コンピュータプログラム | |
US11762165B2 (en) | Lens apparatus, image pickup apparatus, control method, and computer-readable storage medium | |
US10244157B2 (en) | Interchangeable lens apparatus and image capturing apparatus capable of acquiring in-focus state at different image heights, and storage medium storing focusing program | |
JP2015103852A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理装置の制御プログラム及び記憶媒体 | |
JP2013083843A (ja) | 光学機器、レンズ鏡筒および自動焦点調節方法 | |
JP2022095433A (ja) | 光学機器および生成方法 | |
US11849218B2 (en) | Lens apparatus, image pickup apparatus, camera apparatus, controlling method, and computer-readable storage medium | |
JP2012255896A (ja) | 撮像装置、その焦点調整方法およびプログラム | |
JP2017009961A (ja) | 光学機器およびフォーカス制御プログラム | |
KR20130053043A (ko) | 스테핑 모터 제어 장치 및 방법 | |
US11659274B2 (en) | Lens apparatus, image pickup apparatus, processing apparatus, processing method, and computer-readable storage medium | |
JP2021173820A (ja) | 処理装置、光学装置、撮像装置、処理方法およびプログラム | |
JP2022151257A (ja) | 制御装置、撮像装置、レンズ装置、制御方法、およびプログラム | |
JP2022151256A (ja) | 制御装置、撮像装置、レンズ装置、制御方法、およびプログラム | |
JP2022006612A (ja) | 学習装置、撮像装置、レンズ装置、学習方法、プログラム、および製造方法 | |
JP5017195B2 (ja) | 焦点調節装置及び方法 | |
JP6512814B2 (ja) | 制御装置、光学機器、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP6399851B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2013122565A (ja) | レンズ装置および撮像装置 | |
JP5930979B2 (ja) | 撮像装置 | |
JP5820583B2 (ja) | 撮像装置 | |
JP2022191895A (ja) | 操作装置および光学装置 | |
JP2013125159A (ja) | レンズ装置および撮像装置 | |
JP2014106361A (ja) | 撮像装置、撮像システム、および、撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231211 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231211 |