JP2022095433A - 光学機器および生成方法 - Google Patents

Abstract

【課題】機械学習モデルを生成するための報酬の情報を生成するのに有利な光学機器を提供する。【解決手段】光学機器２００は、アクチュエータ１０５による光学部材の駆動に関する要求をユーザが設定するための設定部２０５、２０６、２２６と、要求のレベルに基づいて、駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する処理部２２０とを有する。設定部は記要求のレベルを変更することを入力するためのものである。【選択図】図１

Description

本発明は、光学機器および生成方法に関する。

ＴＶカメラやデジタルカメラ等の撮像装置においてアクチュエータによりレンズや絞り等の光学部材を駆動する場合には、被写体の状態や、求められるピント精度、撮像を行う環境、撮像時間等の様々な要因により、駆動速度、位置精度、消費電力、静音等の駆動性能に対する優先度が変わり得る。特許文献１には、駆動の速度や加速度を制限することにより、光学部材の駆動をより静音で行えるレンズ装置が開示されている。

特開２００７－００６３０５号公報

ユーザの要求に適した光学部材の駆動を行うには、ユーザの要求に基づく機械学習により得られた機械学習モデルを用い得る。該機械学習を行うのに用いる報酬をユーザが適切に設定するのは困難である。

本発明は、例えば、機械学習モデルを生成するための報酬の情報を生成するのに有利な光学機器を提供することを目的とする。

本発明の一側面としての光学機器は、アクチュエータによる光学部材の駆動に関する要求をユーザが設定するための設定部と、要求のレベルに基づいて、駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する処理部とを有する。設定部は記要求のレベルを変更することを入力するためのものであることを特徴とする。

また、本発明の他の一側面は、アクチュエータによる光学部材の駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する生成方法である。該生成方法では、駆動に関する要求をユーザに設定させ、要求のレベルに基づいて、報酬の情報を生成する。設定は、前記要求のレベルを変更することを入力することであることを特徴とする。なお、上記生成方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、例えば、機械学習モデルを生成するための報酬の情報を生成するのに有利な光学機器を提供することができる。

実施例１のカメラシステムの構成を示すブロック図。 フォーカス制御に要求される駆動位置精度を示す図。 フォーカス制御に要求される駆動速度を示す図。 フォーカスレンズの位置精度と、駆動速度、消費電力および静音との関係を示す図。 フォーカスレンズの駆動速度と、位置精度、消費電力および静音との関係を示す図。 実施例１におけるニューラルネットワークの入出力を示す図。 実施例１における機械学習を示すフローチャート。 実施例１における報酬情報を示す図。 実施例１における機器制約報酬情報とユーザ要望報酬情報のデータ構造を示す図。 実施例１におけるユーザ要望報酬変換情報のデータ構造を示す図。 実施例１におけるユーザ要望入力画像とユーザ要望の内部データとの関係を示す図。 実施例１におけるユーザ要望入力画像とユーザ要望の内部データとの関係を示す別の図。 実施例２におけるユーザ要望入力画像とユーザ要望の内部データとの関係を示す図。 実施例３におけるユーザ要望入力画像とユーザ要望の内部データとの関係を示す図。 実施例３におけるユーザ要望入力画像とユーザ要望の内部データとの関係を示す別の図。 実施例１におけるユーザ要望入力画像の表示処理を示すフローチャート。 実施例３におけるユーザ要望入力画像の表示処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

＜システム構成＞
図１には、本発明の実施例１である撮像システム（以下、カメラシステムという）の構成を示している。カメラシステムは、光学機器としての撮像装置（以下、カメラ本体という）２００と、該カメラ本体２００に対して着脱可能なアクセサリとしてのレンズ装置（以下、単にレンズという）１００とにより構成されている。カメラ本体２００とレンズ１００は結合機構であるマウント３００を介して機械的および電気的に接続されている。カメラ本体２００は、マウント３００に設けられた不図示の電源端子部を介してレンズ１００に電源を供給する。また、カメラ本体２００とレンズ１００はマウント３００に設けられた不図示の通信端子部を介して相互に通信を行う。本実施例では、レンズ装置とカメラ本体がマウントを介して接続される場合を示すが、カメラ本体にレンズを一体に設けてもよい。

レンズ１００は、不図示の被写体からの光を結像させる撮像光学系を有する。撮像光学系は、焦点調節を行うフォーカスレンズ１０１、変倍を行うズームレンズ１０２、光量を調節する絞りユニット１０３および像振れ補正を行う補正レンズ１０４を含む。フォーカスレンズ１０１、ズームレンズ１０２、絞りユニット１０３および補正レンズ１０４は光学部材に相当する。フォーカスレンズ１０１とズームレンズ１０２は、不図示のレンズ保持枠によって保持されている。レンズ保持枠は、不図示のガイド軸により撮像光学系の光軸（図中に破線で示す）が延びる方向である光軸方向に移動可能にガイドされている。

フォーカスレンズ１０１は、フォーカスレンズ駆動部１０５により光軸方向に駆動され、その位置はフォーカスレンズ検出部１０６によって検出される。ズームレンズ１０２は、ズームレンズ駆動部１０７によって光軸方向に駆動され、その位置はズームレンズ検出部１０８によって検出される。

絞りユニット１０３は、複数の絞り羽根が絞り駆動部１０９により開閉方向に駆動されることで光量調節を行う。絞りユニット１０３のＦ値は、絞り検出部１１０によって検出される。

補正レンズ１０４は、補正レンズ駆動部１１２によって光軸に直交する方向に駆動され、手振れ等のカメラ振れに起因する像振れを低減（補正）する。補正レンズ１０４の位置は、補正レンズ検出部１１３によって検出される。

フォーカスレンズ駆動部１０５、ズームレンズ駆動部１０７、絞り駆動部１０９および補正レンズ駆動部１１２は、振動型モータ、ＤＣモータ、ステッピングモータおよびボイスコイルモータ等のアクチュエータとその駆動回路を含む。

フォーカスレンズ検出部１０６、ズームレンズ検出部１０８、絞り検出部１１０および補正レンズ検出部１１３は、ポテンションメータやエンコーダ等の位置センサを用いて構成されている。また、駆動部がステッピングモータのように印加される駆動パルスをカウントすることで駆動量を取得できるアクチュエータを含む場合は、初期位置を検出するフォトインタラプタ等のセンサと駆動パルス数をカウントするカウンタとにより検出部を構成してもよい。

振れセンサ１１１は、ジャイロセンサ等により構成され。手振れ等によるレンズ１００の振れ（カメラ振れ）を検出する。

レンズマイクロコンピュータ（以下、レンズマイコンという）１２０は、ＣＰＵ等により構成され、ＮＮ制御部（制御手段）１２１、レンズ情報決定部１２２、ＮＮデータ記憶部１２３、動作ログ管理部１２４、レンズ制御部１２５および通信部１２６を有する。

ＮＮ制御部１２１は、フォーカスレンズ１０１の位置を制御する。ＮＮ制御部１２１の内部には、ニューラルネットワーク（ＮＮ）アルゴリズムが実装されている。ＮＮ制御部１２１は、機械学習パラメータを用いたＮＮアルゴリズムによりフォーカスレンズ１０１を駆動するためのフォーカス駆動信号を生成する。レンズ情報決定部１２２は、ＮＮ制御部１２１が使用するレンズ情報を決定する。ＮＮデータ記憶部１２３は、ＮＮアルゴリズムにて用いられるウエイトを保持する。動作ログ管理部１２４は、フォーカスレンズ１０１の駆動制御に関する動作ログ情報を管理する。ＮＮアルゴリズム、ウエイト、レンズ情報および動作ログ情報については後述する。

レンズ制御部１２５は、ズームレンズ１０２、絞りユニット１０３および補正レンズ１０４のそれぞれの位置を制御したり、レンズ１００とカメラ本体２００との間の情報伝達を制御したりする。レンズ制御部１２５は、例えば、制御対象の目標位置または速度と現在の位置または速度との偏差に応じてＰＩＤ制御により駆動指令を生成する。通信部１２６は、カメラ本体２００との通信を行う。

カメラ本体２００は、撮像素子２０１、Ａ／Ｄ変換回路２０２、信号処理回路２０３、記録部２０４、表示部（表示手段）２０５、操作部２０６、カメラマイクロコンピュータ（以下、カメラマイコンという）２１０および学習プロセッサ２２０を有する。

撮像素子２０１は、レンズ１００の撮像光学系から入射した光により形成される被写体像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子である。Ａ／Ｄ変換回路２０２は、撮像素子２０１から出力された電気信号をデジタル信号に変換する。信号処理回路２０３は、Ａ／Ｄ変換回路２０２から出力されたデジタル信号を映像データに変換する。記録部２０４は、映像データを記録する。表示部２０５は、ＬＣＤパネルまたは有機ＥＬパネル等のディスプレイデバイスにより構成され、映像データに対応する映像や後述するユーザ要望入力画像を表示する。操作部２０６は、ユーザにより操作される各種操作部材を有する。

カメラマイコン２１０は、ＣＰＵ等により構成され、カメラ本体２００を制御する。カメラマイコン２１０は、カメラ制御部２１１および通信部２１２を有する。カメラ制御部２１１は、信号処理回路２０３からの映像データおよび操作部２０６からの操作情報に基づいてレンズ１００への駆動指令を行う。また制御部２１１は、学習プロセッサ２２０に対する指令や情報伝達を制御する。通信部２１２は、カメラ制御部２１１からの駆動指令を制御コマンドとしてレンズ１００に送信したり、レンズ１００からの情報を受信したりする。

学習プロセッサ（処理部）２２０は、コンピュータとして機能するプロセッサ（ＣＰＵ、ＧＰＵ等）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）により構成されている。プロセッサは、コンピュータプログラムに従って、機械学習部（生成部）２２１、機器制約報酬管理部２２４、報酬管理部２２３、ユーザ要望報酬管理部２２５およびユーザ要望入力管理部（表示制御部）２２６の処理を実行する。記憶装置には、これらを制御するためのコンピュータプログラムや、動作ログ保持部２２２が保持している動作ログ情報が記憶されている。さらに記憶装置には、報酬管理部２２３が管理している報酬情報、機器制約報酬管理部２２４が管理している機器制約報酬情報、ユーザ要望報酬管理部２２５が管理しているユーザ要望報酬情報およびユーザ要望報酬変換情報等が保持されている。報酬情報、機器制約報酬情報、ユーザ要望報酬情報およびユーザ要望報酬変換情報については後述する。
＜フォーカス制御＞
カメラ制御部２１１は、信号処理回路２０３から出力された映像データを用いてフォーカスレンズ１０１の駆動を制御するオートフォーカス制御（以下、単にフォーカス制御という）を行う。具体的には、カメラ制御部２１１は、映像データのコントラストの明暗差が最も大きくなるようにフォーカスレンズ１０１の位置を制御して被写体にピントを合わせる。カメラ制御部２１１は、フォーカスレンズ１０１の目標位置をフォーカス駆動指令として通信部２１２に出力する。通信部２１２は、フォーカス駆動指令を制御コマンドに変換してレンズ１００に送信する。

レンズ１００の通信部１２６は、受信した制御コマンドをフォーカス駆動指令に変換し、レンズ制御部１２５を介してＮＮ制御部１２１に出力する。ＮＮ制御部１２１は、フォーカス駆動指令に応じて、ＮＮデータ記憶部１２３に記憶されている学習済みのウエイトを用いてフォーカス駆動信号を生成し、これをフォーカスレンズ駆動部１０５に出力してフォーカスレンズ１０１を駆動させる。ＮＮ制御部１２１がフォーカス駆動信号を生成する方法については、後述する。
＜絞り制御＞
カメラ制御部２１１は、信号処理回路２０３から出力された映像データを用いて絞りユニット１０３の駆動を制御する露出制御を行う。具体的には、カメラ制御部２１１は、映像データの輝度値が一定となるように目標Ｆ値（絞り羽根の目標位置）を決定し、該目標Ｆ値を示す絞り駆動指令を通信部２１２に出力する。通信部２１２は、絞り駆動指令を制御コマンドに変換してレンズ１００に送信する。レンズ１００の通信部１２６は、受信した制御コマンドを絞り駆動指令に変換してレンズ制御部１２５に出力する。レンズ制御部１２５は、絞り駆動指令と絞り検出部１１０により検出された現在のＦ値とに基づいて絞り駆動信号を生成し、これを絞り駆動部１０９出力して絞りユニット１０３を駆動させる。
＜ズーム制御＞
ユーザが操作部２０６においてズーム操作を行うと、カメラ制御部２１１は、操作部２０６から出力されたズーム操作量に応じたズーム駆動量を示すズーム駆動指令を通信部２１２に出力する。通信部２１２は、ズーム駆動指令を制御コマンドに変換してレンズ１００に送信する。レンズ１００の通信部１２６は、受信した制御コマンドをズーム駆動指令に変換してレンズ制御部１２５に出力する。レンズ制御部１２５は、ズーム駆動指令とズームレンズ検出部１０８により検出された現在のズームレンズ１０２の位置とに基づいてズーム駆動信号を生成し、これをズームレンズ駆動部１０７に出力してズームレンズ１０２を駆動させる。
＜振れ補正制御＞
レンズ制御部１２５は、振れセンサ１１１からの出力信号により得られたカメラ振れによる像振れを打ち消すように、補正レンズ１０４の目標位置を決定する。レンズ制御部１２５は、目標位置と補正レンズ検出部１１３により検出された現在の補正レンズ１０４の位置とに基づいて補正駆動信号を生成し、これを補正レンズ駆動部１１２に出力して補正レンズ１０４を駆動させる。
＜フォーカス制御に要求される事項＞
フォーカス制御には、フォーカスレンズ１０１の位置精度、駆動速度、消費電力および静音という４つの要求事項があり、これらの要求事項のバランスが良くなるようにフォーカスレンズ１０１の駆動を制御することが求められる。

位置精度は、フォーカスレンズ１０１を目標位置へ駆動する際に、目標位置に対してどれだけ正確に駆動できるかを表す。図２（ａ）、（ｂ）はそれぞれ、焦点深度が浅い場合と深い場合におけるフォーカスレンズとピント位置との関係を示している。これらの図は、撮像光学系の構成は同じでＦ値のみが異なる場合の上記関係を示している。
＜位置精度＞
目標位置Ｇは、光軸上の被写体としての点物体Ｓの光学像である被写体像（以下、点物体像という）が、撮像素子２０１上に合焦状態にて結像するフォーカスレンズの位置を示している。フォーカスレンズの実位置Ｃは、フォーカスレンズを目標位置Ｇに向けて駆動した後のフォーカスレンズの位置を示している。実位置Ｃは、目標位置Ｇに対して制御誤差Ｅだけ点物体Ｓ側の位置となっている。ピント位置Ｂｐは、フォーカスレンズが実位置Ｃにあるときの点物体像の結像位置を示している。錯乱円δは撮像素子２０１の錯乱円である。

図２（ａ）におけるＦ値Ｆａは、図２（ｂ）におけるＦ値Ｆｂよりも小さい（明るい）値となっている。このため、図２（ａ）における焦点深度幅２Ｆａδは、図２（ｂ）における焦点深度幅２Ｆｂδよりも狭くなっている。図２（ａ）における光線Ｃａと光線Ｇａはそれぞれ、実位置Ｃと目標位置Ｇにあるフォーカスレンズを通過する点物体Ｓからの光線のうち最も外側の光線を示している。図２（ｂ）における光線Ｃｂと光線Ｇｂはそれぞれ、実位置Ｃと目標位置Ｇにあるフォーカスレンズを通貨する点物体Ｓからの光線のうち最も外側の光線を示している。図２（ａ）において、点像直径Ｉａは、フォーカスレンズが実位置Ｃにあるときの撮像素子２０１上での点物体像の直径を示す。図２（ｂ）において、点像直径Ｉｂは、フォーカスレンズが実位置Ｃにあるときの撮像素子２０１上での点物体像の直径を示す。

図２（ａ）において、フォーカスレンズが実位置Ｃにあるとき、ピント位置Ｂｐは焦点深度幅２Ｆａδの範囲外となっている。また、点像直径Ｉａは錯乱円δより大きく、点物体像は撮像素子２０１の中心の画素に収まらず、その隣の画素上にはみ出している（すなわち、点物体Ｓからの光線が中心の画素と隣の画素に入射している）。このため、フォーカスレンズが実位置Ｃにある状態において、点物体Ｓに対する非合焦状態となる。

一方、図２（ｂ）において、フォーカスレンズが実位置Ｃにあるとき、ピント位置Ｂｐは焦点深度幅２Ｆｂδの範囲内となっている。また、点像直径Ｉｂは錯乱円δより小さく、撮像素子２０１の中心の画素内に収まっている（すなわち、点物体Ｓからの光線のすべてが中心の画素に入射している）。このため、フォーカスレンズが実位置Ｃにある状態において、点物体Ｓに対する合焦状態となる。

このように、フォーカスレンズ１０１の位置精度が同じであっても、Ｆ値等の撮像条件によって合焦状態となったりならなかったりする。つまり、撮像条件に応じて、求められるフォーカスレンズ１０１の位置精度が変化する。
＜駆動速度＞
フォーカスレンズ１０１の駆動速度は、フォーカスレンズ１０１の単位時間当たりの移動量である。以下の説明において、フォーカスレンズ１０１の移動量をレンズ移動量といい、結像位置（像面）の光軸方向での移動量をピント移動量、像面の移動速度をピント移動速度という。レンズ移動量はピント移動量と比例関係にある。この比例定数をフォーカス敏感度という。フォーカス敏感度は撮像光学系を構成する複数のレンズの位置関係によって変化する。ピント移動量ΔＢｐ、フォーカス敏感度Ｓｅおよびレンズ移動量ΔＰは、式（１）に示す関係を有する。
ΔＢｐ＝Ｓｅ×ΔＰ （１）
図３（ａ）、（ｂ）はそれぞれ、（ａ）フォーカス敏感度Ｓｅが大きい場合と（ｂ）フォーカス敏感度Ｓｅが小さい場合におけるフォーカスレンズの位置とピント位置との関係を示している。図３（ａ）、（ｂ）は、撮像光学系の構成は同じで、フォーカスレンズ（つまりは撮像光学系）から点物体Ｓまでの距離が異なる場合を示している。

図３（ａ）において、ピント位置をＢｐ１からＢｐ２に移動させるには、フォーカスレンズの位置をＰａ１からＰａ２に移動させる必要がある。このとき、レンズ移動量ΔＰａとピント移動量ΔＢｐは、式（１）に示した関係を有する。

図３（ｂ）において、ピント位置をＢｐ１からＢｐ２へ移動させるには、フォーカスレンズの位置をＰｂ１からＰｂ２に移動させる必要がある。このとき、レンズ移動量ΔＰｂとピント移動量ΔＢｐも、式（１）に示した関係を有する。

図３（ａ）におけるフォーカス敏感度が図３（ｂ）におけるフォーカス敏感度より小さいため、同じピント移動量ΔＢｐを得るために必要となるレンズ移動量ΔＰａは、図３の（ａ）の方が大きくなる。つまり、図３（ａ）の場合に比べ、図３（ｂ）の場合は、単位時間当たりのレンズ移動量を少なくすることができるため、フォーカスレンズの駆動速度を遅くしてもピント移動速度は同じになる。

このように、あるピント移動速度を得るために必要となるフォーカスレンズ１０１の駆動速度は撮像条件によって異なる。つまり、撮像条件に応じて、求められるフォーカスレンズ１０１の駆動速度が変化する。
＜消費電力＞
フォーカスレンズ１０１を駆動するために消費される電力である消費電力は、フォーカスレンズ１０１の駆動時間、駆動速度または駆動加速度の変化に応じて変化する。駆動時間が長いほど、駆動速度が速いほどまたは駆動加速度の変化が大きいほど消費電力が多くなる。

一方、消費電力を抑えることで、カメラ本体２００におけるバッテリ容量を有効活用することが可能になり、１回の充電で撮像可能な画像数を増やしたり、バッテリをより小型化したりすることが可能になる。
＜静音＞
フォーカスレンズ１０１を駆動する際に、振動や摩擦等により駆動音が発生する。駆動音は、駆動速度や駆動加速度の変化に応じて変化する。駆動速度が速いほど、駆動加速度の変化が大きいほど駆動音が大きくなる。また、フォーカスレンズ１０１が停止する時間が長いほど、駆動音が発生しない時間が長くなる。

周囲が静かな場所での撮像においては、駆動音が目立ち、録音が行われる動画撮像時には不要な駆動音が収録される。このため、撮像条件（周囲環境）によっては、フォーカスレンズ１０１の駆動により発生する駆動音をできるだけ少なくする静音駆動が要求される。
＜位置精度と、駆動速度、消費電力および静音との関係＞
図４（ａ）、（ｂ）はそれぞれ、（ａ）焦点深度が浅い場合と（ｂ）焦点深度が深い場合における、動く被写体に対して合焦状態を維持するためのフォーカスレンズ１０１の移動を示している。各図の横軸は時間経過を、縦軸はフォーカスレンズ１０１の位置を示す。フォーカスレンズ１０１の位置が上側に移動するほど無限遠側にある被写体に対して合焦状態となり、下側に移動するほど至近側にある被写体に対して合焦状態となる。

フォーカスレンズ１０１の目標位置Ｇは、ピント位置が撮像素子２０１上となるフォーカスレンズ１０１の合焦位置を示す。図４（ａ）、（ｂ）における焦点深度はそれぞれ、２Ｆａδと２Ｆｂδである。図４（ａ）において、目標位置Ｇを中心として合焦状態が得られる焦点深度の無限遠側の端をＧａｌｉｍＩ、至近側の端をＧａｌｉｍＭで示す。図４（ｂ）において、目標位置Ｇを中心とする焦点深度の無限遠側の端をＧｂｌｉｍＩ、至近側の端をＧｂｌｉｍＭで示す。図４の（ａ）、（ｂ）におけるＣａとＣｂはそれぞれ、被写体が焦点深度内に収まるように位置が制御されたフォーカスレンズ１０１の移動軌跡を示している。

図４（ａ）では焦点深度が深いため、フォーカスレンズ１０１が移動軌跡Ｃａを描くようにその移動が制御されても、被写体に対する合焦状態が維持される。一方、図４（ｂ）では図４（ａ）に比べて焦点深度が浅いため、フォーカスレンズ１０１の移動を図４（ａ）に比べて目標位置Ｇとの偏差が小さい移動軌跡Ｃｂを描くように制御すれば、被写体に対する合焦状態が維持される。ただし、図４（ａ）の移動軌跡Ｃａの方が図４（ｂ）の移動軌跡Ｃｂに比べてカーブが緩やかであり、このため図４（ａ）の場合の方が図４（ｂ）の場合に比べてフォーカスレンズ１０１の駆動量と駆動速度を小さくすることができる。したがって、求められる位置精度が低い撮像条件下においては、フォーカスレンズ１０１を低速、低消費電力かつ静音で駆動することができる。
＜駆動速度と位置精度、消費電力および静音との関係＞
図５（ａ）、（ｂ）の横軸は時間経過を示し、縦軸はフォーカスレンズ１０１の位置を示す。図５（ａ）は、フォーカスレンズ１０１を図３（ａ）に示した位置Ｐａ１からＰａ２までの駆動量ΔＰａだけ時間Ｔ０～Ｔ１の間に駆動したときのフォーカスレンズ１０１の移動軌跡Ｃａを示している。図５（ｂ）は、フォーカスレンズ１０１を図３（ｂ）に示した位置Ｐｂ１からＰｂ２までの駆動量ΔＰｂだけ時間Ｔ０～Ｔ１の間に駆動したときのフォーカスレンズ１０１の移動軌跡Ｃｂを示している。図３（ａ）、（ｂ）に示したように、フォーカスレンズ１０１が位置Ｐａ１からＰａ２へ移動したときのピント移動量ΔＢｐと、位置Ｐｂ１からＰｂ２へ移動したときのピント移動量ΔＢｐとは互いに同じである。図５（ａ）、（ｂ）における移動軌跡Ｃａ、Ｃｂの傾きはフォーカスレンズ１０１の駆動速度を示す。

図５（ａ）、（ｂ）から分かるように、時間Ｔ０～Ｔ１の間に同じピント移動量ΔＢｐだけピント位置を移動させるためのフォーカスレンズ１０１の駆動速度は、図５（ａ）の場合の方が図５（ｂ）の場合に比べて速くなる。また、図５（ａ）の場合は、図５（ｂ）の場合に比べてフォーカスレンズ１０１の駆動速度が速いため、フォーカスレンズ１０１が目標位置であるＰａ２に到達した後、位置が安定するまでにある程度の時間が必要となる。一方、図５（ｂ）の場合は、図５（ａ）の場合に比べてフォーカスレンズ１０１の駆動速度が遅いため、フォーカスレンズ１０１が目標位置であるＰｂ２に到達した後、直ぐに位置が安定する。このことは、フォーカスレンズ１０１の位置精度に影響する。また、フォーカスレンズ１０１を速く駆動したり、停止時における加速度の変化が大きくなったりするため、図５（ａ）の場合は図５（ｂ）の場合に比べて消費電力が多くなり、駆動音も大きくなる。したがって、求められる駆動速度が遅い撮像条件下においては、フォーカスレンズ１０１を高い位置精度、低消費電力かつ静音で駆動することができる。
以上説明したように、フォーカス制御における４つの要求事項のバランスが良くよるようにフォーカス制御を行うためには、フォーカスレンズ１０１に対して求められる位置精度と、フォーカスレンズ１０１の駆動速度を決めるための前述したレンズ情報とを用いる必要がある。

レンズ情報は、レンズ情報決定部１２２により決定される。レンズ情報は、フォーカス制御により撮影映像が受ける影響に関する情報であり、例えば、焦点深度やフォーカス敏感度に関する情報である。焦点深度やフォーカス敏感度に関する情報は、これらを直接示す情報であってもよいし、焦点深度やフォーカス敏感度に変換可能な情報であってもよい。

レンズ情報決定部１２２は、現在のＦ値と錯乱円の情報から焦点深度を決定する。さらにレンズ情報決定部１２２は、フォーカス敏感度とフォーカスレンズ１０１およびズームレンズ１０２の位置との関係を示す予め保持した不図示の変換テーブルを用いて、フォーカスレンズ１０１およびズームレンズ１０２の位置からフォーカス敏感度を決定する。これらのレンズ情報を用いることで、フォーカス制御により撮像映像が受ける影響を加味して、位置精度、駆動速度、消費電力および静音のそれぞれの要求事項のバランスが良くなるようにフォーカスレンズ１０１の駆動を制御することができる。ＮＮ制御部１２１は、レンズ情報を用いたＮＮアルゴリズムによってフォーカス制御を行う。
＜ＮＮアルゴリズムとウエイト＞
ＮＮアルゴリズムが実装されたＮＮ制御部１２１は、ＮＮデータ記憶部１２３に記録されたＮＮの特徴量かつ結合重み係数であるウエイトを参照し、ウエイトを用いたＮＮアルゴリズムによりフォーカス駆動信号を生成する。ウエイトの作成方法については後述する。

図６は、ＮＮアルゴリズムを用いた機械学習モデル（学習済モデル）を備えたＮＮ制御部１２１の入出力構造を概念的に示している。Ｘ１はレンズ制御部１２５から入力されたフォーカス駆動指令としての目標位置である。Ｘ２はフォーカスレンズ検出部１０６から得られたフォーカスレンズ１０１の現在位置（実位置）である。Ｘ３はレンズ情報としての焦点深度であり、Ｘ４はレンズ装置としてのフォーカス敏感度である。Ｙ１は出力としてのフォーカス駆動信号である。このように、ＮＮ制御部１２１は、フォーカスレンズ１０１の目標位置、フォーカスレンズ１０１の現在位置、焦点深度およびフォーカス敏感度を入力として、学習モデルからの出力としてのフォーカス駆動信号を決定（生成）する。
＜ウエイトの作成方法＞
ユーザが操作部２０６において機械学習の実行を示す操作を行うと、機械学習実行指令がカメラ制御部２１１を介して機械学習部２２１に伝えられる。機械学習部２２１は、該指令に応じて機械学習を開始する。

図７のフローチャートは、機械学習の流れを示している。機械学習部２２１は、コンピュータプログラムに従って機械学習を行う。ステップＳ１０１において、機械学習部２２１は、カメラ制御部２１１に対してウエイトの初期値を出力する。ウエイトの初期値を受け取ったカメラ制御部２１１は、レンズ制御部１２５にウエイトの初期値を送信する。ウエイトの初期値を受信したレンズ制御部１２５は、該ウエイトの初期値をＮＮデータ記憶部１２３に設定する。

次にステップＳ１０２において、機械学習部２２１は、カメラ制御部２１１に対して、フォーカス駆動指令（目標位置）と動作ログ情報の取得を要求する。該要求を受け取ったカメラ制御部２１１は、レンズ制御部１２５に対してフォーカス駆動指令と動作ログ情報の取得を要求する。フォーカス駆動指令の取得要求を受け取ったレンズ制御部１２５は、カメラ制御部２１１から機械学習部２２１が出力したフォーカス駆動指令を受け取り、これをＮＮ制御部１２１に出力する。ＮＮ制御部１２１は、ＮＮデータ記憶部１２３に保持されたウエイトを用いてフォーカス駆動信号を生成し、フォーカスレンズ１０１の駆動を制御する。ここで、機械学習部２２１は、予め学習用に決められた開始位置から停止位置までの特定の駆動パターンを保持しており、該駆動パターンに従うフォーカス駆動指令を出力する。なお、これに代えて、フォーカス制御を実行してフォーカス駆動指令を出力してもよい。

また動作ログ情報の取得要求を受信したレンズ制御部１２５は、動作ログ管理部１２４に対して動作ログ情報の出力を要求する。該要求を受け取った動作ログ管理部１２４は、フォーカスレンズ１０１の駆動時における動作ログ情報をレンズ制御部１２５を介してカメラ制御部２１１に送信する。動作ログ情報については後述する。

次にステップＳ１０３において、機械学習部２２１は、報酬管理部２２３が保持している報酬情報と動作ログ保持部２２２が保持している動作ログ情報を用いて、ＮＮアルゴリズムによる制御結果を点数化する。報酬情報と制御結果の点数化については後述する。

次にステップＳ１０４において、機械学習部２２１は、ＮＮアルゴリズムによる制御結果の累計点数が最大化されるようにウエイトを更新する。本実施例では、ウエイトの更新に誤差逆伝搬法（Backpropagation）を使用するが、他の方法を使用してもよい。生成されたウエイトは、ステップＳ１０１と同様の手順でＮＮデータ記憶部１２３に設定される。

次にステップＳ１０５において、機械学習部２２１は、ウエイトの学習が完了したか否かを判定する。学習の完了は、学習（ウエイトの更新）の反復回数が規定値に達したか、または更新時の動作ログ情報中の累計点数の変化量が規定値より小さくなったか等により判定することができる。機械学習部２２１は、学習未完と判定した場合はステップＳ１０１へ戻って機械学習を続け、学習完了と判定した場合は機械学習を終了する。

機械学習の具体的なアルゴリズムとしては、本実施例の通り、ＮＮを利用して学習するための特徴量と結合重み付け係数を自ら生成する深層学習（ディープラーニング）が挙げられる。また、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン等を用いてもよく、これらのアルゴリズムのうち利用可能なものを適宜選択さればよい。

なお、ＧＰＵは一般にＣＰＵに比べてデータをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングモデルのような機械学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。このため、機械学習部２２１による処理を、ＣＰＵに加えてＧＰＵを用いて行ってもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵとが協働して演算を行うことで学習を行う。なお、機械学習部２２１の処理は、ＣＰＵのみ又はＧＰＵのみにより行われてもよい。
＜動作ログ情報＞
動作ログ情報は、ＮＮアルゴリズムによる制御結果の点数化する際に、点数を決める対象となる制御結果情報である。動作ログ管理部１２４は、図６に示したＸ１～Ｘ４とＹ１であるＮＮアルゴリズムの入出力情報を、ＮＮアルゴリズムによる制御周期毎に収集して動作ログ情報として記録する。また、動作ログ管理部１２４は、フォーカスレンズ駆動部１０５の消費電力を測定する不図示の電力検出部から得られた消費電力も動作ログ情報として記録する。

また、動作ログ管理部１２４は、ＮＮ制御部１２１に入力されたフォーカス駆動指令やフォーカスレンズ検出部１０６によって検出されたフォーカスレンズ１０１の位置情報も動作ログ情報として記録する。さらに動作ログ管理部１２４は、フォーカスレンズ１０１の目標位置（フォーカス駆動指令）と位置情報から位置精度Ｅを決定し、これを動作ログ情報として記録する。加えて、動作ログ管理部１２４は、フォーカスレンズ１０１の位置情報から、フォーカスレンズ１０１の駆動速度と駆動加速度を算出し、これらを動作ログ情報として記録する。

動作ログ管理部１２４は、記録した動作ログ情報を、レンズ制御部１２５を介してカメラ制御部２１１に送信する。カメラ制御部２１１は、受信した動作ログ情報を動作ログ保持部２２２に記録する。
＜報酬情報と制御結果の点数化＞
報酬情報は、ＮＮアルゴリズムによる制御結果を点数化する際における点数の基準となる情報である。報酬情報は、ＮＮアルゴリズムによる制御結果に対して、点数の境界値とその境界値で区切られた報酬範囲毎に割り当てられた点数の情報を含む。

図８（ａ１）、（ｂ１）、（ｃ１）、（ｄ１）はそれぞれ、ＮＮアルゴリズムによる制御結果を示す項目である位置精度、駆動速度、駆動加速度および消費電力についての学習時における経過時間（横軸）と点数の境界値（縦軸）との関係を示している。また、図８（ａ２）、（ｂ２）、（ｃ２）、（ｄ２）はそれぞれ、位置精度、駆動速度、駆動加速度および消費電力についての報酬情報のデータ構造を示している。報酬情報のデータは、複数の報酬範囲の境界値と、それぞれの境界値で区切られた報酬範囲で獲得できる点数とより構成されている。本実施例では、２つの境界値とこれらにより区切られた３つの報酬範囲に割り当てられた３つの点数とで構成される例を示す。

ＮＮアルゴリズムは制御結果の獲得点数が高得点となるように学習される。このため、境界値が駆動目標（目標位置）に近いほど、より高精度な制御が行われるように学習される。例えば、位置精度の境界値が０に近い値になるほど、位置精度が０に近づく制御が行われるように学習される。また他の項目よりも点数を高くすることは、他の項目よりも学習の優先度が高いことを示す。例えば、位置精度よりも消費電力の点数を高くすることで、位置精度よりも消費電力を優先させる制御となるように学習される。

図８（ａ１）の縦軸は、フォーカスレンズ１０１の目標位置と現在位置との差である位置精度Ｅの値を示している。正の位置精度Ｅは目標位置に対して現在位置が無限遠側にあることを示し、負の位置精度Ｅは目標位置に対して現在位置が至近側にあることを示す。位置精度Ｅが０に近いほど、フォーカスレンズ１０１の駆動制御における位置精度が高いことを示している。

図８（ａ２）は、位置精度Ｅの報酬情報である位置精度報酬情報ＲＥのデータ構造を示している。位置精度報酬情報ＲＥは、位置精度Ｅの報酬範囲の境界値Ｅ１、Ｅ２と、それぞれの報酬範囲において獲得できる点数ＳＥ１、ＳＥ２、ＳＥ３により構成される。Ｅ１×－１～Ｅ１の報酬範囲をＡＥ１とし、報酬範囲ＡＥ１を除くＥ２×－１～Ｅ２の報酬範囲をＡＥ２とする。また、報酬範囲ＡＥ１、ＡＥ２以外の報酬範囲をＡＥ３とする。位置精度Ｅが報酬範囲ＡＥ１、ＡＥ２、ＡＥ３内にあるときそれぞれ、図８（ａ２）に示す点数ＳＥ１、ＳＥ２、ＳＥ３が報酬として与えられる。ここで点数ＳＥ１、ＳＥ２、ＳＥ３の関係は、ＳＥ１＞ＳＥ２＞ＳＥ３となっており、位置精度Ｅが０に近いほど高い点数が与えられる。

図８（ａ１）に示すように、任意の時間ＴＰ１、ＴＰ２、Ｔｐ３のそれぞれにおける位置精度Ｅは報酬範囲ＡＥ２、ＡＥ３、ＡＥ１内にある。このため、時間ＴＰ１、ＴＰ２、Ｔｐ３のそれぞれにおいて獲得できる報酬は、点数ＳＥ２、ＳＥ３、ＳＥ１となる。

例えば、境界値Ｅ１としては±Ｆδ／２が、境界値Ｅ２としては±Ｆδの値が設定される。つまり、フォーカスレンズ１０１の目標位置に対して現在位置が焦点深度内に制御されていれば高い得点が獲得され、焦点深度外となった場合には低い点数しか獲得されない。また、フォーカスレンズ１０１の現在位置が目標位置に近いほど多い点数が獲得される。

図８（ｂ１）の縦軸は、フォーカスレンズ１０１の駆動速度Ｖの値を示している。正の駆動速度Ｖは無限遠方向への駆動速度を示し、負の駆動速度Ｖは至近方向への駆動速度を示している。駆動速度Ｖが０に近いほど、駆動音がより小さくなる。

図８（ｂ２）は、駆動速度の報酬情報である速度報酬情報ＲＶのデータ構造を示している。速度報酬情報ＲＶは、駆動速度Ｖの報酬範囲（点数）の境界値Ｖ１、Ｖ２と、それぞれの報酬範囲において獲得できる点数ＳＶ１、ＳＶ２、ＳＶ３により構成されている。

Ｖ１×－１～Ｖ１の報酬範囲をＡＶ１とし、報酬範囲ＡＶ１を除くＶ２×－１～Ｖ２の報酬範囲ＡＶ２とする。また、報酬範囲ＡＶ１、ＡＶ２以外の報酬範囲をＡＶ３とする。駆動速度Ｖが報酬範囲ＡＶ１、ＡＶ２、ＡＶ３内にあるときはそれぞれ、図８（ｂ２）に示す点数ＳＶ１、ＳＶ２、ＳＶ３が報酬として与えられる。点数ＳＶ１、ＳＶ２、ＳＶ３の関係は、ＳＶ１＞ＳＶ２＞ＳＶ３となっており、駆動速度Ｖが０に近いほど高い点数が与えられる。

図８（ｂ１）に示すように、時間ＴＰ１、ＴＰ２、Ｔｐ３における駆動速度Ｖはそれぞれ報酬範囲ＡＶ２、ＡＶ３、ＡＶ１内である。このため、時間ＴＰ１、ＴＰ２、Ｔｐ３において獲得できる報酬はそれぞれ、点数ＳＶ２、ＳＶ３、ＳＶ１となる。

例えば、Ｖ１、Ｖ２は駆動速度Ｖと駆動音との関係により決定され、駆動速度Ｖを遅くするほど、獲得できる点数が多くなるように設定される。一般に駆動速度が遅いほど、駆動音が小さくなるため、獲得された点数が高いほど、静音を重視した駆動制御が行われることを示す。

図８（ｃ１）の縦軸は、フォーカスレンズ１０１の駆動加速度Ａの値を示している。正の駆動加速度Ａは無限遠方向への駆動加速度を示し、負の駆動加速度は至近方向への駆動加速度を示している。駆動加速度Ａが０に近いほど、駆動音が小さくなる。
図８（ｃ２）は、駆動加速度Ａの報酬情報である加速度報酬情報ＲＡのデータ構造を示している。加速度報酬情報ＲＡは、駆動加速度Ａの報酬範囲（点数）の境界値Ａ１、Ａ２と、それぞれの報酬範囲において獲得できる点数ＳＡ１、ＳＡ２、ＳＡ３により構成されている。

Ａ１×－１～Ａ１の報酬範囲をＡＡ１とし、報酬範囲ＡＡ１を除くＡ２×－１～Ａ２の報酬範囲をＡＶ２とする。また、報酬範囲ＡＡ１、ＡＡ２以外の報酬範囲をＡＡ３とする。駆動加速度Ａが報酬範囲ＡＡ１、ＡＡ２、ＡＡ３内のときはそれぞれ、図８（ｃ２）に示す点数ＳＡ１、ＳＡ２、ＳＡ３が報酬として与えられる。点数ＳＡ１、ＳＡ２、ＳＡ３の関係は、ＳＡ１＞ＳＡ２＞ＳＡ３となり、駆動加速度Ａが０に近いほど高い点数が与えられる。

図８の（ｃ１）が示す通り、駆動音に対して、時間ＴＰ１、ＴＰ２、Ｔｐ３における駆動加速度Ａはそれぞれ報酬範囲ＡＡ１、ＡＡ３、ＡＡ２内である。このため、時間ＴＰ１、ＴＰ２、Ｔｐ３において獲得できる報酬はそれぞれ、点数ＳＡ１、ＳＡ３、ＳＡ２となる。

例えば、Ａ１、Ａ２は駆動加速度Ａと駆動音との関係により決定され、駆動加速度Ａを小さくするほど、獲得できる点数が多くなるように設定される。一般に駆動加速度が小さいほど駆動音が小さくなるため、獲得された点数が高いほど、静音を重視した駆動制御が行われることを示す。

図８（ｄ１）の縦軸は、フォーカスレンズ１０１の駆動による消費電力Ｐの値を示している。消費電力Ｐが０に近いほど、消費電力が小さくなる。

図８（ｄ２）は、消費電力Ｐの報酬情報である消費電力報酬情報ＲＰのデータ構造を示している。消費電力報酬情報ＲＰは、消費電力Ｐの報酬範囲（点数）の境界値Ｐ１、Ｐ２と、それぞれの報酬範囲において獲得できる点数ＳＰ１、ＳＰ２、ＳＰ３により構成されている。

０～Ｐ１の報酬範囲をＡＰ１とし、Ｐ１～Ｐ２の報酬範囲をＡＰ２とする。また、報酬範囲ＡＰ１、ＡＰ２以外の報酬範囲をＡＰ３とする。消費電力Ｐが報酬範囲ＡＰ１、ＡＰ２、ＡＰ３内のときはそれぞれ、図８（ｄ２）に示す点数ＳＰ１、ＳＰ２、ＳＰ３が報酬として与えられる。点数ＳＰ１、ＳＰ２、ＳＰ３の関係は、ＳＰ１＞ＳＰ２＞ＳＰ３となっており、消費電力Ｐが０に近いほど、高い点数が与えられる。

図８（ｄ１）に示すように、時間ＴＰ１、ＴＰ２、ＴＰ３における消費電力Ｐはそれぞれ報酬範囲ＡＰ１、ＡＰ３、ＡＰ２内である。このため、時間ＴＰ１、ＴＰ２、ＴＰ３において獲得できる報酬はそれぞれ、点数ＳＰ１、ＳＰ３、ＳＰ２となる。

例えば、Ｐ１、Ｐ２は任意に決定され、消費電力Ｐを小さくするほど、獲得される点数が多くなるように設定される。このため、獲得された点数が高いほど、低消費電力を重視した駆動制御が行われることを示す。

機械学習部２２１は、上記報酬情報と、学習時におけるフォーカスレンズ１０１の駆動における動作ログ情報とを用いて、ＮＮアルゴリズムによる制御結果を単位時間毎に点数化し、単位時間毎の点数を累計する。これにより、ＮＮアルゴリズムによる制御結果の累計点数を決定することができる。また、位置精度（制御誤差）、駆動速度、駆動加速度および消費電力のそれぞれの得点を加算することで、ＮＮアルゴリズムによるトータルとしての制御結果を点数化することができる。

なお、本実施例では消費電力を制御結果として用いる例について説明しているが、駆動速度および駆動加速度と消費電力との関係から得られる駆動速度や駆動加速度の制御結果を用いて消費電力に対する報酬情報を設定してもよい。また本実施例では、境界値の数を固定しているが、可変としてもよい。さらに本実施例では、点数を境界値により決定しているが、位置精度、駆動速度、駆動加速度および消費電力を点数に変換する変換関数を用いて点数化してもよい。この場合、報酬情報として境界値ではなく、変換関数とその係数が報酬情報として設定される。
＜機器制約報酬情報、ユーザ要望報酬情報およびユーザ要望報酬変換情報＞
図９は、機器制約報酬情報とユーザ要望報酬情報のデータ構造を示している。機器制約報酬情報は、位置精度報酬情報ＲＥｂ、速度報酬情報ＲＶｂ、加速度報酬情報ＲＡｂおよび消費電力報酬情報ＲＰｂにより構成されている。ユーザ要望報酬情報は、位置精度報酬情報ＲＥｕ、速度報酬情報ＲＶｕ、加速度報酬情報ＲＡｕおよび消費電力報酬情報ＲＰｕにより構成されている。

位置精度報酬情報ＲＥｂと位置精度報酬情報ＲＥｕは、図８（ａ２）に示した位置精度報酬情報ＲＥと同じデータ構造を有する。速度報酬情報ＲＶｂと速度報酬情報ＲＶｕは、図８（ｂ２）に示した速度報酬情報ＲＶと同じデータ構造を有する。加速度報酬情報ＲＡｂと加速度報酬情報ＲＡｕは、図８（ｃ２）に示した加速度報酬情報ＲＡと同じデータ構造を有する。消費電力報酬情報ＲＰｂと消費電力報酬情報ＲＰｕは、図８（ｄ２）に示した消費電力報酬情報ＲＰと同じデータ構造を有する。

機器制約報酬情報は、レンズ１００に固有の報酬情報であり、レンズ１００に応じて予め決められた報酬情報として機器制約報酬管理部２２４に保持されている。ユーザ要望報酬情報は、光学部材（つまりはアクチュエータ）の駆動に関する条件（設定項目）に対するユーザの要望レベル、言い換えれば上記駆動に関するユーザの要求のレベルに応じて変更される報酬情報である。本実施例では、フォーカス制御におけるフォーカスレンズ１０１の駆動に対して後述する複数の設定項目が設けられている。ユーザ要望報酬情報は、ユーザ要望報酬管理部２２５により、ユーザ設定によって変更された要望レベルとユーザ要望報酬変換情報とに応じて決定される。

報酬管理部２２３は、機器制約報酬情報とユーザ要望報酬情報を合わせたものを報酬情報として管理している。

機器制約報酬情報は、レンズ１００（機器）として最低限守るべき制御を規定するための報酬情報であり、ユーザ要望報酬情報よりも境界値により決定される報酬範囲が広く、期待する目標から逸脱する場合に負の値を含む低い点数が設定される。

ユーザ要望報酬情報は、ユーザ要望入力管理部２２６を介してユーザ設定により変更可能であり、ユーザ設定により変更された要望レベルとユーザ要望報酬変換情報とにより決定される。ユーザ要望入力管理部２２６は、ユーザが容易に要望レベルの設定を変更可能となるように表示部２０５に表示させるユーザ要望入力画像を管理（制御）する。また、ユーザ要望入力管理部２２６は、ユーザにより操作された操作部２０６からの入力に対して、要望レベルの変更を管理する。操作部２０６、ユーザ要望入力管理部２２６および表示部２０５により設定部が構成される。ユーザ要望入力管理部２２６により表示部２０５に表示されるユーザ要望入力画像については後述する。

ＮＮアルゴリズムの学習においては、図８に示す通り、機器制約報酬情報とユーザ要望報酬情報のそれぞれを用いて制御結果の点数が決定され、それらの点数を加算したものが最終的な制御結果の点数として決定される。

ここで、ユーザにより設定された要望レベルに応じてユーザ要望報酬情報を決定する方法について説明する。 図１０（ａ）～（ｄ）は、ユーザ要望報酬変換情報のデータ構造を示している。ユーザ要望報酬変換情報は、ユーザにより設定される要望レベルと各設定項目における駆動目標との関係を示す情報に相当する。

図１０（ａ）は、位置精度ユーザ要望報酬変換情報ＵＲＥｕのデータ構造を示している。位置精度ユーザ要望報酬変換情報ＵＲＥｕは、レベル毎に境界値と点数が異なる複数の位置精度報酬情報ＲＥｕにより構成されている。

図１０（ｂ）は、静音ユーザ要望報酬変換情報ＵＲＳｕのデータ構造を示している。静音ユーザ要望報酬変換情報ＵＲＳｕは、速度ユーザ要望報酬変換情報ＵＲＶｕと加速度ユーザ要望報酬変換情報ＵＲＡｕにより構成されている。速度ユーザ要望報酬変換情報ＵＲＶｕと加速度ユーザ要望報酬変換情報ＵＲＡｕはそれぞれ、レベル毎に境界値と点数が異なる複数の速度報酬情報ＲＶｕと複数の加速度報酬情報ＲＡｕにより構成されている。

図１０（ｃ）は、消費電力ユーザ要望報酬変換情報ＵＲＰｕのデータ構造を示している。消費電力ユーザ要望報酬変換情報ＵＲＰｕは、レベル毎に境界値と点数が異なる複数の消費電力報酬情報ＲＰｕにより構成されている。

図１０（ｄ）は、応答性ユーザ要望報酬変換情報ＵＲＲｕのデータ構造を示している。応答性ユーザ要望報酬変換情報ＵＲＲｕは、それぞれレベル毎に境界値と点数が異なる複数の速度報酬情報ＲＶｕと複数の加速度報酬情報ＲＡｕにより構成されている。

位置精度ユーザ要望報酬変換情報ＵＲＥｕ、静音ユーザ要望報酬変換情報ＵＲＳｕ、消費電力ユーザ要望報酬変換情報ＵＲＰｕおよび応答性ユーザ要望報酬変換情報ＵＲＲｕには、ユーザの要望レベルが高い順に、レベル１、レベル２、レベル３、レベル４およびレベル５がある。また、この順で要望レベルが高い方から低くなるように境界値と点数が決定されている。具体的には、レベル１は、他のレベルに比べて境界値が設定項目における駆動目標に近い値となっており、かつ高い点数が与えられている。

ただし、応答性ユーザ要望報酬変換情報ＵＲＲｕでは、フォーカスレンズ１０１の応答性が良い、すなわち駆動速度や駆動加速度が大きい方がユーザの要望レベルとして高い方向であるため、静音ユーザ要望報酬変換情報ＵＲＳｕとは点数の大小が逆となる。具体的には、点数ＳＶｕ１＜ＳＶｕ２＜ＳＶｕ３となり、駆動速度Ｖが大きいほど高い点数となる。また、点数ＳＡｕ１＜ＳＡｕ２＜ＳＡｕ３となり、駆動加速度Ａが大きいほど高い点数となる。

図１に示した操作部２０６によりユーザが設定した位置精度、静音および消費電力のそれぞれのレベル情報は、カメラ制御部２１１とユーザ要望入力管理部２２６を介してユーザ要望報酬管理部２２５に伝達される。ユーザ要望報酬管理部２２５は、自身が保持している図１０（ａ）～（ｄ）に示したユーザ要望報酬変換情報から、ユーザが設定した位置精度、静音、消費電力および応答性のそれぞれのレベル情報に基づいてユーザ要望報酬情報を決定する。

このように、ユーザ設定により変更された要望レベルとユーザ要望報酬情報とに基づいてＮＮアルゴリズムの学習が行われ、設定された要望レベルに応じた最適な制御を行うことが可能なＮＮアルゴリズム（機械学習モデル）が生成される。生成されたＮＮアルゴリズムは、カメラ制御部２１１からレンズ制御部１２５に送られ、ＮＮデータ記憶部１２３に記憶されてフォーカス制御に使用される。
＜ユーザ要望入力画像＞
図１１（ａ１）は、複数の設定項目としての位置精度、静音、消費電力および応答性に対するユーザの要望レベルをそのままユーザに設定（入力）させる場合における表示部２０５に表示されるユーザ要望入力画像の例を示している。この画像例では、ユーザが位置精度、静音、消費電力および応答性に対する要望レベルをレベル１～５のうち任意に設定可能な表示がなされている。ユーザは、操作部２０６を操作して希望するレベルへ設定指標（黒丸）を移動させる。

図１１（ａ２）は、図１１（ａ１）で設定された要望レベルを示している。位置精度ユーザ要望報酬変換情報ＵＲＥｕ（以下、位置精度レベルという）はレベル４、静音ユーザ要望報酬変換情報ＵＲＳｕ（以下、静音レベルという）はレベル１に設定されている。また、消費電力ユーザ要望報酬変換情報ＵＲＰｕ（以下、消費電力レベルという）はレベル３、応答性ユーザ要望報酬変換情報ＵＲＲｕ（以下、応答性レベルという）はレベル１に設定されている。この例は、ユーザが静音を最も優先度を高くしたいという要望により静音レベルを１に設定し、さらに応答性は静音よりは優先度は低いができるだけ高い方がよいと考えた場合の例である。

ただし、応答性レベルの各レベルが定量的にどのような応答性かをユーザは認識できないため、ユーザが応答性レベルをどのレベルに設定すべきかを判断することが難しい。仮に、図１１（ａ１）のように、応答性は高いほどよいであろうと考えて応答性レベルも１に設定した場合、実際には静音と応答性には依存関係があるため、最も優先度が高い静音に対して駆動音が最も低くならず、ユーザの要望レベルを満足することができない可能性がある。よって、ユーザが適切に要望レベルを設定するには、各設定項目間の依存関係を認識しながら設定する必要があり、これは非常に困難である。

本実施例は、このような課題を解消するために、現在の要望レベルをユーザに意識させることなく、簡単に要望レベルを設定（変更）できるようにするためのユーザインターフェースを提供する。図１２（ａ１）～（ｃ２）は、本実施例における表示部２０５でのユーザ要望入力画像の例と内部設定された要望レベルとの関係を示している。

図１２（ａ１）は、ユーザに設定を入力させる際の初期表示の例を示している。図１２（ａ２）は、図１２（ａ１）の初期表示状態においてユーザ要望入力管理部２２６で設定項目ごとに設定されている内部データとしての要望レベルを示している。ここでは、位置精度レベルが４、静音レベルが２、消費電力レベルが３、応答性レベルが５である例を示している。図１２（ａ１）では、ユーザ要望入力管理部２２６で設定されている現在の要望レベルがどのレベルであるかに関わらず、基準位置としての中央位置に設定指標（黒丸）が表示されている。そして、ユーザは操作部２０６において各設定項目に対応する性能の要望レベルを上げる（ＵＰ）か下げる（ＤＯＷＮ）かのみを選択する操作をすればよいことを示す表示がなされている。言い換えれば、現在設定されている要望レベルをユーザに対して表示することなく、ユーザに要望レベルの上げと下げを選択する（すなわち要望レベルを変更する）操作を行わせる。そして、該操作をガイドするユーザ要望入力画像を表示部２０５に表示する。このような表示がなされることで、ユーザは、各設定項目に対応する性能を上げるか下げるかを選択するのみでよいため、簡単に要望レベルを設定することができる。

また、図１２（ｂ１）は、図１２（ａ１）の初期表示状態から、位置精度と静音の要望レベルを上げるようにユーザ操作がなされた場合の表示例を示している。図１２（ｂ２）は、図１２（ｂ１）の状態でのユーザの要望レベルの内部データを示しており、位置精度レベルはレベル４からレベル３に変更され、静音レベルはレベル２からレベル１に変更されている。ここで各要望レベルの変更に応じて、前述したようにユーザ要望報酬管理部２２５にてユーザ要望報酬変換情報からユーザ要望報酬情報が決定され、ＮＮアルゴリズムの学習が行われる。また、静音の要望レベルが上げられると、静音と依存関係にある応答性が図１２（ｂ１）に示すようにグレーアウト等することで、要望レベルの変更を不可とする表示を行う。これにより、相互に依存関係がある静音と応答性の両方の要望レベルが上げられ、結果として両方の性能が上がらないことを防止することができ、ユーザの要望レベルをより正確に反映させることができる。

図１２（ｃ１）は、図１２（ｂ１）、（ｂ２）での設定にて学習が完了した後に、再度要望レベルの変更を受け付ける際の表示例を示している。図１２（ｃ２）は、図１２（ｃ１）の状態での要望レベルの内部データを示しており、図１２（ｂ２）での要望レベルの内部データからは変化していない。しかし、図１２（ｃ１）の表示状態は、図１２（ｂ１）の表示状態から変更されている。

ユーザに要望レベルを設定させるための表示は、学習が完了した現在の性能を基準として該性能を上げるか下げるかを入力させる表示とするため、図１２（ｂ１）で要望レベルが上げられた位置精度においては再び基準位置（中央位置）に設定指標が表示される。また、静音においては、現在の静音レベルが最大のレベル１であり、かつ静音と依存関係にある応答性のレベルも最低のレベル５である。よって、これ以上、静音の性能を上げることは不可能であるため、設定を上げる側に表示して、これ以上、静音に対する要望レベルを上げることができないようにする。

以上説明したように、本実施例では、ユーザが各設定項目に対応する性能を現在の性能から上げるか下げるかを単純に選択して指定するだけで、相互に依存関係にある複数の性能を同時に上げることができる。また、これ以上は上げられない性能を上げるようなユーザの誤操作を防止することもできる。すなわち、上記複数の性能のレベルをユーザが簡単に設定することができる。

図１６は、本実施例においてユーザ要望入力管理部２２６が表示部２０５にユーザ要望入力画像を表示する処理（生成方法）を示している。ユーザ要望入力管理部２２６は、コンピュータプログラムに従って本処理を実行する。

ステップＳ２０１において、ユーザ要望入力管理部２２６は、表示部２０５に図１２（ａ１）に示した初期表示を行う。この際、各設定項目に対して、図１２（ａ２）に示した内部データに応じた要望レベルを設定する。

次にステップＳ２０２において、ユーザ要望入力管理部２２６は、操作部２０６においてユーザにより選択された設定項目の性能を上げる（ＵＰ）か下げる（ＤＯＷＮ）かの操作がなされたか否かを判定する。ユーザ要望入力管理部２２６は、操作がなされなければ再度、本ステップを繰り返す。ＵＰが操作された場合は、ステップＳ２０３に進み、選択された設定項目の要望レベルを１段階上げてステップＳ２０５に進む。一方、ＤＯＷＮが操作された場合は、ステップＳ２０４に進み、選択された設定項目の要望レベルを１段階下げてステップＳ２０５に進む。

ステップＳ２０５では、ユーザ要望入力管理部２２６は、ステップＳ２０３またはステップＳ２０４で変更された後の要望レベルで内部データの更新を行う。そしてステップＳ２０２に戻る。
＜他のユーザ要望入力画像＞
本実施例では、各性能の要望レベルを現在のレベルから１段階上げるか下げるかをユーザが設定可能な表示例について説明したが、複数段階上げるか下げるかを設定可能としてもよい。また、性能の要望レベルを上げるか否かのみを設定可能としてもよい。

また本実施例では、直接的に相互依存関係を有する静音と応答性について同時に要望レベルを上げることを不可とする例について説明したが、その他の性能についても相互依存関係は少なからずある。例えば、一般に、応答性が高いと消費電力が大きくなる傾向にあり、また位置精度も低下する傾向にある。このため、要望レベルを変更できる設定項目を１つに限定してもよい。

また本実施例では、特定の性能の要望レベルが最大のレベル１となった場合に、これ以上要望レベルを上げられない表示を行う例について説明した。しかし、該特定の性能と相互依存関係にある他の性能のレベルを下げることで、特定の性能の要望レベルを上げることができるようにしてその表示を行うようにしてもよい。例えば、静音レベルがレベル１であっても応答性レベルがレベル４であれば、静音の要望レベルの上げを受け付け可能とし、静音の要望レベルが上げられた場合は応答性レベルをレベル５に下げるようにしてもよい。このような場合において、性能のレベルを下げる設定項目は、要望レベルを上げる設定項目との依存関係がより大きい設定項目を優先することが好ましい。

さらに本実施例では、性能の要望レベルのユーザ設定に基づいて該性能のレベルを変更する例について説明したが、ユーザ要望報酬変換情報の境界値や点数を変更して報酬情報を変更することにより、性能のレベルを変更するようにしてもよい。
＜フォーカス制御以外の例＞
本実施例ではフォーカスレンズ１０１を駆動対象とするフォーカス（ＡＦ）制御に対するユーザ要望入力画像について説明したが、同様のユーザ要望入力画像をズーム制御、絞り制御および振れ補正制御等の他の制御において表示してもよい。

静音と消費電力については、フォーカスレンズ１０１だけでなく、ズームレンズ１０２、絞りユニット１０３および補正レンズ１０４等の光学部材をアクチュエータにより駆動する場合に共通の課題を有する。ズームレンズ１０２については、ズーミングによる画角変化における被写体の拡大変化量の関係により要求される位置精度が決定される。またズームレンズ１０２の駆動量と画角変化量との関係からもズームレンズ１０２の位置精度が決定される。絞りユニット１０３については、絞り駆動量と映像の輝度変化量との関係から位置精度が決定される。補正レンズ１０４については、撮像光学系の焦点距離と映像のシフト量との関係から位置精度が決定される。
＜他のレンズ情報＞
本実施例では、レンズ情報として、焦点深度およびフォーカス敏感度を例に説明したが、レンズ１００の姿勢、温度および周囲音量もレンズ情報に含めてもよい。光学部材の駆動には重力が影響するため、レンズ１００の姿勢に応じてアクチュエータに必要な駆動力（またはトルク）を変化させてもよい。また、光学部材の駆動機構に使用される潤滑油の特性が温度によって変化するため、レンズ１００の温度に応じてアクチュエータの駆動力を変化させてもよい。さらに、アクチュエータの駆動音が周囲音量に比べて小さければ、光学部材の駆動速度の制限を外しても撮像より取得される映像には影響がない。したがって、周囲音量に応じて駆動速度の上限を変化させてもよい。

＜撮像モードに応じた要望レベルの保持＞
本発明の実施例２であるカメラシステムの構成は、図１に示した実施例１のカメラシステムと同様である。実施例１では、ユーザが簡単に要望レベルを設定できるユーザ要望入力画像の例について説明したが、ユーザの要望レベルは撮像条件によって大きく異なる場合がある。例えば、静止画撮像では被写体に精度良くピントが合うことが望まれるために合焦精度の要望が高く、動画撮像ではアクチュエータの駆動音が録音されないように静音に対する要望が高い。このため、ユーザが撮像条件によらずに現在設定されている性能を基準として要望レベルを設定すると、ユーザは静止画撮像と動画撮像を切り替えるたびに各設定項目に対する要望レベルを設定し直さなければならず、煩わしい。そこで、実施例２では、撮像条件としての撮像モードごとに要望レベルの設定値を保持し、選択された撮像モードに対応する設定値からの要望レベルの変更を可能とする。
＜ユーザ要望入力画像＞
図１３（ａ１）～（ｃ２）は、本実施例において表示部２０５に表示されるユーザ要望入力画像の例と内部設定された要望レベルとの関係を示している。図１３（ａ１）は、ユーザに設定を入力させる際の初期表示の例を示している。ユーザは、撮像モードを静止画撮像を行う静止画モードと動画撮像を行う動画モードに操作部２０６を通じて切り替え可能であり、図１３（ａ１）は現在の撮像モードが静止画モードである場合を示している。設定項目としては、実施例１と同様に位置精度、静音、消費電力および応答性が設けられている。

図１３（ａ２）は、図１３（ａ１）の初期表示状態においてユーザ要望入力管理部２２６で設定項目ごとに設定されている内部データとしての要望レベル（設定値）を示している。この要望レベルは、撮像モード毎に保持されている。ここでは、静止画モードにおける要望レベルとして、位置精度レベルが１、静音レベルが５、消費電力レベルが４、応答性レベルが２である場合を示している。また、動画モードにおける要望レベルとして、位置精度レベルが３、静音レベルが１、消費電力レベルが２、応答性レベルが４である場合を示している。

図１３（ａ１）では、ユーザ要望入力管理部２２６で設定されている現在の静止画モードの要望レベルがどのレベルであるかに関わらず、基準位置としての中央位置に設定指標（黒丸）が表示されている。そして、実施例１と同様に、ユーザは各設定項目に対応する性能の要望レベルを上げる（ＵＰ）か下げる（ＤＯＷＮ）かのみを指定（選択）する操作をすればよいことを示す表示がなされている。

図１３（ｂ１）は、図１３（ａ１）の初期表示状態から、消費電力の要望レベルを上げるようにユーザ設定がなされた場合の表示例を示している。図１３（ｂ２）は、この状態に操作された場合のユーザの要望レベルを示しており、静止画モードにおける消費電力レベルがレベル４からレベル３に変更されている。

図１３（ｃ１）は、図１３（ａ１）の初期表示状態から、ユーザにより撮像モードが動画モードに変更され、位置精度の要望レベルが上げられた場合の表示例を示している。図１３（ｃ２）は、図１３（ｂ１）の状態でのユーザの要望レベルの内部データを示しており、動画モードにおける位置精度レベルがレベル３からレベル２に変更されている。

図１３（ｂ２）や図１３（ｃ２）で変更された各要望レベルに応じて、実施例１で説明したようにユーザ要望報酬管理部２２５にてユーザ要望報酬変換情報からユーザ要望報酬情報が決定され、ＮＮアルゴリズムの学習が行われる。

このように、ユーザ要望入力管理部２２６にて管理される要望レベルは撮像モード毎に保持され、現在設定されている撮像モードに対応した要望レベルが変更されると、それに応じた学習が実行される。このため、ユーザは、各設定項目に対する要望レベルが大きく異なる撮像モード毎に設定された要望レベルを基準として要望レベルを変更することができ、撮像モードを変更するたびにすべての設定項目に対する要望レベルを変更する必要がなくなる。
＜その他の撮像条件＞
本実施例では、撮像条件が撮像モードである場合について説明したが、撮像条件には、レンズ１００の姿勢や温度、周囲音量、さらに被写体の種類等、ユーザの要望レベルに変化が生じる可能性のあるものを含めることができる。

＜ユーザ優先度に応じた要望レベル変更の重み付け＞
本発明の実施例３であるカメラシステムの構成は、図１に示した実施例１のカメラシステムと同様である。実施例１では、ユーザが簡単に要望レベルを設定できるユーザ要望入力画像の例について説明したが、ユーザは各設定項目対する要望レベルを変更することで該設定項目の性能が定量的にどの程度変化するかが分からない。このため、要望レベルが変更されても、ユーザが要望する性能に達しない可能性がある。そこで、実施例３では、撮像情報から各設定項目に対するユーザの優先度（以下、ユーザ優先度という）を取得し、ユーザ優先度に応じて１回の要望レベルの上げ（ＵＰ）操作に対する要望レベルの変更の大きさ（優先ウエイトの値）を異ならせる。
＜撮像情報＞
撮像情報は、フォーカス制御において撮像映像が受ける影響を示す情報であり、カメラ本体２００による撮像により生成された撮像映像から得られる情報である。本実施例では、撮像情報を用いてフォーカス制御によって撮像映像が受ける影響を加味して要望レベルを変更することで、ユーザが要望する性能をより適切に実現できるように制御する。
撮像情報は、信号処理回路２０３で得られた撮像映像をカメラ制御部２１１が解析することで得られ、カメラ制御部２１１からユーザ要望入力管理部２２６に送られる。具体的には、撮像情報は、焦点深度、動く被写体の移動速度、不図示のマイクにより検出された周辺音量、不図示のバッテリの電源残量等である。
＜優先ウエイト＞
図１４（ａ１）～（ｂ２）は、本実施例において表示部２０５に表示されるユーザ要望入力画像の例と内部設定された要望レベルおよび優先ウエイトとの関係を示している。図１４（ａ１）は、ユーザに設定を入力させる際の初期表示の例を示している。図１４（ａ２）は、図１４（ａ１）の初期表示状態においてユーザ要望入力管理部２２６で設定項目ごとに設定されている内部データとしての要望レベルを示している。また、各設定項目に対して撮像情報から決定された優先ウエイトも示している。現在の要望レベルは、位置精度レベルが１、静音レベルが５、消費電力レベルが４、応答性レベルが２である。

優先ウエイトについて、例として電源残量が少ない場合の例を説明する。電源残量が所定値を下回るとユーザの低消費電力の要望が高まると推測し、消費電力に対するユーザ優先度が高いと判断して消費電力に対する優先ウエイトを他の設定項目よりも高く設定する。図１４（ａ２）では、消費電力の優先ウエイトは２、他の設定項目の優先ウエイトは１としている。

また、図１４（ａ１）では、ユーザ要望入力管理部２２６で設定されている現在の要望レベルがどのレベルであるかに関わらず、基準位置としての中央位置に設定指標（黒丸）が表示されている。そして、実施例１と同様に、ユーザは各設定項目に対応する性能の要望レベルを上げる（ＵＰ）か下げる（ＤＯＷＮ）かのみを指定（選択）する操作をすればよいことを示す表示がなされている。

図１４（ｂ１）は、図１４（ａ１）の初期表示状態から、消費電力の要望レベルを上げるようにユーザ設定がなされた場合の表示例を示している。図１４（ｂ２）は、図１４（ｂ１）の状態でのユーザの要望レベルを示しており、優先ウエイトの値（２）だけ、すなわちレベル４からレベル２に消費電力レベルが上げられている。

図１４（ｂ２）で変更された各要望レベルに応じて、実施例１で説明したようにユーザ要望報酬管理部２２５にてユーザ要望報酬変換情報からユーザ要望報酬情報が決定さられ、ＮＮアルゴリズムの学習が行われる。

このように、撮像情報から得られるユーザ優先度が高いと推測される設定項目の優先ウエイトを高くして該設定項目の性能改善効果を大きくすることで、ユーザの要望を満足する可能性を高くすることができる。

図１７は、本実施例においてユーザ要望入力管理部２２６が表示部２０５にユーザ要望入力画像を表示する処理を示している。

ステップＳ３０１において、ユーザ要望入力管理部２２６は、表示部２０５に図１４（ａ１）に示した初期表示を行う。この際、各設定項目に対して、図１４（ａ２）に示した内部データに応じた要望レベルと優先ウエイトを設定する。

次にステップＳ３０２において、ユーザ要望入力管理部２２６は、操作部２０６においてユーザにより選択された設定項目の性能を上げる（ＵＰ）か下げる（ＤＯＷＮ）かの操作がなされたか否かを判定する。ユーザ要望入力管理部２２６は、操作がなされなければ再度、本ステップを繰り返す。ＵＰが操作された場合は、ステップＳ３０３に進み、選択された設定項目の要望レベルを優先ウエイトの値の段階上げてステップＳ３０５に進む。一方、ＤＯＷＮが操作された場合は、ステップＳ３０４に進み、選択された設定項目の要望レベルを１段階下げてステップＳ３０５に進む。

ステップＳ３０５では、ユーザ要望入力管理部２２６は、ステップＳ３０３またはステップＳ３０４で変更された後の要望レベルで内部データの更新を行う。そしてステップＳ３０２に戻る。

次に、要望レベルを下げる設定項目の選択方法について説明する。図１５は、本実施例の表示例と内部設定されている要望レベルおよび優先ウエイトの関係を示している。

図１５（ａ１）～（ｂ２）は、本実施例において表示部２０５に表示されるユーザ要望入力画像の例と内部設定された要望レベルおよび優先ウエイトとの関係を示している。図１５（ａ１）は、ユーザに設定を入力させる際の初期表示の例を示している。図１５（ａ２）は、図１５（ａ１）の初期表示状態においてユーザ要望入力管理部２２６で設定項目ごとに設定されている内部データとしての要望レベルを示している。また、各設定項目に対して撮像情報から決定された優先ウエイトも示している。

現在の要望レベルは、位置精度レベルが１、静音レベルが２、消費電力レベルが４、応答性レベルが２である。優先ウエイトについて、周辺音量が小さく、かつ被写体の移動速度が速い場合の例を説明する。周辺音量が所定値を下回ると、ユーザの静音の要望が高まると推測し、静音のユーザ優先度が高いと判断して静音に対する優先ウエイトを高く設定する。さらに、被写体の移動速度が所定値を上回ると、ユーザの応答性の要望が高まると推定し、応答性のユーザ優先度が高いと判断して応答性に対する優先ウエイトを高く設定する。この際、被写体の移動速度が速いほど応答性に対する優先ウエイトを高く設定する。図１５（ａ２）では、静音の優先ウエイトは２、応答性の優先ウエイトは３、他の設定項目の優先ウエイトは１としている。

また、図１５（ａ１）では、ユーザ要望入力管理部２２６で設定されている現在の要望レベルがどのレベルであるかに関わらず、基準位置としての中央位置に設定指標（黒丸）が表示されている。そして、実施例１と同様に、ユーザは各設定項目に対応する性能の要望レベルを上げる（ＵＰ）か下げる（ＤＯＷＮ）かのみを指定（選択）する操作をすればよいことを示す表示がなされている。

図１５（ｂ１）は、図１５（ａ１）の初期表示状態から、応答性の要望レベルを上げるようにユーザ設定がなされた場合の表示例を示している。図１５（ｂ２）は、図１５（ｂ１）の状態でのユーザの要望レベルを示している。要望レベルが上げられた応答性については優先ウエイトの値（３）だけ応答性レベルが上げられる。ただし、応答性レベルが上限であるレベル１に達した場合は、他の設定項目の要望レベルを下げることで応答性の性能改善効果が上がるようにする。この際、優先ウエイトの低い設定項目、すなわちユーザ優先度が低い設定項目から順に要望レベルを下げる。したがって、応答性レベルがレベル２からレベル１に変更された場合に、残りの２つのレベルを優先ウエイトが低い設定項目から下げる。具体的には、位置精度レベルをレベル１からレベル２に変更し、消費電力レベルをレベル４からレベル５に変更する。

図１５（ｂ２）で変更された各要望レベルに応じて、実施例１で説明したようにユーザ要望報酬管理部２２５にてユーザ要望報酬変換情報からユーザ要望報酬情報が決定さられ、ＮＮアルゴリズムの学習が行われる。

このように、撮像情報に基づいて優先ウエイトを設定し、ユーザ優先度が高いと推測される設定項目の要望レベルが上げられた場合に優先ウエイトが低い設定項目の要望レベルを下げることにより、ユーザ優先度が高い設定項目の性能改善効果を高めることができる。これにより、ユーザの要望を反映することができる。
＜その他の優先ウエイトの設定方法＞
本実施例では、撮像情報に基づいて優先ウエイト（優先度）を設定する場合について説明したが、他の方法で優先ウエイトを設定してもよい。例えば、ユーザが要望レベルを変更する頻度に応じて優先ウエイトを設定してもよい。すなわち、変更頻度が高いほど優先ウエイトを高くすることで、ユーザが頻繁に要望レベルを変更する設定項目の性能改善効果を高めることができる。また、ユーザが要望レベルを変更した履歴に応じて優先ウエイトを設定してもよい。すなわち、ユーザ操作に対応する設定項目の要望レベルが上限に達していて別の設定項目の要望レベルを下げる場合において、直近で変更された設定項目の優先ウエイトを上げることにより、その設定項目の優先ウエイトを下げないようにするとよい。これらの設定方法によって優先ウエイトを設定しても、ユーザが要望する性能をより適切に実現することができる。

また本実施例では、要望レベルの設定と優先ウエイトに基づいて各性能の要望レベルを変更することで性能を変更する場合について説明したが、ユーザ要望報酬変換情報の境界値や点数を優先ウエイトに応じて変更することで性能を変更するようにしてもよい。

またアクセサリは、レンズに限らず、カメラ本体に対して着脱可能で光学部材の駆動を制御する機能を有するものであればよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ レンズ装置
１０１ フォーカスレンズ
１０５ フォーカスレンズ駆動部
２００ カメラ本体
２０６ 操作部
２２１ 機械学習部
２２６ ユーザ要望入力管理部

Claims (15)

1. アクチュエータによる光学部材の駆動に関する要求をユーザが設定するための設定部と、
   前記要求のレベルに基づいて、前記駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する処理部とを有し、
   前記設定部は、前記要求のレベルを変更することを入力するためのものであることを特徴とする光学機器。
2. 前記設定部は、前記レベルを上げることを入力するためのものであることを特徴とする請求項１に記載の光学機器。
3. 前記設定部は、前記駆動に関する複数の要求をユーザが設定するためのものであることを特徴とする請求項１または２に記載の光学機器。
4. 前記要求は、前記駆動における精度、音、消費電力および応答性のうち少なくとも１つに関することを特徴とする請求項１から３のいずれか一項に記載の光学機器。
5. 前記設定部は、前記複数の要求のうち相互に依存関係がある２つの要求に関しては、前記２つの要求のうちの１つの要求を前記ユーザに設定させることを特徴とする請求項１から４のいずれか一項に記載の光学機器。
6. 前記設定部は、前記要求のレベルと前記入力とに基づいて前記要求のレベルを更新することを特徴とする請求項１から５のいずれか一項に記載の光学機器。
7. 前記設定部は、撮像条件ごとに、前記要求をユーザが設定するためのものであることを特徴とする請求項１から６のいずれか一項に記載の光学機器。
8. 前記撮像条件は、前記光学機器の撮像モード、姿勢、温度、周囲音量および被写体のうち少なくとも１つに関することを特徴とする請求項７に記載の光学機器。
9. 前記設定部は、前記駆動に関する複数の要求に関して、該複数の要求に対する優先度に基づいて、前記入力に対する前記レベルの変更の大きさを互いに異ならせることを特徴とする請求項１から８のいずれか一項に記載の光学機器。
10. 前記設定部は、前記駆動に関する複数の要求のうち前記レベルを上げる入力がなされた要求に対するレベルを上げずに、前記複数の要求のうち他の要求に対するレベルを下げることを特徴とする請求項１から９のいずれか一項に記載の光学機器。
11. 前記設定部は、前記複数の要求に対する優先度に基づいて、前記他の要求に対するレベルを下げることを特徴とする請求項１０に記載の光学機器。
12. 前記設定部は、撮像により得られた画像、焦点深度、周辺音量、電源残量、像面の移動速度、前記設定の履歴のうち少なくとも１つに基づいて、前記優先度を得ることを特徴とする請求項９または１１に記載の光学機器。
13. 前記機械学習モデルを生成する生成部を有することを特徴とする請求項１から１２のいずれか一項に記載の光学機器。
14. アクチュエータによる光学部材の駆動を制御するための機械学習モデルを生成するための報酬の情報を生成する生成方法であって、
    前記駆動に関する要求をユーザに設定させ、
    前記要求のレベルに基づいて、前記報酬の情報を生成し、
    前記設定は、前記要求のレベルを変更することを入力することであることを特徴とする方法。
15. 請求項１４に記載の生成方法における処理をコンピュータに実行させることを特徴とするプログラム。

Images