JP2021173820A - 処理装置、光学装置、撮像装置、処理方法およびプログラム - Google Patents

Abstract

【課題】本発明は、例えば、光学部材の駆動の性能に関する使用者の要求に基づく機械学習に有利な処理装置を提供することを目的とする。【解決手段】処理装置は、光学装置において光学部材の駆動を行う駆動部に対する制御出力の機械学習を行う処理部を有し、前記処理部は、前記駆動の性能に関する使用者の要求に関する情報に基づいて前記機械学習を行い、かつ該機械学習の進捗に関する情報を生成することを特徴とする。【選択図】図１２

Description

本発明は、処理装置、光学装置、撮像装置、処理方法およびプログラムに関する。

近年、動画を撮像できるデジタルカメラが製品化されている。静止画の撮像では、速写性を重要視するため、オートフォーカスや絞り、電動ズームなどの高速動作が必要となる。一方、動画の撮像では、当該高速動作に伴うアクチュエータ（駆動部）の作動音が大きいと、記録された音声の品位が損なわれうる。特許文献１は、光学部材を駆動する速度や加速度を制限することにより動画の撮像における静音性を高めたレンズ装置を開示している。

特開２００７−６３０５号公報

求められる駆動部の静音性は、撮影状況により異なる。また、光学部材を駆動する速度や加速度に関しても、求められる性能（特性）は、撮影状況により異なる。これらに限らず、例えば、光学部材の位置決め精度や、消費電力等に関しても、求められる性能は、撮影状況により異なる。

ここで、機械学習（モデル）を利用すれば、光学部材の駆動の性能に係るユーザの要求に基づいて、撮影状況に応じた駆動の性能を実現しうる。ところが、レンズ装置の物理的な又はシステム上の制約などにより性能の向上が見込めない状況下で機械学習を実行すると、時間や電力を無駄にしうる。また、ユーザの要求に係る学習に関して、学習状況や改善状況、改善見込み等がわからないと、ユーザビリティの点で不利となりうる。

本発明は、例えば、光学部材の駆動の性能に関する使用者の要求に基づく機械学習に有利な処理装置を提供することを目的とする。

上記目的を達成するための処理装置は、光学装置において光学部材の駆動を行う駆動部に対する制御出力の機械学習を行う処理部を有し、前記処理部は、前記駆動の性能に関する使用者の要求に関する情報に基づいて前記機械学習を行い、かつ該機械学習の進捗に関する情報を生成することを特徴とする。
本発明の特徴は、以下の実施形態において説明される。

本発明によれば、例えば、光学部材の駆動の性能に関する使用者の要求に基づく機械学習に有利な処理装置を提供することができる。

実施例１のシステム構成ブロック図 フォーカスレンズ制御に要求される位置精度を示す図 フォーカスレンズ制御に要求される速度を示す図 位置精度と速度、消費電力、静音の関係を示す図 速度と位置精度、消費電力、静音の関係を示す図 実施例１のニューラルネットワークの入出力を示す図 機械学習の流れを示すフローチャート図 実施例１の報酬情報を示す図 実施例１の機器制約報酬情報、ユーザ要望報酬情報のデータ構造を示す図 実施例１のユーザ要望報酬変換情報のデータ構造を示す図 実施例１の学習進捗の通知表示一例の図 実施例２のシステム構成ブロック図 実施例２のニューラルネットワークの入出力を示す図 実施例２の報酬情報を示す図 実施例２の機器制約報酬情報、ユーザ要望報酬情報のデータ構造を示す図 実施例２のユーザ要望報酬変換情報のデータ構造を示す図 実施例２の学習進捗の通知表示一例の図 実施例３のシステムにおける学習残り時間導出方法の説明図 実施例５のシステム構成ブロック図

以下に、本発明の実施例について、図面を参照しながら説明する。

図１は、本発明の実施例１に係る光学学習システムの構成を示すブロック図である。

＜機械学習機能付き撮影システムの構成＞
図１には、本発明の実施例１である撮像システム（光学装置、カメラシステム）の構成を示している。

カメラシステムは、カメラ装置（以下、カメラ本体２００という）と、レンズ装置（以下、レンズ１００という）により構成されている。カメラ本体２００とレンズ１００は結合機構であるマウント３００を介して機械的および電気的に接続されている。カメラ本体２００は、マウント３００に設けられた不図示の電源端子部を介してレンズ１００に電源を供給する。また、カメラ本体２００とレンズ１００はマウント３００に設けられた不図示の通信端子部を介して相互に通信を行う。本実施例では、レンズ装置とカメラ本体がマウントを介して接続される構成を例に示すが、カメラ本体内に撮影光学系を構成する場合においても同様の効果が得られる。

レンズ１００は、撮像光学系を有する。撮像光学系は、焦点調節を行うフォーカスレンズ（フォーカスレンズ群）１０１、変倍を行うズームレンズ（ズームレンズ群）１０２、光量を調節する絞りユニット（開口絞り）１０３、像振れ補正レンズ（補正レンズ群）１０４を含む。フォーカスレンズ１０１とズームレンズ１０２は不図示のレンズ保持枠によって保持されている。レンズ保持枠は不図示のガイド軸により光軸方向（図中に破線で示す）に移動可能にガイドされている。

ズームレンズ１０２はズームレンズ駆動部１０７を介して光軸方向に移動し、位置はズームレンズ検出部１０８によって検出される。

絞りユニット１０３は絞り羽根を備えて構成され、絞り駆動部１０９によって駆動され、光量調節動作を行う。Ｆ値は絞り検出部１１０によって検出された開口絞りの位置（開口径）に基づいて導出される。

像振れ補正レンズ１０４は、像振れ補正レンズ駆動部１１２を介して光軸に直行する方向に移動し、手振れ等に起因する像振れを低減する。像振れ補正レンズ１０４の位置は、像揺れ補正レンズ検出部１１３によって検出される。

フォーカスレンズ駆動部１０５、ズームレンズ駆動部１０７、絞り駆動部１０９、像振れ補正レンズ駆動部１１２は、例えば超音波モータが構成されている。なお本実施例では超音波モータとしたが他のモータ（ボイスコイルモータ、ＤＣモータ、ステッピングモータ）にも適用可能である。

フォーカスレンズ検出部１０６、ズームレンズ検出部１０８、絞り検出部１１０、像揺れ補正レンズ検出部１１３は、例えばポテンションメーターや、エンコーダである。また駆動部がステッピングモータ等、所定の駆動量をフィードバック無しに駆動できるモータが構成されている場合は、所定位置検出手段を設ける方法でも良い。この場合は、フォトインタラプタ等の検出センサを設けた所定位置まで光学部材を初期駆動し、初期駆動後は、モータ駆動量を元に光学部材の位置を特定する方法でも良い。
揺れセンサ１１１はレンズ１００の揺れを検出するセンサであり、例えばジャイロである。

レンズマイクロコンピュータ（以下、レンズマイコン１２０という）は、ＮＮ制御部１２１、レンズ装置情報決定部１２２、ＮＮデータ記憶部１２３、動作ログ管理部１２４、制御部１２５、通信部１２６を有する。

ＮＮ制御部１２１は、フォーカスレンズ１０１の位置を制御する制御部である。ＮＮ制御部１２１は内部にニューラルネットワーク（以後、ＮＮとも記載する）アルゴリズムが実装され、機械学習パラメータを用いてＮＮアルゴリズムにより駆動指令を決定する。

レンズ装置情報決定部１２２は、ＮＮ制御部１２１で使用するレンズ装置情報を決定する決定部である。ＮＮデータ記憶部１２３は、ウエイトを保持する記憶部である。動作ログ管理部１２４は、フォーカスレンズ１０１の駆動制御に関係する動作ログ情報を管理する管理部である。制御部１２５は、ズームレンズ１０２、絞りユニット１０３、像振れ補正レンズ１０４夫々の位置を制御及びカメラ本体２００との情報伝達を制御する制御部である。制御部１２５は、例えば、制御対象への目標位置又は速度と現在の制御対象位置又は速度との偏差に対して、ＰＩＤ制御により駆動指令を生成し、制御を行う。通信部１２６はカメラ本体２００と通信するための通信部である。ＮＮアルゴリズム、ウエイト、レンズ装置情報、動作ログ情報については後述する。

カメラ本体２００は、撮像素子２０１、Ａ／Ｄ変換回路２０２、信号処理回路２０３、記録部２０４、表示部２０５、操作部２０６、カメラマイクロコンピュータ（以下、カメラマイコン２１０という）学習プロセッサ（処理部）２５０を有する。

撮像素子２０１はレンズ１００から入射した光（レンズ１００によって形成された像）を映像電気信号に変換する撮像素子であり、例えばＣＣＤセンサやＣＭＯＳセンサである。Ａ／Ｄ変換回路２０２は、撮像素子２０１から出力された映像電気信号をデジタル信号に変換するための変換回路である。信号処理回路２０３はＡ／Ｄ変換回路２０２から出力されたデジタル信号を映像データに変換する信号処理回路である。記録部２０４は信号処理回路２０３から出力された映像データを記録する記録部である。表示部２０５は信号処理回路２０３から出力された映像データを表示するための表示部である。操作部２０６は、使用者がカメラを操作するための操作部である。

カメラマイコン２１０はカメラ本体２００を制御する制御マイコンである。カメラマイコン２１０は制御部２１１、通信部２１２を有している。制御部２１１は、信号処理回路２０３からの映像データおよび操作部２０６からの使用者の操作情報を元に、レンズ１００への駆動指令を行う制御部である。また、制御部２１１は学習プロセッサ２５０に対しての指令や情報伝達を制御も行う。通信部２１２はレンズ１００との通信を行うための通信部である。通信部２１２は、制御部２１１からの駆動指令を制御コマンドとして、レンズ１００へ送信するための通信部である。また、通信部２１２は、レンズ１００からの情報の受信も行う通信部である。

学習プロセッサ（処理部）２５０は、プロセッサ（ＣＰＵ、ＧＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ）からなる。プロセッサは、機械学習部２５１、動作ログ保持部２５２、報酬管理部２５３、機器制約報酬管理部２５４、ユーザ要望報酬管理部２５５、学習状況管理部２５６の各種処理を実行する。記憶装置には、これらの制御をするためのプログラム、動作ログ保持部２５２が保持している動作ログ情報が記憶されている。記憶装置には更に、報酬管理部２５３が管理している報酬情報、機器制約報酬管理部２５４が管理している機器制約報酬情報、ユーザ要望報酬管理部２５５が管理しているユーザ要望報酬情報、ユーザ要望報酬変換情報、及び学習状況管理部２５６が管理している学習状況情報等が保持されている。報酬情報、機器制約報酬情報、ユーザ要望報酬情報及びユーザ要望報酬変換情報、学習状況情報については後述する。

＜撮影映像記録及び表示について＞
以下に図１に示すシステムにおける撮影映像記録及び表示について説明する。
レンズ１００に入射した光は、フォーカスレンズ１０１、ズームレンズ１０２、絞りユニット１０３、像振れ補正レンズ１０４を通過し、撮像素子２０１に結像する。撮像素子２０１に結像した光は、撮像素子２０１にて映像電気信号に変換され、Ａ／Ｄ変換回路２０２にてデジタル信号に変換され、信号処理回路２０３にて映像データに変換される。信号処理回路２０３から出力される映像データは記録部２０４に記録される。また表示部２０５は、信号処理回路２０３から出力される映像データを元に映像を表示させる。

＜フォーカス制御について＞
次にカメラ本体２００がレンズ１００のフォーカスを制御する方法について説明する。
制御部２１１は、信号処理回路２０３から出力された映像データを元に、ＡＦ（オートフォーカス）制御を行う。具体的には、制御部２１１は、映像データのコントラストの明暗差が最も大きくなるように、フォーカスレンズ１０１を動かして、撮影被写体にピントが合うように制御する。制御部２１１は、フォーカスレンズ１０１を動かすためのフォーカス駆動量を駆動指令として通信部２１２に出力する。通信部２１２は、制御部２１１から駆動指令を受け取ると、フォーカス駆動の駆動指令を制御コマンドに変換し、マウント３００の通信接点部を介してレンズ１００へ送信する。通信部１２６は、通信部２１２からの制御コマンドを受信すると、フォーカス駆動の駆動指令に変換し、制御部１２５を介してＮＮ制御部１２１に出力する。ＮＮ制御部１２１は、フォーカス駆動の駆動指令が入力されると、ＮＮデータ記憶部１２３に記憶されている学習済みのウエイトを用いて駆動信号を決定し、フォーカスレンズ駆動部１０５へ駆動信号（制御出力）を出力する。ＮＮ制御部１２１が駆動信号を決定する方法については、後述する。

以上により、制御部２１１からの駆動指令に従い、フォーカスレンズ１０１が駆動される。従って、制御部２１１は、映像データのコントラストの明暗差が最も大きくなるように、フォーカスレンズ１０１を動かすことで適切なＡＦ制御を行うことができる。

＜絞り制御について＞
次にカメラ本体２００がレンズ１００の開口絞りを制御する方法について説明する。
制御部２１１は、信号処理回路２０３から出力された映像データを元に、露出制御を行う。具体的には、制御部２１１は、映像データの輝度値が一定となるように、目標となるＦ値を決定する。制御部２１１は、決定したＦ値を駆動指令として通信部２１２に出力する。通信部２１２は、制御部２１１から駆動指令を受け取ると、Ｆ値の駆動指令を制御コマンドに変換し、マウント３００の通信接点部を介してレンズ１００へ送信する。通信部１２６は、通信部２１２からの制御コマンドを受信すると、Ｆ値の駆動指令に変換し、制御部１２５に出力する。制御部１２５は、Ｆ値の駆動指令が入力されると、絞り検出部１１０が検出した開口絞りのＦ値を元に駆動信号を決定し、絞り駆動部１０９へ駆動信号を出力する。以上により、映像データの輝度値が一定となるように、Ｆ値が制御され、適切な露光制御を行うことができる。

＜ズーム制御について＞
次にカメラ本体２００がレンズ１００のズームを制御する方法について説明する。
使用者は、操作部２０６を介してズーム操作を行う。制御部２１１は、操作部２０６から出力されたズーム操作量が入力されると、ズームレンズ１０２を動かすためのズーム駆動量を駆動指令として通信部２１２に出力する。通信部２１２は、制御部２１１から駆動指令を受け取ると、ズーム駆動の駆動指令を制御コマンドに変換し、マウント３００の通信接点部を介してレンズ１００へ送信する。通信部１２６は、通信部２１２からの制御コマンドを受信すると、ズーム駆動の駆動指令に変換し、制御部１２５に出力する。制御部１２５は、ズーム駆動の駆動指令が入力されると、ズームレンズ検出部１０８が検出したズームレンズ位置を元に駆動信号を決定し、ズームレンズ駆動部１０７へ駆動信号を出力する。以上により、操作部２０６に入力されたズーム操作に従い、ズームレンズ１０２が駆動され、使用者がズームを操作することができる。

＜防振制御について＞
次にレンズ１００が防振を行う方法について説明する。
制御部１２５は、揺れセンサ１１１から出力されたレンズ１００の揺れ信号を元に、レンズ１００の揺れを打ち消すように、像揺れ補正レンズ目標位置を決定する。制御部１２５は像揺れ補正レンズ検出部１１３が検出した像揺れ補正レンズ位置を元に駆動信号を決定し、像振れ補正レンズ駆動部１１２へ駆動信号を出力する。以上により、防振が正しく制御され、撮像素子２０１にて撮影された像揺れを防ぐことができる。

＜フォーカスレンズ制御に要求される４つの指標について＞
フォーカスレンズ制御には４つの要求事項がある。それは、位置精度、速度、消費電力、静音である。それぞれの要求事項をバランスよく制御することが求められる。以下夫々の要求事項について説明する。

＜フォーカスレンズ制御に要求される位置精度について＞
位置精度は、フォーカスレンズを目標位置へ駆動する際に、目標位置に対してどれだけ正確にフォーカスレンズを駆動できるかを表す指標である。
以下に位置精度について図２を用いて説明する。

図２は、焦点深度が浅い場合（ａ）と深い場合（ｂ）におけるフォーカスレンズの位置とピント位置の関係を示している。図２の（ａ）（ｂ）は、レンズ構成は同じで、Ｆ値のみ異なる場合を示している。
図２の（ａ）（ｂ）で共通のものに対しては同符号を付す。

フォーカスレンズ目標位置Ｇは、光軸上の主被写体の点物体Ｓが、撮像素子２０１上に合焦フォーカスレンズ位置を示している。フォーカスレンズ位置Ｃは、フォーカスレンズ目標位置Ｇを目標に駆動した後のフォーカス位置を示している。フォーカスレンズ位置Ｃは、フォーカスレンズ目標位置Ｇに対して、位置精度（制御誤差）Ｅの分だけ点物体Ｓ側の位置となっている。ピント位置Ｂｐは、フォーカスレンズ位置がフォーカスレンズ位置Ｃの時の点物体Ｓの結像位置を示している。許容錯乱円δは撮像素子２０１の許容錯乱円である。

図２（ａ）のＦ値Ｆａは、図２（ｂ）のＦ値Ｆｂよりも明るい値（小さい値）となっている。従って、図２（ａ）の焦点深度幅２Ｆａδは、図２（ｂ）焦点深度幅２Ｆｂδよりも狭い範囲となっている。図２（ａ）の光線Ｃａ、光線Ｇａは、それぞれフォーカスレンズ位置Ｃ、フォーカスレンズ目標位置Ｇにおける点物体Ｓの光線の内、一番外側の光線を示している。また、図２（ｂ）の光線Ｃｂ、光線Ｇｂは、それぞれフォーカスレンズ位置Ｃ、フォーカスレンズ目標位置Ｇにおける点物体Ｓの光線の内、一番外側の光線を示している。

図２（ａ）において、点像直径Ｉａは、フォーカスレンズが、フォーカスレンズ位置Ｃにある時の点物体Ｓの撮像素子２０１上の点像の直径を示す。図２（ｂ）において、点像直径Ｉｂは、フォーカスレンズが、フォーカスレンズ位置Ｃにある時の点物体Ｓの撮像素子２０１上の点像の直径を示す。

図２（ａ）において、ピント位置Ｂｐは焦点深度幅２Ｆａδの範囲外となっている。また、点像直径Ｉａは、許容錯乱円δより大きく、中心の画素に収まらず、隣の画素へ光が入射している。以上により、図２（ａ）において、フォーカスレンズ位置Ｃでは点物体Ｓは非合焦となる。

一方、図２（ｂ）において、ピント位置（合焦位置）Ｂｐは焦点深度幅２Ｆｂδの範囲内となっている。また、点像直径Ｉｂは、許容錯乱円δより小さく、中心の画素に全ての光線が集光している。以上により、図２（ｂ）において、フォーカスレンズ位置Ｃでは点物体Ｓは合焦となる。

以上の通り、同じ位置精度を達成したとしても、撮影条件により、非合焦、合焦が変化する。つまり撮影条件により、求められる位置精度が変化する。

＜フォーカスレンズ制御に要求される速度について＞
速度は、フォーカスレンズを駆動する際の移動速度のことである。移動速度は、単位時間あたりの移動量と考えることで移動量に置き換えることができる。また、ピントが合っている位置の光軸方向の移動量のことをピント移動量、ピントが合っている位置の光軸方向の移動速度のことをピント移動速度とする。フォーカスレンズ移動量はピント移動量と比例関係にある。この比例定数をフォーカス敏感度という。フォーカス敏感度はレンズの構成する光学系の位置関係によって変化する。ピント移動量ΔＢｐ、フォーカス敏感度Ｓｅ、フォーカスレンズ移動量ΔＰは式（１）に示す関係となる。
ΔＢｐ＝Ｓｅ×ΔＰ ・・・（１）

次にフォーカスレンズ制御に要求される速度について、図３を用いて説明する。
図３は、フォーカス敏感度Ｓｅが小さい場合（ａ）とフォーカス敏感度Ｓｅが大きい場合（ｂ）におけるフォーカスレンズとピント位置の関係を示している。図３の（ａ）（ｂ）は、レンズ構成は同じで、レンズと点物体Ｓとの距離が異なる場合を示している。

図３の（ａ）（ｂ）で共通のものに対しては同符号を付す。
図３（ａ）において、ピント位置をＢｐ１からＢｐ２へ移動させる場合、フォーカスレンズ位置をＰａ１からＰａ２へ移動する必要がある。この時、フォーカスレンズの移動量ΔＰａとピント移動量ΔＢｐは式（１）に示す関係となる。

図３（ｂ）において、ピント位置をＢｐ１からＢｐ２へ移動させる場合、フォーカスレンズ位置をＰｂ１からＰｂ２へ移動する必要がある。この時、フォーカスレンズの移動量ΔＰａとピント移動量ΔＢｐは式（１）に示す関係となる。

図３に示す通り、図３（ａ）のフォーカス敏感度が、図３（ｂ）のフォーカス敏感度より小さいため、同じピント移動量ΔＢｐを動かすために必要となるフォーカスレンズの移動量は、図３（ａ）の場合の方が大きくなる。つまり、図３（ａ）の場合に比べ、図３（ｂ）の場合は、単位時間当たりのフォーカス移動量を少なくできるため、結果としてフォーカスレンズ駆動速度が遅くても、図３（ａ）の場合と同じピント移動速度を得ることができる。

以上の通り、特定のピント移動速度を達成するために必要となるフォーカスレンズ駆動速度は、撮影条件により異なる。つまり撮影条件により、求められるフォーカスレンズ駆動速度が変化する。

＜フォーカスレンズ制御に要求される消費電力について＞
消費電力は、フォーカスレンズを駆動するために消費する電力のことである。
消費電力は、フォーカスレンズの駆動時間、駆動速度又は駆動加速度変化に応じて変化する。つまり駆動時間が長い場合、駆動速度が速い場合、駆動加速度変化が多い場合に消費電力が多くなる。

一方、消費電力を抑えることでバッテリ容量を有効活用することが可能になり、メリットとして１回の充電で撮影可能な枚数を増やすことやバッテリの更なる小型化が可能になる。

＜フォーカスレンズ制御に要求される静音について＞
フォーカスレンズ駆動時に、振動、摩擦などで駆動音が発生する。駆動音は駆動速度又は駆動加速度変化に応じて変化する。つまり駆動速度が速い場合、駆動加速度変化が多い場合に駆動音が大きくなる。また、フォーカスレンズが停止する時間が長い程、駆動音が発生しない時間が長くなる。

周囲環境が静かな場所での撮影においては、駆動音を不快に感じ、更に動画撮影時は録音も同時に行われるため、撮影映像に不要となる駆動音が収録されてしまう問題が発生する。従って、撮影状況によってはできるだけ駆動音の大きさを小さく、駆動音のしている時間を短くすることが要求される。

＜位置精度と速度、消費電力、静音の関係について＞
位置精度と速度、消費電力、静音の関係について図４を用いて説明する。
図４は、焦点深度が深い場合（ａ）と浅い場合（ｂ）において、動きのある被写体に合焦し続けるためのフォーカスレンズ制御の動きを示している。

図４の横軸は時間経過を示し、縦軸はフォーカスレンズ位置を示す。フォーカスレンズ位置が上側に行くと無限方向にピントが合い、下側に行くと至近方向にピントが合う方向となる。

図４（ａ）（ｂ）で共通のものに対しては同符号を付す。
フォーカスレンズ目標位置Ｇは、被写体の像が撮像素子２０１上に集光させる時のフォーカスレンズ位置を示している。図４（ａ）（ｂ）の焦点深度はそれぞれ２Ｆａδ、２Ｆｂδである。図４（ａ）において、フォーカスレンズ目標位置Ｇを基準に、ピント位置が焦点深度の無限側の境界となるフォーカスレンズ位置をＧａｌｉｍＩ、至近側の境界となるフォーカスレンズ位置をＧａｌｉｍＭで示す。図４（ｂ）において、フォーカスレンズ目標位置Ｇを基準に、ピント位置が焦点深度の無限側の境界となるフォーカスレンズ位置をＧｂｌｉｍＩ、至近側の境界となるフォーカスレンズ位置をＧｂｌｉｍＭで示す。図４（ａ）のＬａ、図４（ｂ）のＬｂは、それぞれ被写体が焦点深度内に収まるように制御されたフォーカスレンズ位置を示している。

図４（ａ）の場合は焦点深度が深いため、フォーカスレンズがＬａの示す軌跡に制御されたとしても、被写体がピントから外れることはない。一方、図４（ｂ）の場合は焦点深度が浅いため、図４（ａ）の場合に比べ、フォーカスレンズの駆動をフォーカスレンズ目標位置Ｇとの偏差が少ない軌跡Ｌｂで制御する必要がある。つまり、図４（ａ）（ｂ）ともに被写体がピントから外れることはないが、フォーカスレンズの位置の軌跡Ｌａ、Ｌｂで示すように、図４（ａ）の場合の方が図４（ｂ）の場合よりも駆動量、駆動速度は小さくできる。従って、求められる位置精度が低い撮影条件下においては、焦点深度が深い場合ほど、低位置精度の利点を活かして、低速、低消費電力、静音でフォーカスレンズを制御することができる。

＜速度と位置精度、消費電力、静音の関係について＞
速度と位置精度、消費電力、静音の関係について図５を用いて説明する。
図５の横軸は時間を示し、縦軸はフォーカスレンズ位置を示す。
図５（ａ）は、図３（ａ）が示すフォーカスレンズ位置がＰａ１からＰａ２へ、時間Ｔ０〜Ｔ１の間に駆動したフォーカスレンズ位置の変化（軌跡）Ｌａを示している。同じく図５（ｂ）は、図３（ｂ）が示すフォーカスレンズ位置がＰａ１からＰａ２へ、時間Ｔ０〜Ｔ１の間に駆動したフォーカスレンズ位置の変化（軌跡）Ｌｂを示している。ここで、図３が示す通り、フォーカスレンズ位置がＰａ１からＰａ２へ移動した時のピント移動量は、フォーカスレンズ位置がＰｂ１からＰｂ２へ移動した時のピント移動量と同じである。ここで図５（ａ）のＬａ、図５（ｂ）のＬｂの傾きはフォーカスレンズ速度を示す。

図５が示す通り、時間Ｔ０〜Ｔ１の間に同じピント移動量ΔＢｐだけ動かすためのフォーカスレンズ移動速度は、図５（ａ）のＬａで示す場合は図５（ｂ）のＬｂで示す場合に比べ早くフォーカスレンズを動かす必要がある。また、図５（ａ）のＬａで示す場合は図５（ｂ）のＬｂで示す場合よりも速度が速いため、目標位置であるＰａ２に到達した後、位置が安定するまでにある程度の時間が必要となる。一方、Ｌｂの場合は図５（ａ）のＬａで示す場合よりも速度が遅いため、目標位置であるＰｂ２に到達した後、より早く位置が安定する。これは位置精度に影響する。また、フォーカスレンズを早く駆動し、停止時において、加速度変化が大きくなるため、ＬａはＬｂに比べ、消費電力が多くなり、駆動音も大きくなる。従って求められる速度が低い撮影条件下ほど、高い位置精度、低消費電力、静音でフォーカスレンズを制御することができる。

＜レンズ装置情報について＞
次にレンズ装置情報について説明する。
レンズ装置情報は、フォーカスレンズ制御において、撮影映像が受ける影響を示す情報である。

以上の通り、フォーカスレンズ制御における要求事項をバランスよく制御するためには、フォーカスレンズ制御で求められる位置精度、速度を決めるためのレンズ装置情報をもとにフォーカスレンズ制御を行う必要がある。レンズ装置情報は、レンズ装置情報決定部１２２により決定される。レンズ装置情報は例えば、焦点深度やフォーカス敏感度の情報である。レンズ装置情報決定部１２２は、現在のＦ値と許容錯乱円の情報から、前述の式（１）に示す通り、焦点深度を決定する。また、レンズ装置情報決定部１２２は、フォーカス敏感度とフォーカスレンズ位置、ズームレンズ位置の関係を示す不図示の変換テーブルを保持し、フォーカスレンズ位置、ズームレンズ位置からフォーカス敏感度を決定する。これらのレンズ装置情報を元にフォーカスレンズ制御を行うことで、撮影映像が受ける影響を加味して、位置精度、速度、消費電力、静音のそれぞれの要求事項をバランスよく、フォーカスレンズの制御をすることができる。

レンズ装置情報を用いてフォーカスレンズ制御を行うＮＮアルゴリズムについては後述する。

＜ＮＮアルゴリズムとウエイトについて＞
以下にＮＮ制御部１２１がＮＮアルゴリズムを用いて駆動指令を決定する方法について説明する。

ＮＮ制御部１２１にはＮＮアルゴリズムが実装されている。ＮＮ制御部１２１は、ＮＮデータ記憶部１２３に記録されたＮＮの特徴量、結合重み付け係数であるウエイトを参照し、参照したウエイトを用いてＮＮアルゴリズムにより駆動指令を決定する。ウエイトの製造方法については後述する。

図６は、実施形態１の学習モデルを用いたＮＮ制御部１２１の入出力の構造を示す概念図であり、Ｘ１は制御部１２５から出力されたフォーカス駆動の駆動指令目標位置である。目標位置Ｘ２はフォーカスレンズ検出部１０６から得られたフォーカスレンズ１０１の現在位置である。Ｘ３はレンズ装置情報としての焦点深度であり、Ｘ４はレンズ装置情報としてのフォーカス敏感度である。Ｙ１はフォーカスレンズ１０１の駆動信号である。以上により、フォーカス駆動の駆動指令、フォーカスレンズ１０１の現在位置、焦点深度、フォーカス敏感度を入力として、学習済モデルの出力として駆動信号が決定される。ＮＮ制御部１２１がＮＮアルゴリズムを用いて決定した駆動信号により、フォーカスレンズ１０１の制御を行う。

＜ウエイトの製造方法について＞
次にウエイトの製造方法について説明する。
使用者が操作部２０６から機械学習実施を示す操作を行うと、機械学習実施の指令が制御部２１１を介して機械学習部２５１に伝えられる。機械学習部２５１は機械学習実施の指令を受けると、機械学習を開始する。

機械学習の流れを図７を用いて説明する。
機械学習部２５１はＳ１０１において、制御部２１１へ、ウエイトの初期値を出力する。制御部２１１は機械学習部２５１からウエイトの初期値を受け取ると、通信部２１２からレンズ１００へウエイトの初期値を送信する。レンズ１００は、通信部１２６にてウエイトの初期値を受信すると、受信したウエイトの初期値を制御部１２５を介してＮＮデータ記憶部１２３に設定する。

次に機械学習部２５１はＳ１０２において、制御部２１１に対して、フォーカスレンズ１０１への駆動指令の出力要求及び動作ログ情報の取得要求を行う。制御部２１１は機械学習部２５１からフォーカスレンズ１０１の駆動指令の出力要求及び動作ログ情報の取得要求を受けると、通信部２１２を介してレンズ１００に対して、フォーカスレンズ１０１の駆動指令の出力及び動作ログ情報の取得要求を行う。レンズ１００は、通信部１２６にてフォーカスレンズ１０１の駆動指令を受信すると、制御部１２５を介してＮＮ制御部１２１に対してフォーカスレンズ１０１の駆動指令を出力する。

ＮＮ制御部１２１はＮＮデータ記憶部１２３に保持されたウエイトを元にフォーカスレンズ１０１の駆動制御を行う。ここで、機械学習部２５１は、フォーカスレンズ１０１の駆動指令としては、予め学習用に決められた開始位置から停止位置まで特定の駆動パターンを保持し、保持している駆動パターンに従い駆動指令を出力する。またはＡＦ（オートフォーカス）制御を実行し、フォーカスレンズ１０１の駆動指令を出力するようにしても良い。またレンズ１００は、通信部１２６を介して動作ログ情報の取得要求を受信すると、動作ログ管理部１２４に対して動作ログ情報の出力要求を行う。動作ログ管理部１２４は動作ログ情報の出力要求を受けると、フォーカスレンズ１０１の駆動時における動作ログ情報を制御部１２５、通信部１２６を介してカメラ本体２００に送信する。

次に機械学習部２５１はＳ１０３において、報酬管理部２５３が保持している報酬情報及び動作ログ保持部２５２が保持している動作ログ情報を元にＮＮアルゴリズムの制御結果を点数化する。報酬情報及び動作ログ情報及び制御結果の点数化については後述する。

次に機械学習部２５１はＳ１０４において、ＮＮアルゴリズム制御結果の累計点数が最大化されるようにウエイトを更新する。ウエイトの更新には誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用するが、本発明はこれに限定されるものではない。生成されたウエイトはＳ１０１と同様の手順でＮＮデータ記憶部１２３に設定される。

次に機械学習部２５１はＳ１０５において、ウエイトの学習が完了したか否かを判定する。学習完了は、学習（ウエイトの更新）の反復回数が規定値に達したか、または、更新時の動作ログ情報中の累計点数の変化量が規定値より小さいかなどにより判定することができる。機械学習部２５１は学習未完と判定した場合は、ステップＳ１０１へ戻り機械学習を続ける。機械学習部２５１は学習完了と判断した場合は、機械学習を終了させる。

機械学習の具体的なアルゴリズムとしては、本実施例の通り、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）が挙げられる。また、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

ところで、ＧＰＵはデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。そこで、機械学習部２５１による処理にはＣＰＵに加えてＧＰＵを用いてもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、機械学習部２５１の処理はＣＰＵまたはＧＰＵのみにより演算が行われても良い。

＜動作ログ情報について＞
次に動作ログ情報について説明する。
動作ログ情報は、ＮＮアルゴリズムの制御結果を点数化する上で、点数を決める対象となる制御結果情報である。

動作ログ管理部１２４は、図６に示すＸ１〜Ｘ４及びＹ１であるＮＮアルゴリズムの入出力情報を、ＮＮアルゴリズムの制御周期ごとに収集し記録する。また、不図示のフォーカスレンズ駆動部１０５の消費電力を測定するための電力検出部を設け、動作ログ管理部１２４は、フォーカスレンズ駆動部１０５の消費電力も動作ログ情報として記録する。

また動作ログ管理部１２４は、ＮＮ制御部１２１に入力された駆動指令やフォーカスレンズ検出部１０６によって検出されるフォーカスレンズの位置情報も動作ログ情報として記録する。更に動作ログ管理部１２４は、駆動指令から決定されるフォーカスレンズの目標位置及び位置情報、位置精度Ｅを決定し、動作ログ情報として記録する。更に動作ログ管理部１２４は、フォーカスレンズの位置情報から、フォーカスレンズの速度及び加速度を算出し、動作ログ情報として記録する。

動作ログ管理部１２４は、記録した動作ログ情報を、制御部１２５、通信部１２６を介してカメラ本体２００に送信する。

カメラ本体２００は、動作ログ情報を通信部２１２にて受信すると、制御部２１１を介して動作ログ保持部２５２に記録される。

＜報酬情報及び制御結果の点数化について＞
報酬情報は、ＮＮアルゴリズムの制御結果を点数化する上で、点数の基準となる情報である。報酬情報は、ＮＮアルゴリズム制御結果に対して、点数の境界値とその境界値ごとに割り当てられた点数の情報を持つ。

図８を用いて報酬情報について説明する。
図８の（ａ１）（ｂ１）（ｃ１）（ｄ１）は夫々、ＮＮアルゴリズム制御結果を示す項目である位置精度、速度、加速度、消費電力に対して、学習時において、時間経過と点数の境界値との関係を示している。

図８の（ａ１）（ｂ１）（ｃ１）（ｄ１）の横軸は時間経過を示す。
図８の（ａ２）（ｂ２）（ｃ２）（ｄ２）は位置精度、速度、加速度、消費電力に対しての報酬情報のデータ構造を示している。報酬情報のデータは、複数の境界値と、境界値で区切られた領域で獲得できる点数で構成される。

ここでＮＮアルゴリズムは制御結果の獲得点数が高得点となるように学習されるため、境界値が各対象となる項目の目標に近い程、より高精度な制御となるように学習される。例えば、位置精度の境界値が０に近い値になる程、位置精度が０に近づく制御となるように学習される。また他の項目に比べ、点数を高く設定することにより、他の項目よりも学習の優先度が高いことを示す。例えば、位置精度よりも消費電力の点数を高くすることで、位置精度よりも消費電力を優先させる制御となるように学習される。

本実施例では、２点の境界値と、境界値で区切られた３つの領域に対して割り当てられる３点の点数で構成される例を示す。

図８（ａ１）の縦軸はフォーカスレンズの目標位置と現在位置との差である位置精度Ｅの値を示している。位置精度Ｅの正の方向は、目標位置に対して、現在位置が無限側にある場合を示し、負の方向は、目標位置に対して、現在位置が至近側にある場合を示す。位置精度Ｅが０に近い程、駆動制御における位置精度が高いことを示している。

図８（ａ２）は位置精度の報酬情報である位置精度報酬情報ＲＥのデータ構造を示している。位置精度報酬情報ＲＥは位置精度の報酬範囲を決めるＥ１、Ｅ２と、報酬範囲において獲得できる点数ＳＥ１、ＳＥ２、ＳＥ３により構成される。

Ｅ１、Ｅ２はそれぞれ位置精度Ｅの報酬として与えられる点数の境界値を示している。ここで、−Ｅ１〜Ｅ１、の範囲の時は範囲ＡＥ１とする。また、範囲ＡＥ１を除く、−Ｅ２〜Ｅ２、の範囲ＡＥ２とする。また、範囲ＡＥ１、ＡＥ２以外の時は範囲ＡＥ３とする。位置精度Ｅがそれぞれ範囲ＡＥ１、ＡＥ２、ＡＥ３の範囲内のときは、図８（ａ２）が示す点数ＳＥ１、ＳＥ２、ＳＥ３が報酬として与えられる。ここで点数ＳＥ１、ＳＥ２、ＳＥ３の点数の関係は、
ＳＥ１＞ＳＥ２＞ＳＥ３
となり、位置精度Ｅが０に近い程高い点数となるように設定される。

図８（ａ１）が示す通り、位置精度に対して、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３における位置精度Ｅは夫々範囲ＡＥ２、ＡＥ３、ＡＥ１の範囲内である。従って、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３において、獲得できる報酬はそれぞれ点数ＳＥ２、点数ＳＥ３、点数ＳＥ１となる。

ここで例えば、Ｅ１は±Ｆδ／２、Ｅ２は±Ｆδの値が設定される。つまり、フォーカスレンズの目標位置に対して、現在位置が焦点深度内に制御されていれば、高い得点が加算され、焦点深度外となった場合に低い点数が加算される。またフォーカスレンズが目標位置に近い程、獲得できる点数が多くなる。

図８（ｂ１）の縦軸はフォーカスレンズの駆動速度Ｖの値を示している。駆動速度Ｖの正の方向は無限方向への駆動速度を示し、負の方向は至近方向への駆動速度を示している。駆動速度Ｖが０に近い程、駆動音が小さくなる。

図８（ｂ２）は速度の報酬情報である速度報酬情報ＲＶのデータ構造を示している。速度報酬情報ＲＶは速度の報酬範囲を決めるＶ１、Ｖ２と、報酬範囲において獲得できる点数ＳＶ１、ＳＶ２、ＳＶ３により構成される。

Ｖ１、Ｖ２はそれぞれ駆動速度Ｖの報酬として与えられる点数の境界値を示している。ここで、−Ｖ１〜Ｖ１、の範囲の時は範囲ＡＶ１とする。また、範囲ＡＶ１を除く、−Ｖ２〜Ｖ２、の範囲ＡＶ２とする。また、範囲ＡＶ１、ＡＶ２以外の時は範囲ＡＶ３とする。駆動速度Ｖがそれぞれ範囲ＡＶ１、ＡＶ２、ＡＶ３の範囲内のときは、図８（ｂ２）が示す点数ＳＶ１、ＳＶ２、ＳＶ３が報酬として与えられる。ここで点数ＳＶ１、ＳＶ２、ＳＶ３の点数の関係は、
ＳＶ１＞ＳＶ２＞ＳＶ３
となり、駆動速度Ｖが０に近い程、高い点数となるように設定される。

図８（ｂ１）が示す通り、駆動音に対して、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３における駆動速度Ｖは夫々範囲ＡＶ２、ＡＶ３、ＡＶ１の範囲内である。従って、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３において、獲得できる報酬はそれぞれ点数ＳＶ２、ＳＶ３、ＳＶ１となる。

ここで例えば、Ｖ１、Ｖ２は駆動速度と駆動音の関係に基づいて決定され、駆動速度を遅く制御する程、獲得できる点数が多くなるように点数が設定される。一般的に、駆動速度が遅い程、駆動音が小さくなるため、獲得した点数が高い程、静音を重視した制御が行えていることを示す。

図８（ｃ１）の縦軸はフォーカスレンズの駆動加速度Ａの値を示している。駆動加速度Ａの正の方向は無限方向への駆動加速度を示し、負の方向は至近方向への駆動加速度を示している。駆動加速度Ａが０に近い程、駆動音が小さくなる。

図８（ｃ２）は加速度の報酬情報である加速度報酬情報ＲＡのデータ構造を示している。加速度報酬情報ＲＡは加速度の報酬範囲を決めるＡ１、Ａ２と、報酬範囲において獲得できる点数ＳＡ１、ＳＡ２、ＳＡ３により構成される。

Ａ１、Ａ２はそれぞれ駆動加速度Ａの報酬として与えられる点数の境界値を示している。ここで、−Ａ１〜Ａ１、の範囲の時は範囲ＡＡ１とする。また、範囲ＡＡ１を除く、−Ａ２〜Ａ２、の範囲ＡＶ２とする。また、範囲ＡＡ１、ＡＡ２以外の時は範囲ＡＡ３とする。駆動加速度Ａがそれぞれ範囲ＡＡ１、ＡＡ２、ＡＡ３の範囲内のときは、図８（ｃ２）が示す点数ＳＡ１、ＳＡ２、ＳＡ３が報酬として与えられる。ここで点数ＳＡ１、ＳＡ２、ＳＡ３の点数の関係は、
ＳＡ１＞ＳＡ２＞ＳＡ３
となり、駆動加速度Ａが０に近い程、高い点数となるように設定される。

図８（ｃ１）が示す通り、駆動音に対して、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３における駆動加速度Ａは夫々範囲ＡＡ１、ＡＡ３、ＡＡ２の範囲内である。従って、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３において、獲得できる報酬はそれぞれ点数ＳＡ１、ＳＡ３、ＳＡ２となる。

ここで例えば、Ａ１、Ａ２は駆動加速度と駆動音の関係に基づいて決定され、駆動加速度を小さく制御する程、獲得できる点数が多くなるように点数が設定される。一般的に、駆動加速度が小さい程、駆動音が小さくなるため、獲得した点数が高い程、静音を重視した制御が行えていることを示す。

図８（ｄ１）の縦軸はフォーカスレンズの消費電力Ｐの値を示している。消費電力Ｐが０に近い程、消費電力が小さくなる。

図８（ｄ２）は消費電力の報酬情報である消費電力報酬情報ＲＰのデータ構造を示している。消費電力報酬情報ＲＰは消費電力の報酬範囲を決めるＰ１、Ｐ２と、報酬範囲において獲得できる点数ＳＰ１、ＳＰ２、ＳＰ３により構成される。

Ｐ１、Ｐ２はそれぞれ消費電力Ｐの報酬として与えられる点数の境界値を示している。ここで、０〜Ｐ１の範囲の時は範囲ＡＰ１とする。また、Ｐ１〜Ｐ２の範囲の時は範囲ＡＰ２とする。また、範囲ＡＰ１、ＡＰ２以外の時は範囲ＡＰ３とする。消費電力Ｐがそれぞれ範囲ＡＰ１、ＡＰ２、ＡＰ３の範囲内のときは、図８（ｄ２）が示す点数ＳＰ１、ＳＰ２、ＳＰ３が報酬として与えられる。ここで点数ＳＰ１、ＳＰ２、ＳＰ３の点数の関係は、
ＳＰ１＞ＳＰ２＞ＳＰ３
となり、消費電力Ｐが０に近い程、高い点数となるように設定される。

図８（ｄ１）が示す通り、消費電力に対して、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３における消費電力Ｐは夫々範囲ＡＰ１、ＡＰ３、ＡＰ２の範囲内である。従って、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３において、獲得できる報酬はそれぞれ点数ＳＰ１、ＳＰ３、ＳＰ２となる。

ここで例えば、Ｐ１、Ｐ２は任意に決定され、消費電力を小さく制御する程、獲得できる点数が多くなるように点数が設定される。従って、獲得した点数が高くなる程、低消費電力を重視した制御が行えていることを示す。

以上に示すより、位置制御誤差、速度、加速度、消費電力等の制御結果に対して、点数化するための報酬情報が設定される。

上記の示す報酬情報を用いて、学習時のフォーカスレンズ駆動において、動作ログ情報を元にＮＮアルゴリズムの制御結果を単位時間ごとに点数化し、単位時間ごとの点数を累計することで、ＮＮアルゴリズム制御結果の累計点数を決定することができる。また位置制御誤差、速度、加速度、消費電力夫々の得点を加算することで、ＮＮアルゴリズムのトータルとしての制御結果を点数化することができる。

ここでは消費電力を制御結果として使用している例を示しているが、速度、加速度と消費電力の関係から、速度、加速度の結果を用いて消費電力に対しての報酬情報を設定しても良い。

本実施例では、境界値の数を固定としているが、必要に応じて変更可能としても良い。
また、本実施例では、点数を境界値により決定しているが、位置精度Ｅ、駆動速度Ｖ、駆動加速度Ａ、消費電力Ｐを点数に変換する変換関数を用いて点数化する方法でも良い。この場合は、報酬情報として境界値ではなく、変換関数及びその係数が報酬情報として設定される。

＜機器制約報酬情報、ユーザ要望報酬情報及びユーザ要望報酬変換情報について＞
次に機器制約報酬情報、ユーザ要望報酬情報について説明する。
図９は、機器制約報酬情報、ユーザ要望報酬情報のデータ構造を示している。
機器制約報酬情報は、位置精度報酬情報ＲＥｂ、速度報酬情報ＲＶｂ、加速度報酬情報ＲＡｂ、消費電力報酬情報ＲＰｂで構成されている。またユーザ要望報酬情報は、位置精度報酬情報ＲＥｕ、速度報酬情報ＲＶｕ、加速度報酬情報ＲＡｕ、消費電力報酬情報ＲＰｕで構成されている。

位置精度報酬情報ＲＥｂ及び位置精度報酬情報ＲＥｕは、図８（ａ２）に示す位置精度報酬情報ＲＥと同じデータ構造である。速度報酬情報ＲＶｂ及び速度報酬情報ＲＶｕは、図８（ｂ２）に示す速度報酬情報ＲＶと同じデータ構造である。加速度報酬情報ＲＡｂ及び加速度報酬情報ＲＡｕは、図８（ｃ２）に示す加速度報酬情報ＲＡと同じデータ構造である。消費電力報酬情報ＲＰｂ及び消費電力報酬情報ＲＰｕは、図８（ｄ２）に示す消費電力報酬情報ＲＰと同じデータ構造である。

ここで、機器制約報酬情報は、レンズ１００に固有となる報酬情報である。機器制約報酬情報は、レンズ１００に応じて予め決められた報酬情報が機器制約報酬管理部２５４に保持されている。ユーザ要望報酬情報は、ユーザ要望に応じて変更可能となる報酬情報である。ユーザ要望報酬情報は、ユーザ要望報酬管理部２５５にて、ユーザ設定により変更されたユーザ要望とユーザ要望報酬変換情報により決定される。報酬管理部２５３は、機器制約報酬情報、ユーザ要望報酬情報を合わせたものを報酬情報として管理している。

機器制約報酬情報は、機器として、最低限守るべき制御を規定するための報酬情報であるため、ユーザ要望報酬情報よりも境界値で決定する範囲が広く、期待する目標から逸脱する場合に負の値を含む低い点数が設定される。

ユーザ要望報酬情報は、ユーザ設定により変更可能であり、ユーザ設定により変更されたユーザ要望とユーザ要望報酬変換情報により決定される。

ＮＮアルゴリズムの学習には、図８が示す通り、機器制約報酬情報、ユーザ要望報酬情報夫々の報酬情報を元に制御結果の点数が決定し、夫々の点数を加算したものが最終的な制御結果の点数として決定される。
以下に、ユーザ設定によりユーザ要望報酬情報を決定する方法について説明する。

図１０はユーザ要望報酬変換情報のデータ構造を示している。
図１０（ａ）は、位置精度ユーザ要望報酬変換情報ＵＲＥｕのデータ構造を示している。位置精度ユーザ要望報酬変換情報ＵＲＥｕは各レベル（要求レベル）ごとに、境界値、点数が異なる複数の位置精度報酬情報ＲＥｕで構成されている。

図１０（ｂ）は、静音ユーザ要望報酬変換情報ＵＲＳｕのデータ構造を示している。静音ユーザ要望報酬変換情報ＵＲＳｕは、速度ユーザ要望報酬変換情報ＵＲＶｕ、加速度ユーザ要望報酬変換情報ＵＲＡｕで構成されている。速度ユーザ要望報酬変換情報ＵＲＶｕ、加速度ユーザ要望報酬変換情報ＵＲＡｕは各レベルごとに、境界値、点数が異なる複数の速度報酬情報ＲＶｕ、加速度報酬情報ＲＡｕで構成されている。

図１０（ｃ）は、消費電力ユーザ要望報酬変換情報ＵＲＰｕのデータ構造を示している。消費電力ユーザ要望報酬変換情報ＵＲＰｕは各レベルごとに、境界値、点数が異なる複数の消費電力報酬情報ＲＰｕで構成されている。

位置精度ユーザ要望報酬変換情報ＵＲＥｕ、静音ユーザ要望報酬変換情報ＵＲＳｕ、消費電力ユーザ要望報酬変換情報ＵＲＰｕはレベル１、レベル２、レベル３の順にユーザ要望が高くなるように境界値、点数の値が決定されている。具体的にはレベル１は、他に比べ、境界値が各項目の目標に近い値となっている。また点数については高い点数となっている。

図１が示す操作部２０６によりユーザが設定した位置精度、静音、消費電力の各レベル情報は、制御部２１１を介してユーザ要望報酬管理部２５５に伝達される。ユーザ要望報酬管理部２５５は自身が保持している図１０が示すユーザ要望報酬変換情報から、ユーザが設定した位置精度、静音、消費電力の各レベル情報に基づきユーザ要望報酬情報を決定する。

以上により、動作ログ情報とユーザ設定により変更されたユーザ要望とユーザ要望報酬情報とを含む学習データを元にＮＮアルゴリズムの学習が実施され、ユーザ設定に応じて最適な制御が行えるＮＮアルゴリズム（学習済モデル）が生成される。

生成されたＮＮアルゴリズムは、カメラ本体２００からレンズ１００に送られ、ＮＮデータ記憶部１２３で記憶され、フォーカス駆動制御に使用される。

また、図１０に示すように、ユーザ要望報酬変換情報は、ユーザ要望各々に対し、目標レベルごとに学習完了基準情報を有する。この学習完了基準情報は、報酬の総加算値の目標値が設定されており、各レベルを目標と学習１回分におけるユーザ要望報酬の総加算値が学習完了基準情報を上回った時、学習完了と判断する目安とする（あくまでも目安で、実際には総加算値の伸び率や学習回数で学習を打ち切ってもよい）。

図１０（ａ）の位置精度ユーザ要望報酬変換情報ＵＲＥｕにおいては、ＣＥＬ１、ＣＥＬ２、ＣＥＬ３が学習完了基準情報に該当する。図１０（ｂ）の静音ユーザ要望報酬変換情報ＵＲＳｕにおいては、速度ユーザ要望報酬変換情報ＵＲＶｕにおけるＣＶＬ１、ＣＶＬ２，ＣＶＬ３、および、加速度ユーザ要望報酬変換情報ＵＲＡｕにおけるＣＡＬ１、ＣＡＬ２，ＣＡＬ３が該当する。静音ユーザ要望報酬変換情報ＵＲＳｕについては、速度ユーザ要望報酬変換情報ＵＲＶｕに対する学習完了と加速度ユーザ要望報酬変換情報ＵＲＡｕに対する学習完了とをＡＮＤ条件で、静音ユーザ要望報酬変換情報ＵＲＳｕに対する学習完了を判断することが好ましい。図１０（ｃ）の消費電力ユーザ要望報酬変換情報ＵＲＰｕにおいては、ＣＰＬ１、ＣＰＬ２，ＣＰＬ３が学習完了基準情報に該当する。この学習完了基準情報には、ユーザ要望報酬における報酬スコアに加え、機器制約報酬情報によって算出される報酬スコアも合わせた総スコアにおける目標値が設定されている。

学習完了基準情報は、学習状況管理部２５６で管理され、後述する学習進捗状況の算出に使用される。

＜報酬に対しての評価結果のユーザ要望における評価進捗への変換工程＞
学習状況管理部２５６では、機械学習部２５１で算出した報酬に基づく評価結果を受信し、ユーザ要望における評価結果への変換処理を行う。この時、機械学習部２５１で算出される評価結果は、ユーザ要望項目（本実施例では、位置精度と、静音と、消費電力）ごとに算出される。ユーザ要望項目ごとの評価結果は、そのユーザ要望ごとの機器制約報酬情報に基づく評価値とユーザ要望報酬情報に基づく評価値との和であって、単位時間ごとの評価値の総和（総スコア）である。

学習状況管理部２５６では、図１０に示す学習完了基準情報に基づき、上記総スコアとの比率関係から報酬に対する評価結果をユーザ要望における評価結果に変換する。

具体例として、位置精度について、レベル１の状態からレベル２を学習目標として設定したケースにおける評価結果変換工程を説明する。

図１０（ａ）に示すように、位置精度に対する学習開始時の評価結果をＣＥＬ１、学習完了時の評価結果を目標値としてＣＥＬ２とする。このとき、学習状況管理部２５６に逐次報告される位置精度の総スコア値（ある学習回数での値）をＴＥＳｎとしたとき、位置精度におけるユーザ要望評価進捗（率）は下記のように求めることができる。
ユーザ要望評価進捗＝（（ＴＥＳｎ―ＣＥＬ１）／（ＣＥＬ２−ＣＥＬ１））
・・・ （２）

これにより、ユーザ要望評価進捗は、評価完了までの到達割合（進捗率）として算出することができる。

＜ユーザ要望における評価進捗の通知＞
上述の要領で算出したユーザ要望評価進捗をユーザに通知する方法を説明する。
図１１（ａ）に示すのは、ユーザ要望項目（ここでは、位置精度と静音を例示する）ごとのユーザ要望評価進捗（進捗率）をパーセント表示した表示画面の例である。このように学習回数や経過時間と共に表示することで、ユーザは現状の学習進捗を知るとともに、完了までの目安を推定することができる。図１１（ｂ）に示すのは、ユーザ要望項目ごとの進捗率を、数値表示ではなく、グラフ化したものである。これは、学習開始時点での学習到達度から、学習完了の目標とする総スコアまでの進捗割合を表示しており、学習回数ごとの総スコアを履歴表示している。このような表示方法でも、ユーザは現状の学習進捗を知ることが可能となる。

本実施例においては、学習進捗をパーセント数値表示や学習到達度割合の表示を例にとって説明したが、学習進捗をバー表示や円グラフ表示しても良いし、単純に総スコアの履歴情報と目標スコアとを重畳表示する方法であっても良い。
また、表示する学習進捗は目標スコアと現在の総スコアとの差分量であっても良い。

＜他のレンズ装置情報について＞
また、レンズ装置情報として、フォーカス敏感度、焦点深度、モータ電流を例に説明したが、姿勢差、温度、周囲音量も有用である。姿勢差については、レンズ、開口絞りを駆動するときの重力の影響が変化するため、姿勢差に応じてモータに必要な駆動トルクも変化する。温度については、レンズ、開口絞りの駆動連結部に使用される潤滑油の特性が変化するため、温度に応じてモータに必要な駆動トルクも変化する。周囲音量については、モータの駆動音を抑えるために、レンズ、開口絞り駆動速度を制限している場合においても、モータの駆動音が周囲音量に対して小さい範囲であれば、駆動速度の制限を外しても撮影映像に影響しない。従って、周囲音量に応じて、駆動速度の最高速制限を変化させる制御が有用となる。

図１２は、本発明の実施例２に係る撮像システムを示すブロック図である。
実施例１の構成と比較して、異なる部分について説明し、同じ構成については説明を省略する。

＜機械学習機能付き撮影システムの構成＞
図１２に、本発明の実施例２に係る撮像システム（カメラシステム）の構成を示す。
カメラシステムは、撮像装置（カメラ本体２００）と、レンズ装置（レンズ１００）により構成されている。実施例１に対して、実施例２のカメラ本体２００には、実施例１の学習プロセッサ２５０が構成されていないが、レンズ１００に学習プロセッサ２５０を有することが異なる。

学習プロセッサ２５０は、プロセッサ（ＣＰＵ、ＧＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ）からなる。プロセッサは、機械学習部２５１、動作ログ保持部２５２、報酬管理部２５３、機器制約報酬管理部２５４、ユーザ要望報酬管理部２５５、学習状況管理部２５６の各種処理を実行する。記憶装置には、これらの制御をするためのプログラム、動作ログ保持部２５２が保持している動作ログ情報が記憶されている。記憶装置には更に、報酬管理部２５３が管理している報酬情報、機器制約報酬管理部２５４が管理している機器制約報酬情報が保持されている。また、ユーザ要望報酬管理部２５５が管理しているユーザ要望報酬情報、ユーザ要望報酬変換情報、及び学習状況管理部２５６が管理している学習状況情報等が保持されている。

制御部１２５は、ズームレンズ１０２、絞りユニット１０３、像振れ補正レンズ１０４夫々の位置を制御するとも学習プロセッサ２５０及びカメラ本体２００との情報伝達を制御する制御部である。

ＮＮ制御部１２１は、フォーカスレンズ１０１の位置を制御する制御部である。撮影情報決定部１２７は、ＮＮ制御部１２１で使用する撮影情報を決定する決定部である。撮影情報については後述する。

操作部２０６は、使用者がカメラを操作するための操作部である。
実施例２において、実施例１との差は、フォーカスレンズ制御を行うＮＮアルゴリズム、動作ログ情報、報酬情報、機器制約報酬情報、ユーザ要望報酬情報及びユーザ要望報酬変換情報に撮影情報が使われる点である。以下に実施例１との差について説明する。

＜撮影情報について＞
次に撮影情報について説明する。
撮影情報は、フォーカスレンズ制御において、撮影映像が受ける影響を示す情報であり、カメラ本体２００が撮影した映像から得られる情報である。

実施例２では、実施例１のレンズ装置情報に加え、撮影情報を用いることで、フォーカスレンズの制御において、撮影映像が受ける影響を加味して、位置精度、速度、消費電力、静音のそれぞれの要求事項を更にバランスよく制御している。

撮影情報は、信号処理回路２０３で得られた撮影映像を制御部２１１にて解析された値であり、通信部２１２、通信部１２６、制御部１２５を介して撮影情報決定部１２７に送られる。

撮影情報は、例えば、現在撮影映像の許容錯乱円や、カメラ本体２００にて検出している被写体デフォーカス量、不図示のマイクで録音された録音音量などである。

撮影情報決定部１２７は、例えば、現在のＦ値と許容錯乱円の情報から式（１）に示す通り、現在撮影映像の焦点深度を決定する。

撮影情報を用いることで、フォーカスレンズ制御が現在撮影中の映像に対しての影響を考慮して、位置精度、速度、消費電力、静音のそれぞれの要求事項を更にバランスよく制御することができる。
撮影情報を用いてフォーカスレンズ制御を行うＮＮアルゴリズムについては後述する。

＜ＮＮアルゴリズムとウエイトについて＞
以下にＮＮ制御部１２１がＮＮアルゴリズムを用いて駆動指令を決定する方法について説明する。

ＮＮ制御部１２１にはＮＮアルゴリズムが実装されている。ＮＮ制御部１２１は、ＮＮデータ記憶部１２３に記録されたＮＮの特徴量、結合重み付け係数であるウエイトを参照し、参照したウエイトを用いてＮＮアルゴリズムにより駆動指令を決定する。ウエイトの製造方法については、実施例１と同様の方法で製造される。

図１３は、実施形態２の学習モデルを用いたＮＮ制御部１２１の入出力の構造を示す概念図であり、Ｘ２１は制御部１２５から出力されたフォーカス駆動の駆動指令目標位置である。目標位置Ｘ２２はフォーカスレンズ検出部１０６から得られたフォーカスレンズ１０１の現在位置である。Ｘ２３は撮影情報としての現在撮影映像の焦点深度であり、Ｘ２４はレンズ装置情報としてのフォーカス敏感度である。Ｘ２５は撮影情報としての被写体デフォーカス量である。Ｘ２６は撮影情報としての録音量である。Ｙ２１はフォーカスレンズ１０１の駆動信号である。以上により、フォーカス駆動の駆動指令、フォーカスレンズ１０１の現在位置、焦点深度、フォーカス敏感度を入力として、学習済モデルの出力として駆動信号が決定される。ＮＮ制御部１２１がＮＮアルゴリズムを用いて決定した駆動信号により、フォーカスレンズ１０１の制御を行う。

＜動作ログ情報について＞
次に実施例１における動作ログ情報について説明する。
動作ログ管理部１２４は、図１３に示すＸ２１〜Ｘ２６及びＹ２１であるＮＮアルゴリズムの入出力情報を、ＮＮアルゴリズムの制御周期ごとに収集し記録する。また、不図示のフォーカスレンズ駆動部１０５の消費電力を測定するための電力検出部を設け、動作ログ管理部１２４は、フォーカスレンズ駆動部１０５の消費電力も動作ログ情報として記録する。

また動作ログ管理部１２４は、ＮＮ制御部１２１に入力された駆動指令やフォーカスレンズ検出部１０６によって検出されるフォーカスレンズの位置情報も動作ログ情報として記録する。更に動作ログ管理部１２４は、駆動指令から決定されるフォーカスレンズの目標位置及び位置情報、位置精度Ｅを決定し、動作ログ情報として記録する。更に動作ログ管理部１２４は、フォーカスレンズの位置情報から、フォーカスレンズの速度及び加速度を算出し、動作ログ情報として記録する。また、動作ログ管理部１２４は不図示のフォーカスレンズ速度、加速度とフォーカスレンズ駆動音との関係を示すデータを保持し、フォーカスレンズ速度、加速度から、フォーカスレンズ駆動音を決定し、記録する。更に、録音音量とフォーカスレンズ駆動音との比である駆動音Ｓ／Ｎ比を決定し、記録する。駆動音Ｓ／Ｎ比は、雑音となるフォーカスレンズ駆動音が信号となる録音に与える影響を示し、駆動音Ｓ／Ｎ比が大きいほど、フォーカスレンズ駆動音が録音に与える影響が小さいことを示す。

動作ログ情報は、動作ログ管理部１２４から制御部１２５を介して動作ログ保持部２５２に送信され、動作ログ保持部２５２に記録される。

＜報酬情報及び制御結果の点数化について＞
図１４を用いて実施例１の報酬情報について説明する。
図１４の（ａ１）（ｂ１）は夫々、ＮＮアルゴリズム制御結果を示す項目であるデフォーカス量、駆動音Ｓ／Ｎ比に対して、学習時において、時間経過と点数の境界値との関係を示している。

図１４の（ａ１）（ｂ１）の横軸は時間経過を示す。
図１４の（ａ２）（ｂ２）はデフォーカス量、駆動音Ｓ／Ｎ比に対しての報酬情報のデータ構造を示している。報酬情報のデータは、複数の境界値と、境界値で区切られた領域で獲得できる点数で構成される。

ここでＮＮアルゴリズムは制御結果の獲得点数が高得点となるように学習されるため、境界値が各対象となる項目の目標に近い程、より高精度な制御となるように学習される。例えば、デフォーカス量の境界値が０に近い値になる程、デフォーカス量が０に近づく制御となるように学習される。また他の項目に比べ、点数を高く設定することにより、他の項目よりも学習の優先度が高いことを示す。例えば、デフォーカス量よりも駆動音Ｓ／Ｎ比の点数を高くすることで、デフォーカス量よりも駆動音Ｓ／Ｎ比を優先させる制御となるように学習される。

本実施例では、２点の境界値と、境界値で区切られた３つの領域に対して割り当てられる３点の点数で構成される例を示す。

図１４の（ａ１）の縦軸は被写体のデフォーカス量であるデフォーカス量Ｄの値を示している。デフォーカス量の正の方向は、合焦点に対して、現在ピント位置が無限側にズレている場合を示し、負の方向は、合焦点に対して、現在ピント位置が至近側にズレている場合を示す。デフォーカス量が０に近い程、被写体に合焦していることを示している。

図１４の（ａ２）はデフォーカス量の報酬情報であるデフォーカス量報酬情報ＲＤのデータ構造を示している。デフォーカス量報酬情報ＲＤはデフォーカス量の報酬範囲を決めるＤ１、Ｄ２と、報酬範囲において獲得できる点数ＳＤ１、ＳＤ２、ＳＤ３により構成される。

Ｄ１、Ｄ２はそれぞれデフォーカス量Ｄの報酬として与えられる点数の境界値を示している。ここで、−Ｄ１〜Ｄ１、の範囲の時は範囲ＡＤ１とする。また、範囲ＡＤ１を除く、−Ｄ２〜Ｄ２、の範囲ＡＤ２とする。また、範囲ＡＤ１、ＡＤ２以外の時は範囲ＡＤ３とする。デフォーカス量Ｄがそれぞれ範囲ＡＤ１、ＡＤ２、ＡＤ３の範囲内のときは、図１４の（ａ２）が示す点数ＳＤ１、ＳＤ２、ＳＤ３が報酬として与えられる。ここで点数ＳＤ１、ＳＤ２、ＳＤ３の点数の関係は、
ＳＤ１＞ＳＤ２＞ＳＤ３
となり、デフォーカス量Ｄが０に近いほど高い点数となるように設定される。

図１４（ａ１）が示す通り、デフォーカス量に対して、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３におけるデフォーカス量Ｄは夫々ＡＤ２、ＡＤ３、ＡＤ１の範囲内である。従って、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３において、獲得できる報酬はそれぞれ点数ＳＤ２、ＳＤ３、ＳＤ１となる。

ここで例えば、Ｄ１はＦδ／２、Ｄ２はＦδの値が設定される。つまり、デフォーカス量が焦点深度内でれば、高い得点が加算され、焦点深度外となった場合に低い点数が加算される。またデフォーカス量が０に近いほど、獲得できる点数が多くなる。

図１４（ｂ１）の縦軸はフォーカスレンズの駆動音Ｓ／Ｎ比Ｎの値を示している。駆動音Ｓ／Ｎ比Ｎが大きいほど、フォーカスレンズ駆動音が録音に与える影響が小さいことを示す。

図１４（ｂ２）は駆動音Ｓ／Ｎ比の報酬情報である駆動音Ｓ／Ｎ比報酬情報ＲＮのデータ構造を示している。駆動音Ｓ／Ｎ比報酬情報ＲＮは駆動音Ｓ／Ｎ比の報酬範囲を決めるＮ１、Ｎ２と、報酬範囲において獲得できる点数ＳＮ１、点数ＳＮ２、点数ＳＮ３により構成される。

Ｎ１、Ｎ２はそれぞれ駆動音Ｓ／Ｎ比Ｎの報酬として与えられる点数の境界値を示している。ここで、０〜Ｎ１の範囲の時は範囲ＡＮ１とする。また、Ｎ１〜Ｎ２の範囲の時は範囲ＡＮ２とする。また、範囲ＡＮ１、ＡＮ２以外の時は範囲ＡＮ３とする。駆動音Ｓ／Ｎ比がそれぞれ範囲ＡＮ１、ＡＮ２、ＡＮ３の範囲内のときは、図１４の（ｂ２）が示す点数ＳＮ１、ＳＮ２、ＳＮ３が報酬として与えられる。ここで点数ＳＮ１、ＳＮ２、ＳＮ３の点数の関係は、
ＳＮ１＜ＳＮ２＜ＳＮ３
となり、駆動音Ｓ／Ｎ比が０に近いほど、低い点数となるように設定される。

図１４（ｂ１）が示す通り、駆動音Ｓ／Ｎ比に対して、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐ３における駆動音Ｓ／Ｎ比Ｎは夫々範囲ＡＮ１、ＡＮ３、ＡＮ２の範囲内である。従って、任意の時間Ｔｐ１、Ｔｐ２、Ｔｐにおいて、獲得できる報酬はそれぞれ点数ＳＮ１、ＳＮ３、ＳＮ２となる。

ここで例えば、境界値Ｎ１、Ｎ２は任意に決定され、駆動音Ｓ／Ｎ比を大きく制御するほど、獲得できる点数が多くなるように点数が設定される。従って、獲得した点数が高くなるほど、録音に対して、フォーカスレンズ駆動音の影響が少ない制御が行えていることを示す。

以上に示すより、デフォーカス量、駆動音Ｓ／Ｎ比等の制御結果に対して、点数化するための報酬情報が設定される。

上記の示す報酬情報を用いて、学習時のフォーカスレンズ駆動において、動作ログ情報を元にＮＮアルゴリズムの制御結果を単位時間ごとに点数化し、単位時間ごとの点数を累計することで、ＮＮアルゴリズム制御結果の累計点数を決定することができる。また位置制御誤差、速度、加速度、消費電力夫々の得点を加算することで、ＮＮアルゴリズムのトータルとしての制御結果を点数化することができる。

本実施例では、境界値の数を固定としているが、必要に応じて変更可能としても良い。
また、本実施例では、点数を境界値により決定しているが、デフォーカス量Ｄ、駆動音Ｓ／Ｎ比Ｎを点数に変換する変換関数を用いて点数化する方法でも良い。この場合は、報酬情報として境界値ではなく、変換関数及びその係数が報酬情報として設定される。

＜機器制約報酬情報、ユーザ要望報酬情報及びユーザ要望報酬変換情報について＞
次に本実施例における機器制約報酬情報、ユーザ要望報酬情報について説明する。
図１５は、機器制約報酬情報、ユーザ要望報酬情報のデータ構造を示している。
機器制約報酬情報は、デフォーカス量報酬情報ＲＤｂ、駆動音Ｓ／Ｎ比報酬情報ＲＮｂで構成されている。またユーザ要望報酬情報は、デフォーカス量報酬情報ＲＤｕ、駆動音Ｓ／Ｎ比報酬情報ＲＮｕで構成されている。デフォーカス量報酬情報ＲＤｂ及びデフォーカス量報酬情報ＲＤｕは、図１４（ａ２）に示すデフォーカス量報酬情報ＲＤと同じデータ構造である。駆動音Ｓ／Ｎ比報酬情報ＲＮｂ及び駆動音Ｓ／Ｎ比報酬情報ＲＮｕは、図１４（ｂ２）に示す駆動音Ｓ／Ｎ比報酬情報ＲＮと同じデータ構造である。

ここで、機器制約報酬情報は、レンズ１００に固有となる報酬情報である。機器制約報酬情報は、レンズ１００に応じて予め決められた報酬情報が機器制約報酬管理部２５４に保持されている。ユーザ要望報酬情報は、ユーザ要望に応じて変更可能となる報酬情報である。ユーザ要望報酬情報は、ユーザ要望報酬管理部２５５にて、ユーザ設定により変更されたユーザ要望とユーザ要望報酬変換情報により決定される。報酬管理部２５３は、機器制約報酬情報、ユーザ要望報酬情報を合わせたものを報酬情報として管理している。

機器制約報酬情報は、機器として、最低限守るべき制御を規定するための報酬情報であるため、ユーザ要望報酬情報よりも境界値で決定する範囲が広く、期待する目標から逸脱する場合に負の値を含む低い点数が設定される。

ユーザ要望報酬情報は、ユーザ設定により可変可能であり、ユーザ設定により変更されたユーザ要望とユーザ要望報酬変換情報により決定される。

ＮＮアルゴリズムの学習には、図１４が示す通り、機器制約報酬情報、ユーザ要望報酬情報夫々の報酬情報を元に制御結果の点数が決定し、夫々の点数を加算したものが最終的な制御結果の点数として決定される。

以下に本実施例において、ユーザ設定によりユーザ要望報酬情報を決定する方法について説明する。

図１６は実施例１において、ユーザ要望報酬変換情報のデータ構造を示している。
図１６（ａ）は、デフォーカス量ユーザ要望報酬変換情報ＵＲＤｕのデータ構造を示している。デフォーカス量ユーザ要望報酬変換情報ＵＲＤｕは各レベルごとに、境界値、点数が異なる複数のデフォーカス量報酬情報ＲＤｕで構成されている。

図１６（ｂ）は、駆動音Ｓ／Ｎ比ユーザ要望報酬変換情報ＵＲＮｕのデータ構造を示している。駆動音Ｓ／Ｎ比ユーザ要望報酬変換情報ＵＲＮｕは各レベルごとに、境界値、点数が異なる複数の駆動音Ｓ／Ｎ比報酬情報ＲＮｕで構成されている。

デフォーカス量ユーザ要望報酬変換情報ＵＲＤｕ、駆動音Ｓ／Ｎ比ユーザ要望報酬変換情報ＵＲＮｕはレベル１、レベル２、レベル３の順にユーザ要望が高くなるように境界値、点数の値が決定されている。具体的にはレベル１は、レベル２、レベル３に比べ、境界値が各項目の目標により近い値となっていて、点数についてはより高い点数となっている。

図１２に示す操作部１３０によりユーザが設定したデフォーカス量、駆動音Ｓ／Ｎ比の各レベル情報は、制御部１２５を介してユーザ要望報酬管理部２５５に伝達される。ユーザ要望報酬管理部２５５は自身が保持している図１６が示すユーザ要望報酬変換情報から、ユーザが設定したデフォーカス量、駆動音Ｓ／Ｎ比の各レベル情報に基づきユーザ要望報酬情報を決定する。

以上により、ユーザ設定により変更されたユーザ要望とユーザ要望報酬情報を元にＮＮアルゴリズムの学習が実施され、ユーザ要望に応じて最適な制御が行えるＮＮアルゴリズムが生成される。

生成されたＮＮアルゴリズムは、ＮＮデータ記憶部１２３で記憶され、フォーカス駆動制御に使用される。

また、図１６に示すように、ユーザ要望報酬変換情報は、ユーザ要望各々に対し、目標レベルごとに学習完了基準情報を有する。この学習完了基準情報は、報酬の総加算値の目標値が設定されており、各レベルを目標と学習１回分におけるユーザ要望報酬の総加算値が学習完了基準情報を上回った時、学習完了と判断する目安とする。（あくまでも目安で、実際には総加算値の伸び率や学習回数で学習を打ち切ってもよい。）学習完了基準情報は、図１６（ａ）におけるＣＤＬ１、ＣＤＬ２、ＣＤＬ３、図１６（ｂ）におけるＣＮＬ１、ＣＮＬ２，ＣＮＬ３が該当する。この学習完了基準情報には、ユーザ要望報酬における報酬スコアに加え、機器制約報酬情報によって算出される報酬スコアも合わせた総スコアにおける目標値が設定されている。

学習完了基準情報は、学習状況管理部２５６で管理され、後述する学習進捗状況の算出に使用される。

学習状況管理部２５６では、機械学習部２５１で算出した報酬に基づく評価結果を受信し、ユーザ要望における評価結果への変換処理を行う。この時、機械学習部２５１で算出される評価結果は、ユーザ要望項目ごと（本実施例では、デフォーカス量と、駆動音Ｓ／Ｎ比）に算出される。ユーザ要望項目ごとの評価結果は、そのユーザ要望ごとの機器制約報酬情報に基づく評価値とユーザ要望報酬情報に基づく評価値との和であって、単位時間ごとの評価値の総和（総スコア）である。

学習状況管理部２５６では、図１６に示す学習完了基準情報に基づき、上記総スコアとの比率関係から報酬に対する評価結果をユーザ要望における評価結果に変換する。この評価方法については実施例１で説明したので説明を省略する。

これにより、ユーザ要望評価進捗は、評価完了までの到達割合として算出することができる。

＜ユーザ要望における評価進捗の通知＞
上述の要領で算出したユーザ要望評価進捗をユーザに通知する方法を説明する。
図１７（ａ）に示すのは、ユーザ要望項目（デフォーカス量、駆動音Ｓ／Ｎ比）ごとのユーザ要望評価進捗（進捗率）をパーセント表示した表示画面の例である。このように学習回数や経過時間と共に表示することで、ユーザは現状の学習進捗を知るとともに、完了までの目安を推定することができる。図１７（ｂ）に示すのは、ユーザ要望項目ごとの進捗率を、数値表示ではなく、グラフ化したものである。これは、学習開始時点での学習到達度から、学習完了の目標とする総スコアまでの進捗割合を表示しており、学習回数ごとの総スコアを履歴で表示している。このような表示方法でも、ユーザは現状の学習進捗を知ることが可能となる。

本実施例においては、学習進捗をパーセント数値表示や学習到達度割合の表示を例にとって説明したが、学習進捗をバー表示や円グラフ表示しても良いし、単純に総スコアの履歴情報と目標スコアとを重畳して表示する方法であっても良い。
また、表示する学習進捗は目標スコアと現在の総スコアとの差分量であっても良い。

学習進捗は、レンズマイコン１２０、カメラマイコン２１０を介して、カメラ本体の表示部に表示されるようにしてもよいし、レンズ装置に設けられた不図示の表示部に表示されるようにしてもよい。

実施例１では、カメラ本体が学習プロセッサを有する構成としていたが本実施例では、レンズ装置が学習プロセッサを有する構成とした。いずれの構成であっても、ユーザは現状の機械学習の進捗状況を認識することが可能となり、本発明の効果を享受可能な撮影システムを提供することができる。

本実施例に係る撮像システムは、基本的な構成は実施例２に係る撮像システムと同様であるので、ここでは実施例２とは異なる構成・機能について説明し、同じ構成については説明を省略する。

＜学習完了予想時間を決定・表示＞
実施例３の学習状況管理部では、学習完了予想時間（学習完了の時期に関する情報）を算出して表示させる機能を有する。

実施例３では、学習状況管理部２５６において、機械学習中に機械学習部２５１で算出した報酬に基づく評価結果を受信するたびに総スコアを履歴情報として保存、管理すると共に、蓄積した総スコアの値に基づいて近似曲線を計算する。近似曲線の計算は、一般的な対数近似や多項式近似に基づいて行うことができる。この時、学習状況管理部２５６は最新の総スコアの推移（履歴）における傾きを求め、下記要領で学習完了予想時間を算出することにより学習完了時間を予測する。

図１８に、学習状況管理部２５６が機械学習中に機械学習部２５１で算出した報酬に基づく評価結果を受信するたびにプロットした例である。横軸は学習回数、縦軸は報酬を蓄積したスコアである。

このとき、曲線ＡｐＣは、学習回数ｎ回目までの学習結果である総スコアＳ１，Ｓ２…Ｓｎから算出された、学習回数に対する総スコアの近似曲線である。この時、最新の学習結果が学習回数ｎ回目であるＳｎであった際に、学習回数ｎ回目における近似曲線ＡｐＣの傾き（Ａｎ）を微分で求める。ここで、図１８において、Ｔｐｃは学習完了と判断する目安となるスコア（学習完了基準情報）、Ｓｎは今現在（最終学習時）の総スコアである。

この時、学習完了基準情報（ＴｐＣ）と現在総スコア（Ｓｎ）の差分を求め、傾き（Ａｎ）で除することで推定残り学習回数を求めることができる。この時、１回あたりの学習時間（サイクルタイム）をＴｌ（秒）とすると、推定学習残り時間Ｔｒｅｓｔ（秒）は次式のようになる。
Ｔｒｅｓｔ ＝ （（Ｔｐｃ−Ｓｎ）／Ａｎ）×Ｔｌ ・・・ （３）

あるいは、図１８に例示したように、学習回数ｎ回目における近似曲線上の値をもとに推定残り学習回数を求めて、それに基づいて学習残り時間を推定してもよい。
上記の要領で推定学習残り時間を表示部に表示することで、ユーザに通知する。

本実施例によれば、ユーザは機械学習にかかる残り時間の目安を知ることが可能となる。
本実施例に係る撮像システムは、基本的な構成は実施例２に係る撮像システムの構成（レンズ１００が学習プロセッサを有する構成）を前提として説明したが、本発明はこれに限定されることはない。実施例１のように、カメラ本体が学習プロセッサ２５０を有する構成であっても同様に適用可能であり、本発明の効果を享受することができる。

本実施例に係る撮像システムは、基本的な構成は実施例３に係る撮像システムと同様であるので、ここでは実施例３とは異なる構成・機能について説明し、同じ構成については説明を省略する。

＜ユーザ要望により生成された報酬データを元に学習結果を予想し、予想結果に応じて学習実施可否及び予想結果をユーザに提示＞
実施例４のレンズ装置は、ユーザ要望設定時に、学習結果を予想し、予想結果に応じて学習実施可否および予想結果をユーザに示す機能を有する。
以下、実施例４の構成について、図面を参照しながら説明する。

実施例４のレンズ装置では、図１２に示す学習状況管理部２５６において、学習履歴情報を管理する。この時、学習履歴情報というのは、過去に実施した機械学習時の報酬情報とその時の学習完了基準情報、および、機械学習の成功失敗を示す学習失敗情報、および学習完了時における評価結果である総スコアを紐付管理したものである。学習履歴情報は、図１８に示すように、ユーザ要望項目毎に履歴管理される。

＜学習の成功失敗判定およびその記録＞
学習失敗情報の管理について、および、学習の失敗を判断する方法を説明する。
報酬情報は、報酬情報と共に学習完了と判断するスコアである学習完了基準情報、および基準学習回数を有する。

学習状況管理部２５６は、機械学習部２５１で算出した報酬に基づく評価結果を受信するたびに学習完了基準情報（閾値）と現在の総スコアを比較し、所定の回数内（基準学習回数内）で学習完了基準情報以上となれば学習完了と判断し、学習失敗情報に学習成功を記録する。一方で、現在の総スコアが学習完了基準情報未満である場合は、現在の学習回数と基準学習回数を比較し、現在の学習回数が基準学習回数を上回っている場合は、学習失敗情報に学習失敗を記録する。すなわち、基準学習回数を上回る回数だけ機械学習を重ねても総スコアが学習完了基準情報に達しない場合に学習失敗と判定する。

＜学習結果の予想と通知＞
次に本実施例における、学習結果の予想と通知方法について説明する。
機械学習開始時、設定されたユーザ要望に基づき、例えば実施例１の図８、９や実施例２の図１４、１５を参照しながら説明した要領でユーザ要望から報酬情報に変換する。このとき、変換された報酬情報と、学習状況管理部２５６が管理する学習履歴情報の中に一致する報酬情報が存在するか否か、検索する。このとき、一致する報酬情報が見つかったら、紐付されている学習失敗情報を確認し、学習失敗と記録されていた場合は、表示部に学習失敗の旨を表示する。

さらに、学習失敗情報が学習成功と記録されている場合であっても、最後に実施した機械学習を完了した際の総スコア（現スコア）が、今回決定した報酬情報と一致する学習履歴情報に紐付管理されている総スコア（推定スコア）を比較する。その結果、現スコアが推定スコアと等しい（一致している）か、もしくは現スコアが推定スコアを既に上回っている場合は、機械学習を実施しても総スコアの改善が見込めないので、その旨を表示部にて表示する。

学習結果の予想において、ユーザ要望が現在よりも高いレベルで設定されているにも関わらず上記のように改善効果がない、もしくは失敗する（より高いレベルの達成は見込めない）ことが予想される結果となった場合は、（機械学習を実施しても意味がないので）機械学習を中断する。

＜改善不可と判断した場合、最後に設定したユーザ要望項目の向上を達成するために、他のユーザ要望項目の設定値変更を提示＞
複数のユーザ要望項目が設定された際の学習結果の予想において、学習の失敗が予想される場合は、下記の方法により、学習が成功するユーザ要望項目の設定の推奨値を提示する。

学習成功時に、その時に設定されていた全てのユーザ要望項目の設定値（図１０、１６に示したレベル）の組み合わせを学習履歴情報としてあらかじめ記録しておく。

学習開始時、最後に設定されたユーザ要望項目が何であったかを記憶しておき、上記の学習結果予測で説明した方法により学習の結果予測を行う。その結果、最後に設定されたユーザ要望項目に対する学習が失敗することが判定された場合には、最後に設定したユーザ要望項目が成功した過去の学習実績のデータが無いか学習履歴の検索を行う。最後に設定したユーザ要望項目が成功した過去の学習実績のデータがあった場合には、その時に設定されていた、全てのユーザ要望項目の設定値をユーザに提示する。

このような方法を採ることで、ユーザは現状の各ユーザ要望項目の設定の組み合わせでは学習が失敗することを知るとともに、他のユーザ要望項目の設定値を変更することで最後に設定された当該ユーザ項目の学習を成功させられる可能性があることを知ることができる。

本実施例では、最後に設定されたユーザ要望項目を実現するために必要な、他のユーザ要望項目の設定値を知らせる方法を説明したが、これに限らず、他のユーザ要望項目を実現することを提案する方法であってもよい。例えば、優先するユーザ要望項目をあらかじめユーザが指定するメニュー項目を備える方法であってもよい。

＜改善不可判断として、駆動に対する映像効果に基づいて決定する機械学習システム＞
図１９は、本発明の実施例５に係る撮像システムを示すブロック図である。
実施例１の構成と比較して、異なる部分について説明し、同じ構成については説明を省略する。

＜機械学習機能付き撮影システムの構成＞
図１９に、本発明の実施例５に係る撮像システム（光学装置、カメラシステム）の構成を示す。カメラシステムは、撮像装置（カメラ本体２００）と、レンズ装置（レンズ１００）と、遠隔装置４００とにより構成されている。実施例５においては、学習プロセッサが、カメラ本体やレンズ装置ではなく遠隔装置４００に構成され、遠隔装置４００が学習機能を有する点が実施例１と異なる。また学習に使用される情報として、撮影映像を元に生成された情報が使われる点も異なる。ここで遠隔装置４００は、例えば、携帯端末、パソコン端末、または遠隔操作装置などである。

実施例１と同一の構成については共通の記号を付与し、その説明は省略する。
カメラ本体２００は通信部２３０を有する。通信部２３０は遠隔装置４００と通信するための通信部である。

遠隔装置４００は表示部４０１、操作部４０２、遠隔装置マイクロコンピュータ（以下、遠隔装置マイコン４１０とも記載する）を有する。

表示部４０１は、遠隔装置４００の表示部である。操作部４０２は、遠隔装置４００の表示部である。

遠隔装置マイコン４１０は、制御部４１１、通信部４１２を有する。
制御部４１１は、遠隔装置を制御する制御部である。通信部４１２は、カメラ本体２００と通信するための通信部である。

学習プロセッサ４５０は、プロセッサ（ＣＰＵ、ＧＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ）からなる。プロセッサは、機械学習部４５１、動作ログ保持部４５２、報酬管理部４５３、機器制約報酬管理部４５４、ユーザ要望報酬管理部４５５の各種処理を制御する。記憶装置には、これらの制御をするためのプログラム、動作ログ保持部４５２が保持している動作ログ情報が記憶されている。更に報酬管理部４５３が管理している報酬情報、機器制約報酬管理部４５４が管理している機器制約報酬情報、ユーザ要望報酬管理部４５５が管理しているユーザ要望報酬情報及びユーザ要望報酬変換情報等が保持されている。学習プロセッサ４５０内の動作は、実施例１の学習プロセッサ２５０内の動作と同じである。

ここで、通信部２３０と通信部４１２とは、無線通信にて接続されている。無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の近距離無線通信や、公衆無線ＬＡＮ等の公衆無線通信である。

実施例５において、学習プロセッサがカメラ本体２００ではなく遠隔装置４００に構成されている点が実施例１と異なる。

従って、実施例１に対して、カメラマイコン２１０と学習プロセッサ２５０との間の情報伝達が、実施例５では、カメラマイコン２１０と学習プロセッサ４５０との間の情報伝達が、通信部２３０、通信部４１２、制御部４１１を介して行われる。

また、カメラ本体２００の信号処理回路２０３から出力される映像データは、制御部２１１、通信部２３０、通信部４１２を介して、制御部４１１に送信される。制御部４１１に送信された映像データは、表示部４０１に表示される。

更に、使用者がカメラ本体２００の操作部２０６又は遠隔装置４００の操作部４０２から機械学習実施を指示する操作を行うと、機械学習実施の指令が制御部４１１を介して機械学習部４５１に伝えられる。機械学習部４５１は、機械学習実施の指令を受けると、実施例１の機械学習部２５１と同様の方法で機械学習を開始する。

更に、操作部２０６又は操作部４０２によりユーザが設定した位置精度、静音、消費電力の各レベル情報は、制御部４１１を介してユーザ要望報酬管理部４５５に伝達される。ユーザ要望報酬管理部４５５は自身が保持しているユーザ要望報酬変換情報から、ユーザが設定した位置精度、静音、消費電力の各レベル情報に基づきユーザ要望報酬情報を決定する。

以上により、ユーザが設定したユーザ要望報酬情報を元に、実施例１と同様の動作にて、ＮＮアルゴリズムの学習が実施され、ユーザ設定に応じて最適な制御が行えるＮＮアルゴリズムが生成される。

生成されたＮＮアルゴリズムは、遠隔装置４００から、カメラ本体２００を介してレンズ１００に送られ、ＮＮデータ記憶部１２３で記憶され、フォーカス駆動制御に使用される

＜映像情報に基づく改善不可判断＞
このとき、本実施例のレンズ学習装置は、フォーカスの駆動制御の機械学習による改善不可判断を、映像効果に影響のある因子（映像効果ファクター）を用いる。本実施例では、ユーザ要望項目としてデフォーカスの性能向上を指定した場合に、映像効果ファクターとして焦点深度情報を利用する場合を考える。一般的に、焦点深度が深くなれば、フォーカスが合いやすくなる（多少ずれてもピンボケして見えない）。学習状況管理部４５６には、学習履歴情報として、前回の学習時（つまり現在）のデフォーカスレベルが保存されている。映像効果ファクターは、レンズ装置情報として焦点深度情報を保持しており、機械学習部４５１では、前記現在のデフォーカスレベルを用いて、現状必要な焦点深度情報に変換する。この変換処理は、事前に準備した変換表を参照する方式でも良い。このとき、現在必要な焦点深度情報に対し、現在の焦点深度情報が不足する（焦点深度が浅い）場合、機械学習を行っても機能改善が見込めないと判断し、その旨を表示部に表示してユーザに通知する。

学習進捗の状態等は、遠隔装置に設けられた表示部４０１に表示されるようにしてもよいし、遠隔装置マイコン４１０を介してカメラ本体の表示部に表示されるようにしてもよいし、双方に表示されるようにしてもよい。

以上により、遠隔地から、撮影映像を確認しながらユーザ設定に応じて最適な制御が行えるＮＮアルゴリズムが生成することができる。更に操作部２０６を使用して、使用者がカメラ本体２００から、ユーザ要望報酬情報の設定を行うことが可能な装置において、映像効果ファクターに基づいてアクチュエータ駆動制御の改善可否を判断し、ユーザに通知することが可能な装置が実現できる。

ここで、ＮＮアルゴリズム及びＮＮアルゴリズムの学習において、実施例１、３において、レンズ装置情報を用いた例を示した。実施例２において撮影情報を用いた例を示した。但し、いずれの実施例の形態においても、ＮＮアルゴリズム及びＮＮアルゴリズムの学習において、レンズ装置情報、撮影情報又はその両方を用いても良い。

＜フォーカス以外への本発明の適用について＞
なお、例示した実施例ではフォーカスレンズを駆動対象としたフォーカス制御（処理方法）を扱ったが、他の制御（ズームレンズ、像振れ補正、開口絞り等）に対しても、本発明は同様に有効である。静音、消費電力については、光学部材をアクチュエータにより駆動する場合は共通の課題を有している。位置精度においては、ズームレンズにおいては、画角変化における被写体の拡大変化量の関係により要求される位置精度が決定される。またズームレンズ駆動量と画角変化量との関係においても位置精度が決定される。像振れ補正においては、焦点距離と映像のシフト量の関係の情報から、位置精度が決定される。開口絞りにおいては、絞り駆動量と映像の輝度変化量の関係から位置精度が決定される。

（その他の実施例）
本発明は、上述の実施例及び変形例の１以上の機能を実現するプログラム（処理方法）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。

プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

２０６ 表示部
１５０、２５０、４５０ 学習プロセッサ（処理部）
１５１、２５１、４５１ 機械学習部
１５２、２５２、４５２ 動作ログ保持部
１５３、２５３、４５３ 報酬管理部
１５４、２５４、４５４ 機器制約報酬管理部
１５５、２５５、４５５ ユーザ要望報酬管理部
１５６、２５６、４５６ 学習状況管理部

Claims (16)

1. 光学装置において光学部材の駆動を行う駆動部に対する制御出力の機械学習を行う処理部を有する処理装置であって、
   前記処理部は、前記駆動の性能に関する使用者の要求に関する情報に基づいて前記機械学習を行い、かつ該機械学習の進捗に関する情報を生成することを特徴とする処理装置。
2. 前記処理部は、前記機械学習における評価値に基づいて、前記進捗に関する情報として、前記機械学習の完了に関する情報を生成する、
   ことを特徴とする請求項１に記載の処理装置。
3. 前記完了に関する情報は、前記完了の時期に関する情報を含むことを特徴とする請求項２に記載の処理装置。
4. 前記完了に関する情報は、前記完了の可否に関する情報を含むことを特徴とする請求項２に記載の処理装置。
5. 前記処理部は、予め定められた時期における前記評価値に基づいて、前記可否に関する情報を生成することを特徴とする請求項４に記載の処理装置。
6. 前記処理部は、前記評価値の変化に基づいて、前記可否に関する情報を生成することを特徴とする請求項４に記載の処理装置。
7. 前記処理部は、前記光学装置の状態に関する情報に基づいて、前記可否に関する情報を生成することを特徴とする請求項４に記載の処理装置。
8. 前記処理部は、前記要求に関する情報に基づいて報酬の情報を生成し、前記報酬の情報に基づいて前記機械学習を行うことを特徴とする請求項１ないし請求項６のうちいずれか１項に記載の処理装置。
9. 前記光学部材は、フォーカスレンズ群、ズームレンズ群、開口絞り、像振れ補正レンズ群のうち少なくとも１つを含むことを特徴とする請求項１ないし請求項８のうちいずれか１項に記載の処理装置。
10. 前記光学部材は、フォーカスレンズ群を含み、
    前記状態に関する情報は、前記光学装置の焦点深度に関する情報を含む、
    ことを特徴とする請求項７に記載の処理装置。
11. 前記処理部は、前記機械学習の履歴に関する情報に基づいて、前記進捗に関する情報として、前記要求の変更を促す情報を生成することを特徴とする請求項１ないし請求項１０のうちいずれか１項に記載の処理装置。
12. 光学部材と、
    前記光学部材を駆動する駆動部と、
    請求項１ないし請求項１１のうちいずれか１項に記載の処理装置と、
    を有することを特徴とする光学装置。
13. 請求項１２に記載の光学装置と、
    前記光学装置によって形成された像を撮る撮像素子と、
    を有することを特徴とする撮像装置。
14. 請求項１ないし請求項１１のうちいずれか１項に記載の処理装置と、
    前記光学装置によって形成された像を撮る撮像素子と、
    を有することを特徴とする撮像装置。
15. 光学装置において光学部材の駆動を行う駆動部に対する制御出力の機械学習を行う処理方法であって、
    前記駆動の性能に関する使用者の要求に関する情報に基づいて前記機械学習を行い、かつ該機械学習の進捗に関する情報を生成することを特徴とする処理方法。
16. 請求項１５の処理方法をコンピュータに実行させることを特徴とするプログラム。

Images