JP2022151257A - 制御装置、撮像装置、レンズ装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】例えば、機械学習に有利な制御装置を提供する。【解決手段】制御装置は、互いに異なる条件下で学習された複数の学習済モデルから一つの学習済モデルを取得する取得部（２２７）と、取得部（２２７）により取得された一つの学習済モデルに基づいて、光学部材（１０１～１０４）の駆動を制御する制御部（２１１）とを有する。【選択図】図１

Description

本発明は、制御装置、撮像装置、レンズ装置、制御方法、およびプログラムに関する。

静止画撮像時の速写性を実現するには、オートフォーカス、絞り、または電動ズームなどの高速動作が必要である。一方、動画撮像時には、当該高速動作においてはアクチュエータの作動音が大きくなり、当該作動音がノイズとして記録されうる。

特許文献１には、静止画を撮像する第１の撮像モードか動画を撮像する第２の撮像モードかに応じて、アクチュエータの作動モードを選択する撮像装置が開示されている。特許文献１に開示された撮像装置によれば、撮像モードに応じた速度および作動音でアクチュエータを駆動することができる。

特開２００７－６３０５号公報

撮像装置の光学部材を駆動するアクチュエータに要求される駆動速度、位置精度、消費電力、および静音性などの性能は、ユーザや撮像条件などに関する状況によって異なりうる。よって、機械学習により得られた学習済モデルを用いて光学部材の駆動を制御する場合、状況ごとに機械学習を行うのに、アクチュエータの駆動量が多大となりうる。その結果、機械学習時間の増大や駆動部の消耗が懸念されうる。

本発明は、例えば、機械学習に有利な制御装置を提供することを目的とする。

本発明の一側面としての制御装置は、互いに異なる条件下で学習された複数の学習済モデルから一つの学習済モデルを取得する取得部と、前記取得部により取得された前記一つの学習済モデルに基づいて、光学部材の駆動を制御する制御部とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、例えば、機械学習に有利な制御装置を提供することができる。

実施例１における撮像システムのブロック図である。 実施例１におけるフォーカスレンズ制御に要求される位置精度の説明図である。 実施例１におけるフォーカスレンズ制御に要求される速度の説明図である。 実施例１における位置精度と、速度、消費電力、および静音との関係の説明図である。 実施例１における速度と、位置精度、消費電力、および静音との関係の説明図である。 実施例１におけるニューラルネットワークの入出力の説明図である。 実施例１における機械学習のフローチャートである。 実施例１における報酬情報の説明図である。 実施例１におけるユーザ要望データベースのデータ構造の説明図である。 実施例１における機械学習モデルデータベースのデータ構造の説明図である。 実施例１における学習済モデルの決定方法のフローチャートである。 実施例１におけるユーザ要望の入力画面の説明図である。 実施例２における撮像システムのブロック図である。 実施例２における撮像情報データベースのデータ構造の説明図である。 実施例２における機械学習モデルデータベースのデータ構造の説明図である。 実施例２における学習済モデルの決定方法のフローチャートである。 実施例３における撮像システムのブロック図である。 実施例４における撮像システムのブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

＜機械学習機能付き撮像システムの構成＞
まず、図１を参照して、本発明の実施例１における撮像システム（カメラシステム）１０の構成について説明する。図１は、撮像システム１０のブロック図である。撮像システム１０は、カメラ本体（撮像装置）２００と、カメラ本体２００に着脱可能な交換レンズ（レンズ装置）１００とを備えて構成される。

カメラ本体２００と交換レンズ１００は、結合機構であるマウント３００を介して機械的および電気的に接続されている。カメラ本体２００は、マウント３００に設けられた不図示の電源端子部を介して、交換レンズ１００に電源を供給する。また、カメラ本体２００と交換レンズ１００は、マウント３００に設けられた不図示の通信端子部を介して相互に通信を行う。本実施例において、交換レンズ１００はカメラ本体２００に対して着脱可能であるが、これに限定されるものではなく、撮像装置とレンズ装置とが一体的に構成されていてもよい。

交換レンズ１００は、撮像光学系を有する。撮像光学系は、撮像素子で撮られる像を形成する光学部材として、焦点調節を行うフォーカスレンズ１０１、変倍を行うズームレンズ１０２、光量を調節する絞りユニット１０３、および像振れ補正レンズ１０４を含む。フォーカスレンズ１０１とズームレンズ１０２は、不図示のレンズ保持枠によって保持されている。レンズ保持枠は、不図示のガイド軸により光軸ＯＡに沿った方向（光軸方向）に移動可能にガイドされている。フォーカスレンズ１０１は、フォーカスレンズ駆動部１０５により光軸方向に移動する。フォーカスレンズ１０１の位置は、フォーカスレンズ検出部１０６により検出される。ズームレンズ１０２は、ズームレンズ駆動部１０７により光軸方向に移動する。ズームレンズ１０２の位置は、ズームレンズ検出部１０８により検出される。絞りユニット１０３は、絞り羽根を備えて構成され、絞り駆動部１０９により駆動され光量調節動作を行う。絞りユニット１０３のＦ値（絞り値）は、絞り検出部１１０により検出される。像振れ補正レンズ１０４は、像振れ補正レンズ駆動部１１２により光軸ＯＡと直交する方向に移動し、手振れなどに起因する像振れを低減する。像振れ補正レンズ１０４の位置は、像振れ補正レンズ検出部１１３により検出される。

フォーカスレンズ駆動部１０５、ズームレンズ駆動部１０７、絞り駆動部１０９、および像振れ補正レンズ駆動部１１２は、例えば超音波モータ（振動波モータ）を有する。ただし、各駆動部は、超音波モータに限定されるものではなく、ボイスコイルモータ、ＤＣモータ、またはステッピングモータなどの他のモータを有していてもよい。フォーカスレンズ検出部１０６、ズームレンズ検出部１０８、絞り検出部１１０、および像振れ補正レンズ検出部１１３は、例えばポテンションメータやエンコーダである。また、各駆動部がステッピングモータなどの所定の駆動量をフィードバック無しに駆動可能なモータを有する場合、所定位置を検出する検出部を設けてもよい。この場合、フォトインタラプタなどの検出センサを設けた所定位置まで光学部材を初期駆動し、初期駆動後は、モータ駆動量に基づいて光学部材の位置を特定してもよい。揺れセンサ１１１は、交換レンズ１００の揺れを検出する検出部であり、例えばジャイロである。

レンズマイコン（レンズマイクロコンピュータ）１２０は、ＮＮ制御部１２１、レンズ装置情報管理部１２２、ＮＮデータ記憶部１２３、動作ログ管理部１２４、制御部１２５、および通信部１２６を有する。ＮＮ制御部１２１は、フォーカスレンズ１０１の位置を制御する制御部である。ＮＮ制御部１２１は、その内部にニューラルネットワーク（ＮＮ）アルゴリズムが実装され、機械学習パラメータを用いてＮＮアルゴリズムにより駆動指令を決定する。レンズ装置情報管理部１２２は、ＮＮ制御部１２１で使用するレンズ装置情報を管理する管理部である。ＮＮデータ記憶部１２３は、ウエイトを保持する記憶部である。動作ログ管理部１２４は、フォーカスレンズ１０１の駆動制御に関係する動作ログ情報を管理する管理部である。制御部１２５は、ズームレンズ１０２、絞りユニット１０３、および像振れ補正レンズ１０４のそれぞれの位置を制御するとともに、カメラ本体２００との情報伝達を制御する制御部である。制御部１２５は、例えば、制御対象への目標位置または速度と現在の制御対象位置または速度との偏差に対して、ＰＩＤ制御により駆動指令を生成し、制御を行う。通信部１２６は、カメラ本体２００と通信する通信部である。レンズ個体情報管理部１２７は、レンズ機種または個体識別番号の情報であるレンズ個体情報を管理する管理部である。なお、ＮＮアルゴリズム、ウエイト、レンズ装置情報、動作ログ情報については後述する。

カメラ本体２００は、撮像素子（撮像部）２０１、Ａ／Ｄ変換回路２０２、信号処理回路２０３、記録部２０４、表示部２０５、操作部２０６、カメラマイコン（カメラマイクロコンピュータ）２１０、および学習プロセッサ２２０を有する。撮像素子２０１は、交換レンズ１００から入射した光を映像電気信号に変換する光電変換素子であり、例えばＣＣＤセンサやＣＭＯＳセンサである。Ａ／Ｄ変換回路２０２は、撮像素子２０１から出力された映像電気信号をデジタル信号に変換する。信号処理回路２０３は、Ａ／Ｄ変換回路２０２から出力されたデジタル信号を映像データに変換する。記録部２０４は、信号処理回路２０３から出力された映像データを記録する。表示部２０５は、信号処理回路２０３から出力された映像データを表示する。操作部２０６は、ユーザが撮像システム１０を操作するための操作部である。

カメラマイコン２１０は、カメラ本体２００を制御する制御マイコンである。カメラマイコン２１０は、制御部２１１および通信部２１２を有する。制御部２１１は、信号処理回路２０３からの映像データおよび操作部２０６からのユーザの操作情報に基づいて、交換レンズ１００への駆動指令を行う。また制御部２１１は、学習プロセッサ２２０に対しての指令や情報伝達の制御を行う。通信部２１２は、交換レンズ１００との通信を行う。通信部２１２は、制御部２１１からの駆動指令を制御コマンドとして、交換レンズ１００へ送信する。また通信部２１２は、交換レンズ１００からの情報を受信する。

学習プロセッサ２２０は、プロセッサ（ＣＰＵ、ＧＰＵ）および記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ）を有する。プロセッサは、機械学習部２２１、動作ログ保持部２２２、報酬管理部２２３、ユーザ要望管理部２２４、ユーザ要望保持部２２５、機械学習モデル保持部２２６、および機械学習モデル管理部２２７を有する。記憶装置は、プロセッサの各部を制御するためのプログラムを記憶している。また記憶装置は、動作ログ保持部２２２が保持する動作ログ情報、報酬管理部２２３が保持する報酬情報、ユーザ要望管理部２２４が保持するユーザ要望情報（ユーザ要求）、およびユーザ要望保持部２２５が保持するユーザ要望情報データベースを記憶している。また記憶装置は、機械学習モデル保持部２２６が保持する機械学習モデルデータベースを記憶している。なお、動作ログ情報、報酬情報、ユーザ要望情報、ユーザ要望情報データベース、および機械学習モデルデータベースについては、後述する。

＜撮像画像記録および表示＞
次に、撮像システム１０における撮像画像記録および表示について説明する。交換レンズ１００に入射した光は、フォーカスレンズ１０１、ズームレンズ１０２、絞りユニット１０３、および像振れ補正レンズ１０４を通過し、撮像素子２０１に結像する。撮像素子２０１に結像した光は、撮像素子２０１にて映像電気信号に変換され、Ａ／Ｄ変換回路２０２にてデジタル信号に変換され、信号処理回路２０３にて映像データに変換される。信号処理回路２０３から出力される映像データは、記録部２０４に記録される。また表示部２０５は、信号処理回路２０３から出力される映像データに基づいて映像を表示する。

＜フォーカス制御＞
次に、カメラ本体２００が交換レンズ１００のフォーカスを制御する方法について説明する。制御部２１１は、信号処理回路２０３から出力された映像データに基づいて、ＡＦ（オートフォーカス）制御を行う。具体的には、制御部２１１は、映像データのコントラストの明暗差が最も大きくなるように、フォーカスレンズ１０１を動かして、撮像被写体にピントが合うように制御する。制御部２１１は、フォーカスレンズ１０１を動かすためのフォーカス駆動量を駆動指令として通信部２１２に出力する。通信部２１２は、制御部２１１から駆動指令を受け取ると、フォーカス駆動の駆動指令を制御コマンドに変換し、マウント３００の通信接点部を介して交換レンズ１００へ送信する。通信部１２６は、通信部２１２からの制御コマンドを受信すると、フォーカス駆動の駆動指令に変換し、制御部１２５を介してＮＮ制御部１２１に出力する。ＮＮ制御部１２１は、フォーカス駆動の駆動指令が入力されると、ＮＮデータ記憶部１２３に記憶されている学習済みのウエイトを用いて駆動信号を決定し、フォーカスレンズ駆動部１０５へ駆動信号を出力する。なお、ＮＮ制御部１２１が駆動信号を決定する方法については、後述する。

以上のように、制御部２１１からの駆動指令に従い、フォーカスレンズ１０１が駆動される。従って、制御部２１１は、映像データのコントラストの明暗差が最も大きくなるように、フォーカスレンズ１０１を動かすことで適切なＡＦ制御を行うことができる。

＜絞り制御＞
次に、カメラ本体２００が交換レンズ１００の絞りユニット１０３を制御する方法について説明する。制御部２１１は、信号処理回路２０３から出力された映像データに基づいて、露出制御を行う。具体的には、制御部２１１は、映像データの輝度値が一定となるように、目標となるＦ値を決定する。制御部２１１は、決定したＦ値を駆動指令として通信部２１２に出力する。通信部２１２は、制御部２１１から駆動指令を受け取ると、Ｆ値の駆動指令を制御コマンドに変換し、マウント３００の通信接点部を介して交換レンズ１００へ送信する。通信部１２６は、通信部２１２からの制御コマンドを受信すると、Ｆ値の駆動指令に変換し、制御部１２５に出力する。制御部１２５は、Ｆ値の駆動指令が入力されると、絞り検出部１１０が検出した絞りユニット１０３のＦ値に基づいて駆動信号を決定し、絞り駆動部１０９へ駆動信号を出力する。以上のように、映像データの輝度値が一定となるように、Ｆ値が制御され、適切な露光制御を行うことができる。

＜ズーム制御＞
次に、カメラ本体２００が交換レンズ１００のズームを制御する方法について説明する。ユーザは、操作部２０６を介してズーム操作を行う。制御部２１１は、操作部２０６から出力されたズーム操作量が入力されると、ズームレンズ１０２を動かすためのズーム駆動量を駆動指令として通信部２１２に出力する。通信部２１２は、制御部２１１から駆動指令を受け取ると、ズーム駆動の駆動指令を制御コマンドに変換し、マウント３００の通信接点部を介して交換レンズ１００へ送信する。通信部１２６は、通信部２１２からの制御コマンドを受信すると、ズーム駆動の駆動指令に変換し、制御部１２５に出力する。制御部１２５は、ズーム駆動の駆動指令が入力されると、ズームレンズ検出部１０８が検出したズームレンズ位置に基づいて駆動信号を決定し、ズームレンズ駆動部１０７へ駆動信号を出力する。以上のように、操作部２０６に入力されたズーム操作に従い、ズームレンズ１０２が駆動され、ユーザがズームを操作することができる。

＜防振制御＞
次に、交換レンズ１００が防振を行う方法について説明する。制御部１２５は、揺れセンサ１１１から出力された交換レンズ１００の揺れ信号を元に、交換レンズ１００の揺れを打ち消すように、像振れ補正レンズ目標位置を決定する。制御部１２５は像振れ補正レンズ検出部１１３が検出した像振れ補正レンズ位置に基づいて駆動信号を決定し、像振れ補正レンズ駆動部１１２へ駆動信号を出力する。以上のように、防振が正しく制御され、撮像素子２０１にて撮像された像振れを防ぐことができる。

＜フォーカスレンズ制御に要求される４つの指標＞
フォーカスレンズ制御には、４つの要求事項がある。それは、位置精度、速度、消費電力、および静音である。それぞれの要求事項をバランスよく制御することが求められる。以下、各要求事項について説明する。

＜フォーカスレンズ制御に要求される位置精度＞
位置精度は、フォーカスレンズ１０１を目標位置へ駆動する際に、目標位置に対してどれだけ正確にフォーカスレンズ１０１を駆動できるかを表す指標である。以下、図２を参照して、位置精度について説明する。図２（ａ）、（ｂ）は位置精度の説明図であり、図２（ａ）は焦点深度が浅い場合（ａ）におけるフォーカスレンズ１０１とピント位置との関係を示し、図２（ｂ）は焦点深度が深い場合におけるフォーカスレンズ１０１とピント位置との関係を示している。図２（ａ）、（ｂ）は、レンズ構成は同じで、Ｆ値のみ異なる場合を示し、共通のものに対しては同符号を付している。

フォーカスレンズ目標位置Ｇは、光軸上の主被写体の点物体Ｓが、撮像素子２０１上に合焦するフォーカスレンズ位置を示している。フォーカスレンズ位置Ｃは、フォーカスレンズ目標位置Ｇを目標に駆動した後のフォーカス位置を示している。フォーカスレンズ位置Ｃは、フォーカスレンズ目標位置Ｇに対して、制御誤差Ｅの分だけ点物体Ｓ側の位置となっている。ピント位置Ｂｐは、フォーカスレンズ位置がフォーカスレンズ位置Ｃの時の点物体Ｓの結像位置を示している。錯乱円δは撮像素子２０１の錯乱円である。

図２（ａ）のＦ値Ｆａは、図２（ｂ）のＦ値Ｆｂよりも明るい値（小さい値）である。従って、図２（ａ）の焦点深度幅２Ｆａδは、図２（ｂ）の焦点深度幅２Ｆｂδよりも狭い範囲である。図２（ａ）の光線Ｃａ、光線Ｇａは、それぞれフォーカスレンズ位置Ｃ、フォーカスレンズ目標位置Ｇにおける点物体Ｓの光線のうち一番外側の光線を示している。また、図２（ｂ）の光線Ｃｂ、光線Ｇｂは、それぞれフォーカスレンズ位置Ｃ、フォーカスレンズ目標位置Ｇにおける点物体Ｓの光線のうち一番外側の光線を示している。

図２（ａ）において、点像直径Ｉａは、フォーカスレンズ１０１が、フォーカスレンズ位置Ｃにあるときの点物体Ｓの撮像素子２０１上の点像の直径を示す。図２（ｂ）において、点像直径Ｉｂは、フォーカスレンズが、フォーカスレンズ位置Ｃにあるときの点物体Ｓの撮像素子２０１上の点像の直径を示す。図２（ａ）において、ピント位置Ｂｐは焦点深度幅２Ｆａδの範囲外となっている。また、点像直径Ｉａは、錯乱円δより大きく、中心の画素に収まらず、隣の画素へ光が入射している。このため図２（ａ）において、フォーカスレンズ位置Ｃでは点物体Ｓは非合焦となる。

一方、図２（ｂ）において、ピント位置Ｂｐは焦点深度幅２Ｆｂδの範囲内にある。また、点像直径Ｉｂは、錯乱円δより小さく、中心の画素に全ての光線が集光している。このため図２（ｂ）において、フォーカスレンズ位置Ｃでは点物体Ｓは合焦となる。

以上のように、同じ位置精度を達成したとしても、撮像条件により、非合焦、合焦が変化する。つまり撮像条件により、求められる位置精度が変化する。

＜フォーカスレンズ制御に要求される速度＞
速度は、フォーカスレンズ１０１を駆動する際の移動速度である。移動速度は、単位時間あたりの移動量と考えることで移動量に置き換えることができる。また、ピントが合っている位置の光軸方向の移動量のことをピント移動量、移動速度をピント移動速度とする。フォーカスレンズ移動量は、ピント移動量と比例関係にある。この比例定数をフォーカス敏感度という。フォーカス敏感度はレンズの構成する光学系の位置関係によって変化する。ピント移動量ΔＢｐ、フォーカス敏感度Ｓｅ、フォーカスレンズ移動量ΔＰは、以下の式（１）で表される関係となる。

ピント移動量ΔＢｐ＝フォーカス敏感度Ｓｅ×フォーカスレンズ移動量ΔＰ ・・・（１）
次に、図３（ａ）、（ｂ）を参照して、フォーカスレンズ制御に要求される速度について説明する。図３（ａ）はフォーカス敏感度Ｓが大きい場合におけるフォーカスレンズ１０１とピント位置との関係を示し、図３（ｂ）はフォーカス敏感度Ｓが小さい場合におけるフォーカスレンズ１０１とピント位置との関係を示している。図３（ａ）、（ｂ）は、レンズ構成は同じで、レンズと点物体Ｓとの距離が異なる場合を示している。なお、図３（ａ）、（ｂ）で共通のものに対しては同符号を付す。

図３（ａ）において、ピント位置Ｂｐ１からピント位置Ｂｐ２へ移動させる場合、フォーカスレンズ１０１をフォーカスレンズ位置Ｐａ１からフォーカスレンズ位置Ｐａ２へ移動する必要がある。このとき、フォーカスレンズ１０１の移動量ΔＰａとピント移動量ΔＢｐは、式（１）で表される関係となる。

図３（ｂ）において、ピント位置Ｂｐ１からピント位置Ｂｐ２へ移動させる場合、フォーカスレンズ１０１をフォーカスレンズ位置Ｐｂ１からフォーカスレンズ位置Ｐｂ２へ移動する必要がある。このとき、フォーカスレンズ１０１の移動量ΔＰａとピント移動量ΔＢｐは、式（１）で表される関係となる。

図３（ａ）、（ｂ）に示されるように、図３（ａ）のフォーカス敏感度は図３（ｂ）のフォーカス敏感度より小さいため、同じピント移動量ΔＢｐ動かすために必要となるフォーカスレンズ１０１の移動量は、図３（ａ）のほうが大きい。つまり、図３（ａ）の場合に比べ、図３（ｂ）の場合は、単位時間当たりのフォーカス移動量を少なくできるため、結果としてフォーカスレンズ駆動速度が遅くしても、ピント移動速度としては同じになる。

以上のように、特定のピント移動速度を達成するために必要となるフォーカスレンズ駆動速度は、撮像条件により異なる。つまり撮像条件により、求められるフォーカスレンズ駆動速度が変化する。

＜フォーカスレンズ制御に要求される消費電力＞
消費電力は、フォーカスレンズ１０１を駆動するために消費する電力である。消費電力は、フォーカスレンズ１０１の駆動時間、駆動速度、または駆動加速度変化に応じて変化する。つまり駆動時間が長い場合、駆動速度が速い場合、駆動加速度変化が多い場合に消費電力が多くなる。一方、消費電力を抑えることでバッテリ容量を有効活用することが可能になり、メリットとして１回の充電で撮像可能な枚数を増やすことやバッテリの更なる小型化が可能になる。

＜フォーカスレンズ制御に要求される静音＞
フォーカスレンズ１０１の駆動時に、振動や摩擦などで駆動音が発生する。駆動音は、駆動速度または駆動加速度変化に応じて変化する。つまり駆動速度が速い場合、駆動加速度変化が多い場合に駆動音が多くなる。また、フォーカスレンズが停止する時間が長い程、駆動音が発生しない時間が多くなる。周囲環境（撮像環境）が静かな場所での撮像においては、駆動音を不快に感じ、更に動画撮像時は録音も同時に行われるため、撮像画像に不要となる駆動音が収録されてしまう問題が発生する。従って、撮像状況によっては駆動音をできるだけ少なくする静音が要求される。

＜位置精度と、速度、消費電力、および静音との関係＞
次に、図４（ａ）、（ｂ）を参照して、位置精度と、速度、消費電力、および静音との関係について説明する。図４（ａ）、（ｂ）は、位置精度と、速度、消費電力、および静音との関係の説明図である。図４（ａ）は焦点深度が浅い場合において動きのある被写体に合焦し続けるためのフォーカスレンズ制御を示し、図４（ｂ）は焦点深度が深い場合において動きのある被写体に合焦し続けるためのフォーカスレンズ制御を示している。図４（ａ）、（ｂ）において、横軸は時間（時間経過）を示し、縦軸はフォーカスレンズ位置を示す。フォーカスレンズ位置が上側に行くと無限方向にピントが合い、下側に行くと至近方向にピントが合う方向となる。なお、図４（ａ）、（ｂ）で共通のものに対してはも同符号を付す。

フォーカスレンズ目標位置Ｇは、被写体の像が撮像素子２０１上に集光させる時のフォーカスレンズ位置を示している。図４（ａ）、（ｂ）の焦点深度はそれぞれ２Ｆａδ、２Ｆｂδである。図４（ａ）において、フォーカスレンズ目標位置Ｇを基準に、ピント位置が焦点深度の無限側の境界となるフォーカスレンズ位置をＧａｌｉｍＩ、至近側の境界となるフォーカスレンズ位置をＧａｌｉｍＭで示す。図４（ｂ）において、フォーカスレンズ目標位置Ｇを基準に、ピント位置が焦点深度の無限側の境界となるフォーカスレンズ位置をＧｂｌｉｍＩ、至近側の境界となるフォーカスレンズ位置をＧｂｌｉｍＭで示す。図４（ａ）、（ｂ）のＣａ、Ｃｂはそれぞれ被写体が焦点深度内に収まるように制御されたフォーカスレンズ位置を示している。

図４（ａ）は焦点深度が深いため、フォーカスレンズがＣａの示す軌跡に制御されたとしても、被写体がピントから外れることはない。一方、図４（ｂ）は焦点深度が深いため、図４（ａ）の場合に比べ、フォーカスレンズＣｂの軌跡をフォーカスレンズ目標位置Ｇとの偏差が少ない軌跡で制御する必要がある。つまり、図４（ａ）、（ｂ）共に被写体がピントから外れることはないが、図４（ａ）のＣａのほうが、図４（ｂ）のＣｂよりも駆動量、駆動速度を少なくできる。従って、求められる位置精度が低い撮像条件下においては、低速、低消費電力、静音でフォーカスレンズを制御することができる。

＜速度と、位置精度、消費電力、および静音との関係＞
次に、図５（ａ）、（ｂ）を参照して、速度と、位置精度、消費電力、および静音との関係について説明する。図５（ａ）、（ｂ）において、横軸は時間（時間経過）を示し、縦軸はフォーカスレンズ位置を示す。図５（ａ）は、図３（ａ）が示すフォーカスレンズ位置Ｐａ１からフォーカスレンズ位置Ｐａ２へ、時間Ｔ０～Ｔ１の間に駆動したフォーカスレンズ位置Ｃａの変化を示している。同様に、図５（ｂ）は、図３（ｂ）が示すフォーカスレンズ位置Ｐａ１からフォーカスレンズ位置Ｐａ２へ、時間Ｔ０～Ｔ１の間に駆動したフォーカスレンズ位置Ｃｂの変化を示している。図３（ａ）、（ｂ）に示されるように、フォーカスレンズ位置Ｐａ１からフォーカスレンズ位置Ｐａ２へ移動したときのピント移動量は、フォーカスレンズ位置Ｐｂ１からフォーカスレンズ位置Ｐｂ２へ移動したときのピント移動量と同じである。なお、図５（ａ）、（ｂ）のＣａ、Ｃｂの傾きはフォーカスレンズ速度を示す。

図５（ａ）、（ｂ）に示されるように、時間Ｔ０～Ｔ１の間に同じピント移動量ΔＢｐ動かす為のフォーカスレンズ移動速度は、ＣａはＣｂに比べ早くフォーカスレンズ１０１を動かす必要がある。また、Ｃａは速度が速いため、目標位置であるＰａ２到達後、位置が安定するまでにある程度に時間が必要となる。一方、Ｃｂは速度が遅いため、目標位置であるＰｂ２に到達後、直ぐに位置が安定する。これは位置精度に影響する。また、フォーカスレンズを早く駆動し、停止時において、加速度変化が大きくなる為、ＣａはＣｂに比べ、消費電力が多くなり、駆動音も大きくなる。従って、求められる速度が低い撮像条件下においては、高い位置精度、低消費電力、および静音でフォーカスレンズ１０１を制御することができる。

＜レンズ装置情報＞
次に、レンズ装置情報について説明する。レンズ装置情報は、フォーカスレンズ制御において、撮像画像（画像データ）が受ける影響を示す情報である。

以上のように、フォーカスレンズ制御における要求事項をバランスよく制御するには、フォーカスレンズ制御で求められる位置精度、速度を決めるためのレンズ装置情報に基づいてフォーカスレンズ制御を行う必要がある。レンズ装置情報は、レンズ装置情報管理部１２２により決定される。レンズ装置情報は、例えば、焦点深度やフォーカス敏感度の情報である。レンズ装置情報管理部１２２は、現在のＦ値と錯乱円の情報から式（１）で表されるように、焦点深度を決定する。またレンズ装置情報管理部１２２は、フォーカス敏感度とフォーカスレンズ位置、ズームレンズ位置の関係を示す不図示の変換テーブルを保持し、フォーカスレンズ位置、ズームレンズ位置からフォーカス敏感度を決定する。これらのレンズ装置情報に基づいてフォーカスレンズ制御を行う。これにより、撮像画像が受ける影響を加味して、位置精度、速度、消費電力、静音のそれぞれの要求事項をバランスよく制御することができる。なお、レンズ装置情報を用いてフォーカスレンズ制御を行うＮＮアルゴリズムについては後述する。

＜他のレンズ装置情報＞
また、他のレンズ装置情報として、姿勢差、温度、周囲音量も有用である。姿勢差については、レンズ、絞りを駆動するときの重力の影響が変化するため、姿勢差に応じてモータに必要な駆動トルクも変化する。温度については、レンズ、絞りの駆動連結部に使用される潤滑油の特性が変化する為、温度に応じてモータに必要な駆動トルクも変化する。周囲音量については、モータの駆動音を抑える為に、レンズ、絞り駆動速度を制限している場合においても、モータの駆動音が周囲音量に対して小さい範囲であれば、駆動速度の制限を外しても撮像画像に影響しない。従って、周囲音量に応じて、駆動速度の最高速制限を変化させる制御が有用となる。

＜ＮＮアルゴリズムとウエイト＞
次に、ＮＮ制御部１２１がＮＮアルゴリズムを用いて駆動指令を決定する方法について説明する。ＮＮ制御部１２１は、ＮＮアルゴリズムを実装している。ＮＮ制御部１２１は、ＮＮデータ記憶部１２３に記録されたＮＮの特徴量、結合重み付け係数であるウエイトを参照し、参照したウエイトを用いてＮＮアルゴリズムにより駆動指令を決定する。なお、ウエイトの製造方法については後述する。

図６は、本実施例の学習モデルを用いたＮＮ制御部１２１の入出力の構造を示す概念図（ニューラルネットワークの入出力の説明図）である。Ｘ１は、制御部１２５から出力されたフォーカス駆動の駆動指令目標位置である。現在位置Ｘ２は、フォーカスレンズ検出部１０６から得られたフォーカスレンズ１０１の現在位置である。Ｘ３は、レンズ装置情報としての焦点深度である。Ｘ４は、レンズ装置情報としてのフォーカス敏感度である。Ｙ１は、フォーカスレンズ１０１の駆動信号である。以上により、フォーカス駆動の駆動指令、フォーカスレンズ１０１の現在位置、焦点深度、フォーカス敏感度を入力として、学習済モデルの出力として駆動信号が決定される。ＮＮ制御部１２１がＮＮアルゴリズムを用いて決定した駆動信号により、フォーカスレンズ１０１の制御を行う。

＜ウエイトの製造方法＞
次に、ウエイトの製造方法について説明する。ユーザが操作部２０６から機械学習実施を示す操作を行うと、機械学習実施の指令が制御部２１１を介して機械学習部２２１に伝えられる。機械学習部２２１は機械学習実施の指令を受けると、機械学習を開始する。

図７を参照して、機械学習の流れを説明する。図７は、機械学習のフローチャートである。まずステップＳ１０１において、機械学習部２２１は、制御部２１１へウエイトの初期値を出力する。制御部２１１は、機械学習部２２１からウエイトの初期値を受け取ると、通信部２１２から交換レンズ１００へウエイトの初期値を送信する。交換レンズ１００は、通信部１２６にてウエイトの初期値を受信すると、受信したウエイトの初期値を、制御部１２５を介してＮＮデータ記憶部１２３に設定する。

続いてステップＳ１０２において、機械学習部２２１は、制御部２１１へフォーカスレンズ１０１の駆動指令および動作ログ情報の取得要求を行う。制御部２１１は、機械学習部２２１からフォーカスレンズ１０１の駆動指令および動作ログ情報の取得要求を受けると、通信部２１２から交換レンズ１００へフォーカスレンズ１０１の駆動指令および動作ログ情報の取得要求を行う。交換レンズ１００は、通信部１２６にてフォーカスレンズ１０１の駆動指令を受信すると、制御部１２５を介してＮＮ制御部１２１に対してフォーカスレンズ１０１の駆動指令を行う。ＮＮ制御部１２１は、ＮＮデータ記憶部１２３に保持されたウエイトに基づいて、フォーカスレンズ１０１の駆動制御を行う。ここで、機械学習部２２１は、フォーカスレンズ１０１の駆動指令としては、予め学習用に決められた開始位置から停止位置まで特定の駆動パターンを保持し、保持している駆動パターンに従い駆動指令を行う。またはＡＦ（オートフォーカス）制御を実行し、フォーカスレンズ１０１の駆動指令を行う方法でも良い。また交換レンズ１００は、通信部１２６にて動作ログ情報の取得要求を受信すると、動作ログ管理部１２４に対して動作ログ情報の出力要求を行う。動作ログ管理部１２４は動作ログ情報の出力要求を受けると、フォーカスレンズ１０１の駆動時における動作ログ情報を制御部１２５、通信部１２６を介してカメラ本体２００に送信する。

続いてステップＳ１０３において、機械学習部２２１は、報酬管理部２２３が保持している報酬情報および動作ログ保持部２２２が保持している動作ログ情報を元にＮＮアルゴリズムの制御結果を点数化する。なお、報酬情報および動作ログ情報及び制御結果の点数化については後述する。

続いてステップＳ１０４において、機械学習部２２１は、ＮＮアルゴリズム制御結果の累計点数が最大化されるようにウエイトを更新する。ウエイトの更新には誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用するが、本実施例はこれに限定されるものではない。生成されたウエイトは、ステップＳ１０１と同様の手順でＮＮデータ記憶部１２３に設定される。

続いてステップＳ１０５において、機械学習部２２１は、ウエイトの学習が完了したか否かを判定する。学習完了は、学習（ウエイトの更新）の反復回数が規定値に達したか、または、更新時の動作ログ情報中の累計点数の変化量が規定値より小さいかなどにより判定することができる。機械学習部２２１は学習未完と判定した場合は、ステップＳ１０１へ戻り機械学習を続ける。機械学習部２２１は学習完了と判定した場合は、機械学習を終了させる。

学習が完了した学習済モデルは、機械学習モデルデータベースに追加され保持される。機械学習モデルデータベースについては後述する。機械学習の具体的なアルゴリズムとしては、本実施例のように、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）が挙げられる。また、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。適宜、前述のアルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

ＧＰＵはデータをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合、ＧＰＵで処理を行うことが有効である。そこで、機械学習部２２１による処理には、ＣＰＵに加えてＧＰＵを用いてもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、機械学習部２２１の処理はＣＰＵまたはＧＰＵのみにより演算が行われてもよい。

＜動作ログ情報＞
次に、動作ログ情報について説明する。動作ログ情報は、ＮＮアルゴリズムの制御結果を点数化する上で、点数を決める対象となる制御結果情報である。

動作ログ管理部１２４は、図６に示されるＸ１～Ｘ４、Ｙ１であるＮＮアルゴリズムの入出力情報を、ＮＮアルゴリズムの制御周期毎に収集し記録する。また、不図示のフォーカスレンズ駆動部１０５の消費電力を測定する為の電力検出部を設け、動作ログ管理部１２４は、フォーカスレンズ駆動部１０５の消費電力も動作ログ情報として記録する。

また動作ログ管理部１２４は、ＮＮ制御部１２１に入力された駆動指令やフォーカスレンズ検出部１０６によって検出されるフォーカスレンズの位置情報も動作ログ情報として記録する。更に動作ログ管理部１２４は、駆動指令から決定されるフォーカスレンズ１０１の目標位置および位置情報、位置精度Ｅを決定し、動作ログ情報として記録する。更に動作ログ管理部１２４は、フォーカスレンズの位置情報から、フォーカスレンズの速度及び加速度を算出し、動作ログ情報として記録する。

動作ログ管理部１２４は、記録した動作ログ情報を、制御部１２５、通信部１２６を介してカメラ本体２００に送信する。カメラ本体２００は、動作ログ情報を通信部２１２にて受信すると、制御部２１１を介して動作ログ保持部２２２に記録される。

＜報酬情報および制御結果の点数化＞
報酬情報は、ＮＮアルゴリズムの制御結果を点数化する上で、点数の基準となる情報である。報酬情報は、ＮＮアルゴリズム制御結果に対して、点数の境界値とその境界値毎に割り当てられた点数の情報を持つ。図８（ａ１）～（ｄ２）を参照して、報酬情報について説明する。図８（ａ１）～（ｄ２）は、報酬情報の説明図である。図８（ａ１）、（ｂ１）、（ｃ１）、（ｄ１）はそれぞれ、ＮＮアルゴリズム制御結果を示す項目である位置精度、速度、加速度、消費電力に対して、学習時において、時間経過と点数の境界値との関係を示している。図８（ａ１）、（ｂ１）、（ｃ１）、（ｄ１）において、横軸は時間（時間経過）を示し、縦軸はそれぞれ位置精度、速度、加速度、消費電力を示す。図８（ａ２）、（ｂ２）、（ｃ２）、（ｄ２）は、位置精度、速度、加速度、消費電力に対しての報酬情報のデータ構造を示している。報酬情報のデータは、複数の境界値と、境界値で区切られた領域で獲得できる点数で構成される。

ＮＮアルゴリズムは、制御結果の獲得点数が高得点となるように学習されるため、境界値が各対象となる項目の目標に近い程、より高精度な制御となるように学習される。例えば、位置精度の境界値が０に近い値になる程、位置精度が０に近づく制御となるように学習される。また他の項目に比べ、点数を高く設定する事により、他の項目よりも学習の優先度が高いことを示す。例えば、位置精度よりも消費電力の点数を高くすることで、位置精度よりも消費電力を優先させる制御となるように学習される。本実施例では、２点の境界値と３点の点数で構成される例を示す。

図８（ａ１）の縦軸はフォーカスレンズ１０１の目標位置と現在位置との差である位置精度Ｅの値を示している。位置精度Ｅの正の方向は、目標位置に対して、現在位置が無限側にある場合を示し、負の方向は、目標位置に対して、現在位置が至近側にある場合を示す。位置精度Ｅが０に近い程、駆動制御における位置精度が高いことを示している。

図８（ａ２）は、位置精度の報酬情報である位置精度報酬情報ＲＥのデータ構造を示している。位置精度報酬情報ＲＥは位置精度の報酬範囲を決めるＥ１、Ｅ２と、報酬範囲において獲得できる点数ＳＥ１、点数ＳＥ２、点数ＳＥ３により構成される。Ｅ１、Ｅ２はそれぞれ位置精度Ｅの報酬として与えられる点数の境界値を示している。ここで、Ｅ１×－１～Ｅ１の範囲の時は範囲ＡＥ１とする。また、範囲ＡＥ１を除くＥ２×－１～Ｅ２の範囲ＡＥ２とする。また、範囲ＡＥ１、範囲ＡＥ２以外の時は範囲ＡＥ３とする。位置精度Ｅがそれぞれ範囲ＡＥ１、範囲ＡＥ２、範囲ＡＥ３の範囲内のときは、図８（ａ２）が示す点数ＳＥ１、点数ＳＥ２、点数ＳＥ３が報酬として与えられる。ここで点数ＳＥ１、点数ＳＥ２、点数ＳＥ３の点数の関係は点数ＳＥ１＞点数ＳＥ２＞点数ＳＥ３となり、位置精度Ｅが０に近い程高い点数となるように設定される。

図８（ａ１）に示されるように、位置精度に対して、任意の時間ＴＰ１、ＴＰ２、Ｔｐ３における位置精度Ｅは夫々範囲ＡＥ２、範囲ＡＥ３、範囲ＡＥ１の範囲内である。従って、任意の時間ＴＰ１、ＴＰ２、Ｔｐ３において、獲得できる報酬はそれぞれ点数ＳＥ２、点数ＳＥ３、点数ＳＥ１となる。ここで例えば、Ｅ１は±Ｆδ／２、Ｅ２は±Ｆδの値が設定される。つまり、フォーカスレンズの目標位置に対して、現在位置が焦点深度内に制御されていれば、高い得点が加算され、焦点深度外となった場合に低い点数が加算される。またフォーカスレンズが目標位置に近い程、獲得できる点数が多くなる。

図８（ｂ１）の縦軸は、フォーカスレンズ１０１の駆動速度Ｖの値を示している。駆動速度Ｖの正の方向は無限方向への駆動速度を示し、負の方向は至近方向への駆動速度を示している。駆動速度Ｖが０に近い程、駆動音が小さくなる。

図８（ｂ２）は、速度の報酬情報である速度報酬情報ＲＶのデータ構造を示している。速度報酬情報ＲＶは速度の報酬範囲を決めるＶ１、Ｖ２と、報酬範囲において獲得できる点数ＳＶ１、点数ＳＶ２、点数ＳＶ３により構成される。Ｖ１、Ｖ２はそれぞれ駆動速度Ｖの報酬として与えられる点数の境界値を示している。ここで、Ｖ１×－１～Ｖ１の範囲の時は範囲ＡＶ１とする。また、範囲ＡＶ１を除くＶ２×－１～Ｖ２の範囲ＡＶ２とする。また、範囲ＡＶ１、範囲ＡＶ２以外の時は範囲ＡＶ３とする。駆動速度Ｖがそれぞれ範囲ＡＶ１、範囲ＡＶ２、範囲ＡＶ３の範囲内のときは、図８の（ｂ２）が示す点数ＳＶ１、点数ＳＶ２、点数ＳＶ３が報酬として与えられる。ここで点数ＳＶ１、点数ＳＶ２、点数ＳＶ３の点数の関係は点数ＳＶ１＞点数ＳＶ２＞点数ＳＶ３となり、駆動速度Ｖが０に近い程、高い点数となるように設定される。

図８（ｂ１）に示されるように、駆動音に対して、任意の時間ＴＰ１、ＴＰ２、Ｔｐ３における駆動速度Ｖは夫々範囲ＡＶ２、範囲ＡＶ３、範囲ＡＶ１の範囲内である。従って、任意の時間ＴＰ１、ＴＰ２、Ｔｐ３において、獲得できる報酬はそれぞれ点数ＳＶ２、点数ＳＶ３、点数ＳＶ１となる。ここで例えば、Ｖ１、Ｖ２は駆動速度と駆動音の関係が決定され、駆動速度を遅く制御する程、獲得できる点数が多くなるように点数が設定される。一般的に、駆動速度が遅い程、駆動音が小さくなる為、獲得した点数が高い程、静音を重視した制御を実行できていることを示す。

図８（ｃ１）の縦軸は、フォーカスレンズ１０１の駆動加速度Ａの値を示している。駆動加速度Ａの正の方向は無限方向への駆動加速度を示し、負の方向は至近方向への駆動加速度を示している。駆動加速度Ａが０に近い程、駆動音が小さくなる。

図８（ｃ２）は、加速度の報酬情報である加速度報酬情報ＲＡのデータ構造を示している。加速度報酬情報ＲＡは加速度の報酬範囲を決めるＡ１、Ａ２と、報酬範囲において獲得できる点数ＳＡ１、点数ＳＡ２、点数ＳＡ３により構成される。Ａ１、Ａ２はそれぞれ駆動加速度Ａの報酬として与えられる点数の境界値を示している。ここで、Ａ１×－１～Ａ１の範囲の時は範囲ＡＡ１とする。また、範囲ＡＡ１を除くＡ２×－１～Ａ２の範囲ＡＶ２とする。また、範囲ＡＡ１、範囲ＡＡ２以外の時は範囲ＡＡ３とする。駆動加速度Ａがそれぞれ範囲ＡＡ１、範囲ＡＡ２、範囲ＡＡ３の範囲内のときは、図８（ｃ２）に示される点数ＳＡ１、点数ＳＡ２、点数ＳＡ３が報酬として与えられる。ここで点数ＳＡ１、点数ＳＡ２、点数ＳＡ３の点数の関係は点数ＳＡ１＞点数ＳＡ２＞点数ＳＡ３となり、駆動加速度Ａが０に近い程、高い点数となるように設定される。

図８（ｃ１）に示されるように、駆動音に対して、任意の時間ＴＰ１、ＴＰ２、Ｔｐ３における駆動加速度Ａは夫々範囲ＡＡ１、範囲ＡＡ３、範囲ＡＡ２の範囲内である。従って、任意の時間ＴＰ１、ＴＰ２、Ｔｐ３において、獲得できる報酬はそれぞれ点数ＳＡ１、点数ＳＡ３、点数ＳＡ２となる。ここで例えば、Ａ１、Ａ２は駆動加速度と駆動音の関係が決定され、駆動加速度を小さく制御する程、獲得できる点数が多くなるように点数が設定される。一般的に、駆動加速度が小さい程、駆動音が小さくなるため、獲得した点数が高い程、静音を重視した制御を実行できていることを示す。

図８（ｄ１）の縦軸は、フォーカスレンズ１０１の消費電力Ｐの値を示している。消費電力Ｐが０に近い程、消費電力が小さくなる。図８（ｄ２）は、消費電力の報酬情報である消費電力報酬情報ＲＰのデータ構造を示している。消費電力報酬情報ＲＰは消費電力の報酬範囲を決めるＰ１、Ｐ２と、報酬範囲において獲得できる点数ＳＰ１、点数ＳＰ２、点数ＳＰ３により構成される。Ｐ１、Ｐ２はそれぞれ消費電力Ｐの報酬として与えられる点数の境界値を示している。ここで、０～Ｐ１の範囲の時は範囲ＡＰ１とする。また、Ｐ１～Ｐ２の範囲の時は範囲ＡＰ２とする。また、範囲ＡＰ１、範囲ＡＰ２以外の時は範囲ＡＰ３とする。消費電力Ｐがそれぞれ範囲ＡＰ１、範囲ＡＰ２、範囲ＡＰ３の範囲内のときは、図８の（ｄ２）が示す点数ＳＰ１、点数ＳＰ２、点数ＳＰ３が報酬として与えられる。ここで点数ＳＰ１、点数ＳＰ２、点数ＳＰ３の点数の関係は点数ＳＰ１＞点数ＳＰ２＞点数ＳＰ３となり、消費電力Ｐが０に近い程、高い点数となるように設定される。

図８（ｄ１）に示されるように、消費電力に対して、任意の時間ＴＰ１、ＴＰ２、ＴＰ３における消費電力Ｐは夫々範囲ＡＰ１、範囲ＡＰ３、範囲ＡＰ２の範囲内である。従って、任意の時間ＴＰ１、ＴＰ２、ＴＮ３において、獲得できる報酬はそれぞれ点数ＳＰ１、点数ＳＰ３、点数ＳＰ２となる。ここで例えば、Ｐ１、Ｐ２は任意に決定され、消費電力を小さく制御する程、獲得できる点数が多くなるように点数が設定される。従って、獲得した点数が高くなる程、低消費電力を重視した制御を実行できていることを示す。

以上のように、位置制御誤差、速度、加速度、消費電力などの制御結果に対して、点数化するための報酬情報が設定される。報酬情報を用いて、学習時のフォーカスレンズ駆動において、動作ログ情報に基づいてＮＮアルゴリズムの制御結果を単位時間毎に点数化し、単位時間毎の点数を累計する。これにより、ＮＮアルゴリズム制御結果の累計点数を決定することができる。また、位置制御誤差、速度、加速度、および消費電力のそれぞれの得点を加算することで、ＮＮアルゴリズムのトータルとしての制御結果を点数化することができる。なお、ここでは消費電力を制御結果として使用している例を示しているが、速度、加速度と消費電力の関係から、速度、加速度の結果を用いて消費電力に対しての報酬情報を設定してもよい。

次に、機械学習時の情報と、学習済モデルとを関連付けておき、ユーザが過去に生成した複数の学習済モデルの中からユーザ要望にあった学習済モデルを選定する方法について述べる。

＜ユーザ要望情報とユーザ要望情報データベース＞
ユーザ要望情報とユーザ要望情報データベースについて説明する。ここでユーザ要望情報は、光学部材の駆動制御に対してのユーザが要求する達成レベルを示す情報である。本実施例では、ユーザ要望項目である、位置精度、静音、消費電力に対しての達成レベルを示す情報をユーザ要望情報の例として挙げている。このユーザ要望情報は、機械学習時に、たとえばユーザが入力し、入力したユーザ要望情報を前述の報酬情報に換算して機械学習に使用する。ここでは、後日、学習時のユーザ要望情報をもとに学習済モデルを選定できるようにするため、機械学習時のユーザ要望情報と、学習済モデルを関連付けてデータベースに保存しておく。

図９は、ユーザ要望保持部２２５が保持しているユーザ要望情報データベースのデータ構造の説明図である。ユーザ要望情報データベースは、一つのユーザ要望情報に対して、ユーザ要望ＩＤ、位置精度ユーザ要望情報Ｅｕ、静音ユーザ要望情報Ｓｕ、消費電力ユーザ要望情報Ｐｕで構成されている。

ここでユーザ要望ＩＤは、ユーザ要望情報データを一意に決定するユニークな数値が割り当てられる。位置精度ユーザ要望情報Ｅｕは、ユーザ要望項目の位置精度に対しての達成レベルを示している。また静音ユーザ要望情報Ｓｕは、ユーザ要望項目の静音に対しての達成レベルを示している。また消費電力ユーザ要望情報Ｐｕは、ユーザ要望項目の消費電力に対しての達成レベルを示している。それぞれ、レベル１、レベル２、レベル３の順にユーザ要望が高いことを表している。図９の例では、ユーザ要望情報データベースは、ユーザ要望情報ｕ１、ｕ２、ｕ３の３つのユーザ要望情報で構成されている。

＜機械学習モデルデータベース＞
次に、図１０を参照して、機械学習モデルデータベースについて説明する。図１０は、機械学習モデルデータベースのデータ構造の説明図である。機械学習モデルデータベースは、一つの学習済モデル対して、機械学習モデルＩＤ、作成時刻情報、機械学習モデルＮＮ、ユーザ要望情報ＩＤ、およびレンズ個体情報で構成されている。

機械学習モデルＩＤは、機械学習モデルデータを一意に決定するユニークな数値が割り当てられる。作成時刻情報は、機械学習モデルデータが生成された日時、時刻を示す情報が記録されている。機械学習モデルＮＮは、学習済の機械学習モデルのウエイト情報である。ユーザ要望情報ＩＤは、学習済モデルの生成に使用された図９に示されるユーザ要望を一意に決定するユニークな数値である。レンズ個体情報は、学習に使用された機種（撮像機種）の情報である。

学習済モデルの生成に使用されたユーザ要望情報は、ユーザ要望情報ＩＤからユーザ要望情報データベースより取得可能である。例えば、機械学習モデルＩＤがＮＮＩＤ１の学習済モデルは、Ｄａｔｅ１の時に生成され、学習済モデルのウエイト情報はＮＮ１となる。学習時に使用されたユーザ要望情報はｕ１で示されたユーザ要望情報であり、学習時のレンズ個体情報は機種Ａである。

以上の機械学習モデルデータベースのデータ構造により、一つの学習済モデルに対して、学習済モデルのウエイト値および学習済モデルを生成したときの情報を管理することができる。なお本実施例の機械学習モデルデータベースは、ユーザ要望情報ＩＤを保持するが、ユーザ要望情報ＩＤが示すユーザ要望情報データベースに記録している値を保持してもよい。また、機械学習モデルＮＮは、ウエイト情報だけでなく、ニューラルネットワーク構造の情報またはニューラルネットワーク構造のロジック情報を含んでいてもよい。以上のデータベース構成により、学習済モデルと学習時の情報の関連を容易に確認することができ、ユーザの希望する学習済モデルの検索を容易にすることができる。

＜学習済モデルの決定方法＞
次に、図１１を参照して、学習済モデルの決定（選定）方法について説明する。図１１は、学習済モデルの決定方法のフローチャートである。まずステップＳ３０１において、機械学習モデル管理部２２７は、レンズ個体情報管理部１２７から、制御部１２５、通信部１２６、通信部２１２、および制御部２１１を介してレンズ個体情報を取得する。レンズ個体情報を取得するタイミングは、例えば、電源を投入したタイミングや、ユーザが表示部２０５と操作部２０６を使用して学習済モデルの選択の操作を実施したタイミングとする。

続いてステップＳ３０２において、機械学習モデル管理部２２７は、機械学習モデル保持部２２６に対して、学習済モデルの生成に使用したレンズ個体情報が、ステップＳ３０１で取得したレンズ個体情報と一致する学習済モデルの選定を要求する。機械学習モデル保持部２２６は、機械学習モデルデータベースから、学習済モデルを生成したときのレンズ個体情報が一致する学習済モデルを選定する。

続いてステップＳ３０３において、機械学習モデル管理部２２７は、機械学習モデル保持部２２６により選定された学習済モデル（選定モデル）が複数か否かを判定する。学習済モデルが複数の場合、ステップＳ３０４に遷移する。一方、学習済モデルが複数ではない場合、ステップＳ３０６に遷移する。

ステップＳ３０４において、ユーザは、ユーザ要望を入力する。すなわちユーザは、表示部２０５と操作部２０６を使用して、位置精度ユーザ要望、静音ユーザ要望、および消費電力ユーザ要望の３項目に関して、レベル１～３の入力を行う。入力画面としては、例えば図１２に示される表記とする。図１２は、ユーザ要望の入力画面の説明図である。学習時のユーザ要望と同じく、レベル１、レベル２、レベル３の順にユーザ要望が高いことを表している。

続いてステップＳ３０５において、機械学習モデル保持部２２６は、ステップＳ３０４にて入力されたユーザ要望に対して、機械学習時のユーザ要望情報が最も近い学習済モデルを選定する。入力したユーザ要望の値と、図９に示される学習時のユーザ要望情報の値とを比較して、各項目の値の差の合計値が最も近い学習時のユーザ要望を選定する。そして、選定したユーザ要望に対応する学習済モデルを選択する。ここで、ユーザ要望情報が最も近い学習済モデルが複数の場合は、例えば、一番新しく生成された学習済モデルを選択する。最も近い学習済モデルを選定した後、ステップＳ３０７に遷移する。

ステップＳ３０６において、ステップＳ３０２にて選定した学習済モデルが一つの場合、ステップＳ３０７に遷移する。一方、選定した学習済モデルが無い場合、ステップＳ３０８に遷移する。ステップＳ３０７において、機械学習モデル管理部２２７は、機械学習モデル保持部２２６が選定した学習済モデルを採用する。ステップＳ３０８において、機械学習モデル管理部２２７は、予め決められた学習済モデル（デフォルトの学習済モデル）を採用する。なお、予め決められた学習済モデルではなく、交換レンズ１００が現在使用している学習済モデルでもよい。決定された学習済モデルは、交換レンズ１００に送られ、ＮＮデータ記憶部１２３で記憶され、フォーカス駆動制御に使用される。

以上のように、機械学習モデル管理部２２７は、レンズ個体情報およびユーザ要望情報に基づいて、学習済モデルの中からユーザ要望に適したモデルを利用することができ、ユーザが機械学習を行う手間を省くことができる。なお本実施例では、ユーザ要望情報の値に基づいて過去の学習済モデルを選択する例を示したが、ユーザ要望から換算した報酬情報の値に基づいて学習済モデルを選択してもよい。また本実施例では、レンズ個体情報と一致している機種の学習済モデルを選定した例を示したが、レンズ個体情報に予め類似製品の情報を盛り込み、類似製品の学習済モデルを選定してもよい。

＜フォーカス以外の例＞
なお本実施例は、フォーカスレンズを駆動対象としたフォーカス制御を説明しているが、これに限定されるものではなく、他の制御（ズーム、ＩＳ、絞りなどの他の光学部材の制御にも適用可能である。静音、消費電力については、光学部材をアクチュエータにより駆動する場合は共通の課題を有している。位置精度においては、ズームにおいては、画角変化における被写体の拡大変化量の関係により要求される位置精度が決定される。またズームレンズ駆動量と画角変化量との関係においても位置精度が決定される。ＩＳにおいては、焦点距離と映像のシフト量の関係の情報から、位置精度が決定される。絞りにおいては、絞り駆動量と映像の輝度変化量の関係から位置精度が決定される。

以上のように、過去に生成した学習済モデルを、機械学習時のユーザ要望情報と紐づけて管理することにより、容易に所望の学習済モデルを検索することができる。従って、過去に生成された学習済モデルの中から、ユーザ要望に近い学習済モデルを容易に選定することができる。複数の学習済モデルをユーザ要望情報と紐づけて管理することにより、類似の学習を行う手間を省くことができる。

次に、図１３を参照して、本発明の実施例２における撮像システム（カメラシステム）１０ａについて説明する。図１３は、撮像システム１０ａのブロック図である。撮像システム１０ａは、交換レンズ１００ａとカメラ本体２００ａとを備えて構成される。本実施例は、カメラ本体２００ａの学習プロセッサ２２０ａが撮影情報保持部２２８を有する点で、実施例１とは異なる。なお本実施例において、実施例１と同一の構成については共通の記号を付与し、その説明は省略する。

＜撮像情報と撮像情報データベース＞
まず、撮像情報と撮像情報データベースについて説明する。撮像情報は、機械学習時の撮像条件と撮像画像を示す情報である。撮像条件は、例えば動画撮像か静止画撮像、撮像モード、交換レンズ１００の設定であるズーム位置、フォーカス位置、絞り値、像振れ補正状態など、撮像画像に影響を与える設定である。また撮像条件は、カメラ本体２００の設定である撮像モード、シャッタースピード、オートフォーカス制御、露光制御の設定等、撮像画像に影響を与える設定である。

図１４は、撮影情報保持部２２８が保持している撮影情報データベースのデータ構造の説明図である。撮影情報データベースは、一つの撮影情報（撮像情報）に対して、撮影情報ＩＤ（撮像情報ＩＤ）、撮影条件１（撮像条件１）、撮影条件２（撮像条件２）、撮影映像（撮像画像）で構成されている。撮影情報ＩＤは、撮影情報データを一意に決定するユニークな数値が割り当てられる。撮影条件１は、動画撮影か静止画撮影を示している。撮影条件２は、撮像モードであり、夜間モードか通常モードかを示している。図１４の例では、撮像情報データベースは、撮影情報ＩＤがｐ１、ｐ２、ｐ３の３つの撮影情報で構成されている。以上のデータベース構成により、学習時の撮像情報を容易に確認することができる。

＜機械学習モデルデータベース＞
次に、図１５を参照して、本実施例における機械学習モデルデータベースについて説明する。図１５は、機械学習モデルデータベースのデータ構造の説明図である。機械学習モデルデータベースは、一つの学習済モデル対して、機械学習モデルＩＤ、作成時刻情報、機械学習モデルＮＮ、撮影情報ＩＤ、レンズ個体情報で構成されている。ここで、撮影情報ＩＤは、学習済モデルの学習時における図１４に示される撮影情報を一意に決定するユニークな数値である。撮影情報は、撮影情報ＩＤから撮影情報データベースより取得可能である。

＜学習済モデルの決定方法＞
次に、図１６を参照して、本実施例における学習済モデルの決定（選定）方法について説明する。図１６は、学習済モデルの決定方法のフローチャートである。なお、図１６のステップＳ４０１～Ｓ４０３、Ｓ４０５～Ｓ４０７は、図１１のステップＳ３０１～Ｓ３０３、Ｓ３０６～Ｓ３０８とそれぞれ同様のため、これらの説明を省略する。

ステップＳ３０３にて選定された学習済モデルが複数の場合、ステップＳ３０４に遷移する。ステップＳ３０４において、撮像情報ＩＤであるｐ１～ｐ３（図１４参照）に対応する撮像情報データベースの撮像条件と撮像画像に基づいて、ユーザが希望の撮像情報ＩＤを選択し、選択した撮像情報ＩＤに一致する機械学習モデルが選択される。例えば、表示部２０５と操作部２０６を使用して、ユーザが撮像条件を選択して撮像情報を絞り込み、さらに、絞り込んだ撮像情報の中から希望の撮像画像を選択することで撮像情報を決定することができる。学習済モデルを選定した後、ステップＳ３０６に遷移する。

ステップＳ３０７において、機械学習モデル管理部２２７は、機械学習モデル保持部２２６が選定した学習済モデルを採用する。ステップＳ３０８において、機械学習モデル管理部２２７は、予め決められた学習済モデルを採用する。ここで予め決められた学習済モデルではなく、交換レンズ１００が現在使用している学習済モデルでもよい。決定された学習済モデルは、交換レンズ１００に送られ、ＮＮデータ記憶部１２３で記憶され、フォーカス駆動制御に使用される。

以上のように、機械学習モデル管理部２２７は、レンズ個体情報および撮像情報に基づいて、希望の撮像情報の学習済モデルを利用することができ、ユーザが過去の撮像条件と同様の機械学習を行う手間を省くことができる。なお本実施例では、レンズ個体情報と一致している機種の学習済モデルを選定した例を示したが、レンズ個体情報に予め類似製品の情報を盛り込み、類似製品の学習済モデルを選定してもよい。

＜その他の学習済モデルの選択方法について＞
実施例１では、学習時のユーザ要望に基づいて学習済モデルを選定し、本実施例では学習時の撮像情報に基づいて学習済モデルを選定する。ただし、これに限定されるものではなく、ユーザ要望と撮像情報の両方に基づいて学習済モデルを選定してもよい。また本実施例では、学習時の撮像情報と学習済モデルとを関連付けて管理したが、これに加えて、学習済モデルを使用した通常撮像時の撮像情報を関連付けて管理してもよい。これより、例えば、学習済モデルが、学習時の撮像条件とは異なる条件でも使用できることを判定することができる。また、環境情報を取込む外部センサ等を取付けておき、取込んだ環境情報に対して、学習時の環境情報が近い学習済モデルを自動的に選択してもよい。例えば、温度センサを取付けておき、現状の温度に対して、学習時の温度が近い学習済モデルを選択するなどである。

次に、図１７を参照して、本発明の実施例３における撮像システム（カメラシステム）１０ｂについて説明する。図１７は、撮像システム１０ｂのブロック図である。撮像システム１０ｂは、交換レンズ１００ｂとカメラ本体２００ｂとを備えて構成される。本実施例は、交換レンズ１００ｂが学習プロセッサ１２２０を有する点で、実施例１とは異なる。なお本実施例において、実施例１と同一の構成については共通の記号を付与し、その説明は省略する。

学習プロセッサ１２２０は、プロセッサ（ＣＰＵ、ＧＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ）からなる。プロセッサは、機械学習部１２２１、動作ログ保持部１２２２、報酬管理部１２２３、ユーザ要望管理部１２２４、ユーザ要望保持部１２２５、機械学習モデル保持部１２２６、および機械学習モデル管理部１２２７を有する。記憶装置は、プロセッサの各部を制御するためのプログラムを記憶している。また記憶装置は、動作ログ保持部１２２２が保持する動作ログ情報、報酬管理部１２２３が保持する報酬情報、ユーザ要望管理部１２２４が保持するユーザ要望情報、およびユーザ要望保持部１２２５が保持するユーザ要望情報データベースを記憶している。また記憶装置は、機械学習モデル保持部２２６が保持する機械学習モデルデータベースを記憶している。

レンズマイコン（レンズマイクロコンピュータ）１１２０は、実施例１のレンズマイコン１２０に対して、制御部１１２５が異なり、操作部１２０６と学習プロセッサ１２２０が接続され、それぞれとの情報伝達を行う。制御部１１２５は、ズームレンズ１０２、絞りユニット１０３、像振れ補正レンズ１０４のそれぞれの位置を制御すると共に、学習プロセッサ１２２０およびカメラ本体２００との情報伝達を制御する。操作部１２０６は、ユーザが交換レンズ１００ｂの各部を操作するために用いられる。

本実施例において、機械学習を行う学習プロセッサ１２２０が交換レンズ１００に設けられている。従って、実施例１にけるカメラマイコン２１０と学習プロセッサ２２０との間の情報伝達と同様の情報伝達が、レンズマイコン１１２０と学習プロセッサ１２２０との間で行われる。また、ユーザ要望情報の入力など、ユーザ操作用の操作部１２０６が交換レンズ１００に構成されている。以上のように、学習プロセッサ１２２０が交換レンズ１００に構成されている本実施例の構成においても、実施例１と同様の効果が得られる。

ユーザが操作部１２０６から学習済モデルの選択を示す操作を行うと、学習済モデルの選択の指令が制御部１１２５を介して機械学習モデル管理部１２２７に伝えられる。選択された学習済モデルは、制御部１１２５を介してＮＮデータ記憶部１２３で記憶され、フォーカス駆動制御に使用される。以上により、実施例１と同様の動作にて、学習済モデルの選定が実施される。

次に、図１８を参照して、本発明の実施例４における撮像システム（カメラシステム）１０ｃについて説明する。図１８は、撮像システム１０ｃのブロック図である。撮像システム１０ｃは、交換レンズ１００ｃとカメラ本体２００ｃと遠隔装置４００とを備えて構成される。本実施例は、遠隔装置４００が学習プロセッサ４２０を含む学習機能を有する点で、実施例１と異なる。遠隔装置４００は、例えば、携帯端末やパソコン端末などであるが、これらに限定されるものではない。なお本実施例において、実施例１と同一の構成については共通の記号を付与し、その説明は省略する。

カメラ本体２００ｃは、通信部２３０を有する。通信部２３０は、遠隔装置４００と通信する。遠隔装置４００は、表示部４０１、操作部４０２、および遠隔装置マイコン（遠隔装置マイクロコンピュータ）４１０を有する。遠隔装置マイコン４１０は、制御部４１１および通信部４１２を有する。制御部４１１は、遠隔装置４００を制御する。通信部４１２は、カメラ本体２００と通信する。

学習プロセッサ４２０は、プロセッサ（ＣＰＵ、ＧＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ）からなる。プロセッサは、機械学習部４２１、ユーザ要望管理部４２４、ユーザ要望保持部４２５、機械学習モデル保持部４２６、および機械学習モデル管理部４２７を有する。記憶装置は、プロセッサの各部を制御するためのプログラムを記憶している。また記憶装置は、動作ログ保持部４２２が保持する動作ログ情報、報酬管理部４２３が保持する報酬情報、ユーザ要望管理部４２４が保持するユーザ要望情報、およびユーザ要望保持部４２５が保持するユーザ要望情報データベースを記憶している。また記憶装置は、機械学習モデル保持部４２６が保持する機械学習モデルデータベースを記憶している。

学習プロセッサ４２０の動作は、実施例１の学習プロセッサ２２０の動作と同じである。ここで、通信部２３０と通信部４１２とは、無線通信にて接続されており、互いに通信可能である。無線通信は、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉ等の近距離無線通信や、公衆無線ＬＡＮ等の公衆無線通信である。なお本実施例では無線通信の例を説明するが、これに限定されるものではなく、有線通信でもよい。

本実施例において、機械学習を行う学習プロセッサが遠隔装置４００に構成されている。従って、実施例１に対して、カメラマイコン２１０と学習プロセッサ２２０との間の情報伝達が、本実施例では、遠隔装置マイコン４１０と学習プロセッサ４２０との間で行われる。ユーザが操作部２０６または操作部４０２から学習済モデルの選択を示す操作を行うと、学習済モデルの選択の指令が制御部４１１を介して機械学習モデル管理部４２７に伝えられる。選択された学習済モデルは、遠隔装置４００から、カメラ本体２００を介して交換レンズ１００に送られ、ＮＮデータ記憶部１２３で記憶され、フォーカス駆動制御に使用される。以上により、実施例１と同様の動作にて、学習済モデルの選定が実施される。

本実施例では、機械学習モデル保持部４２６、機械学習モデル管理部を遠隔装置４００に構成したが、その全て、または一部を交換レンズ１００、カメラ本体２００、遠隔装置４００とは別の遠隔装置に構成してもよい。複数のユーザが生成した学習済モデルを共有可能な場所に保存しておくことで、様々な条件で学習された学習済モデルを利用することができ、各ユーザの要望に近い学習済モデルを取得することができる。以上の通り、学習プロセッサ４２０が遠隔装置４００に構成されている本実施例の構成においても、実施例１と同様の効果が得られる。

以上のように、各実施例において、制御装置は、取得部（機械学習モデル管理部２２７、４２７、１２２７）および制御部（制御部２１１、４１１、１１２５）を有する。取得部は、互いに異なる条件下で学習された複数の学習済モデルから一つの学習済モデルを取得する。制御部は、取得部により取得された一つの学習済モデルに基づいて、光学部材の駆動を制御する。

好ましくは、制御装置は、複数の学習済モデルを記憶する記憶部（機械学習モデル保持部２２６、４２６、１２２６）を有する。取得部は、記憶部に記憶された複数の学習済モデルから一つの学習済モデルを取得する。また好ましくは、取得部は、ユーザにより入力された情報（ユーザの選択）に基づいて、複数の学習済モデルから一つの学習済モデルを取得する。また好ましくは、取得部は、撮像条件に関する情報（撮像状況）に基づいて、複数の学習済モデルから一つの学習済モデルを取得する。また好ましくは、取得部は、複数の学習済モデルそれぞれの学習条件に関する情報に基づいて、複数の学習済モデルから一つの学習済モデルを取得する。より好ましくは、学習条件に関する情報は、学習に関するユーザ要求、画像データ、撮像機種、撮像環境、撮像対象、撮像モード、撮像者、撮像時点、撮像機における設定のうち少なくとも一つに関する情報を含む。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、例えば、機械学習に有利な制御装置、撮像装置、レンズ装置、制御方法、およびプログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２１１ 制御部（制御部）
２２７ 機械学習モデル管理部（取得部）

Claims (11)

1. 互いに異なる条件下で学習された複数の学習済モデルから一つの学習済モデルを取得する取得部と、
   前記取得部により取得された前記一つの学習済モデルに基づいて、光学部材の駆動を制御する制御部とを有することを特徴とする制御装置。
2. 前記複数の学習済モデルを記憶する記憶部を有し、
   前記取得部は、前記記憶部に記憶された前記複数の学習済モデルから前記一つの学習済モデルを取得することを特徴とする請求項１に記載の制御装置。
3. 前記取得部は、ユーザにより入力された情報に基づいて、前記複数の学習済モデルから前記一つの学習済モデルを取得することを特徴とする請求項１または２に記載の制御装置。
4. 前記取得部は、撮像条件に関する情報に基づいて、前記複数の学習済モデルから前記一つの学習済モデルを取得することを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
5. 前記取得部は、前記複数の学習済モデルそれぞれの学習条件に関する情報に基づいて、前記複数の学習済モデルから前記一つの学習済モデルを取得することを特徴とする請求項１乃至４のいずれか一項に記載の制御装置。
6. 前記学習条件に関する情報は、学習に関するユーザ要求、画像データ、撮像機種、撮像環境、撮像対象、撮像モード、撮像者、撮像時点、撮像機における設定のうち少なくとも一つに関する情報を含むことを特徴とする請求項５に記載の制御装置。
7. 撮像素子と、
   前記撮像素子により撮られる像を形成するための光学部材の駆動を制御する請求項１乃至６のいずれか一項に記載の制御装置とを有することを特徴とする撮像装置。
8. 撮像素子を有する撮像部と、
   前記撮像部と通信する請求項１乃至６のいずれか一項に記載の制御装置とを有することを特徴とする撮像装置。
9. 光学部材と、
   前記光学部材の駆動を制御する請求項１乃至６のいずれか一項に記載の制御装置とを有することを特徴とするレンズ装置。
10. 互いに異なる条件下で学習された複数の学習済モデルから一つの学習済モデルを取得する取得ステップと、
    前記取得ステップにおいて取得された前記学習済モデルに基づいて、光学部材の駆動を制御する制御ステップとを有することを特徴とする制御方法。
11. 請求項１０に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images