JP2021136648A - レンズ装置、撮像装置、処理装置、処理方法、およびプログラム - Google Patents

レンズ装置、撮像装置、処理装置、処理方法、およびプログラム Download PDF

Info

Publication number
JP2021136648A
JP2021136648A JP2020033351A JP2020033351A JP2021136648A JP 2021136648 A JP2021136648 A JP 2021136648A JP 2020033351 A JP2020033351 A JP 2020033351A JP 2020033351 A JP2020033351 A JP 2020033351A JP 2021136648 A JP2021136648 A JP 2021136648A
Authority
JP
Japan
Prior art keywords
information
reward
unit
lens device
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020033351A
Other languages
English (en)
Inventor
潤二 重田
Junji Shigeta
潤二 重田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020033351A priority Critical patent/JP2021136648A/ja
Priority to US17/181,589 priority patent/US11659274B2/en
Priority to CN202110219215.2A priority patent/CN113329144A/zh
Publication of JP2021136648A publication Critical patent/JP2021136648A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)

Abstract

【課題】 駆動性能の適応の点で有利なレンズ装置を提供する。【解決手段】 レンズ装置(100)は、光学部材(101)と、光学部材の駆動を行う駆動部(105)と、駆動に関する状態を検出する検出部(106)と、検出部により検出された状態に関する第1情報に基づいて駆動部に対する制御信号を生成する処理部(120)とを有し、処理部は、第1情報と、第1情報とは異なるレンズ装置に関する第2情報とに基づいて、制御信号に関する出力を生成する機械学習モデルを含み、当該機械学習モデルの生成を行う生成部に第1情報と第2情報とを出力する。【選択図】 図1

Description

本発明は、レンズ装置、撮像装置、処理装置、処理方法、およびプログラムに関する。
近年、デジタルカメラは、静止画のみならず動画の撮像を行いうる。静止画の速写性のためには、オートフォーカスや、ズーム、絞り等の高速動作が必要となる。ところが、動画の撮像においては、当該高速動作のための駆動系の作動音が大きいと、画像とともに記録される音声の品位が損なわれうる。そこで、特許文献1は、動画撮像の場合には、アクチュエータの作動モードを静音モードにする撮像装置を開示している。
特開2007−006305号公報
撮像装置において、光学部材を駆動するアクチュエータに求められる性能は多岐に渡る。例えば、制御の追従性に関わる駆動速度や、正確な撮像条件の設定に関わる位置決め精度、連続撮像時間に関わる消費電力、動画撮像での音声の品位に関わる静音性に関する性能が挙げられる。これらの性能は、相互に依存関係がある。例えば、特許文献1に記載の撮像装置は、駆動の速度や加速度を制限することにより、静音性を高めている。
ところが、求められる静音性は、撮影状況により異なりうる。求められる駆動の速度や加速度も、撮影状況により異なりうる。位置決め精度や、消費電力等の他の性能に関しても、同様のことがいえる。また、個々の性能の優先度は、撮影状況や操作者により異なりうる。そこで、様々な撮影状況や操作者に適した駆動性能をもってアクチュエータが動作するのが望ましい。本発明は、例えば、駆動性能の適応の点で有利なレンズ装置を提供することを目的とする。
本発明の一つの側面は、光学部材と、前記光学部材の駆動を行う駆動部と、前記駆動に関する状態を検出する検出部と、前記検出部により検出された前記状態に関する第1情報に基づいて前記駆動部に対する制御信号を生成する処理部とを有するレンズ装置であって、
前記処理部は、前記第1情報と、前記第1情報とは異なる前記レンズ装置に関する第2情報とに基づいて、前記制御信号に関する出力を生成する機械学習モデルを含み、前記機械学習モデルの生成を行う生成部に前記第1情報と前記第2情報とを出力する、
ことを特徴とするレンズ装置である。
本発明によれば、例えば、駆動性能の適応の点で有利なレンズ装置を提供することができる。
実施形態1に係るレンズ装置の構成例を示す図 駆動性能としての位置決め精度を例示する図 駆動性能としての駆動速度を例示する図 位置決め精度と駆動速度、消費電力、静音性との関係を例示する図 駆動速度と位置決め精度、消費電力、静音性との関係を例示する図 ニューラルネットワークの入出力を例示する図 機械学習の処理の流れを例示する図 報酬情報を例示する図 報酬情報のデータ構造を例示する図 第2報酬部分の選択肢に関する情報のデータ構造を例示する図 実施形態2に係るレンズ装置の構成例を示す図 ニューラルネットワークの入出力を例示する図 報酬情報を例示する図 報酬情報のデータ構造を例示する図 第2報酬部分の選択肢に関する情報のデータ構造を例示する図 実施形態3に係るレンズ装置の構成例を示す図
以下、添付図面を参照して本発明の実施形態を説明する。なお、実施形態を説明するための全図を通して、原則として(断りのない限り)、同一の部材等には同一の符号を付し、その繰り返しの説明は省略する。
〔実施形態1〕
《カメラ本体(処理装置)が学習部(生成部)を含む構成例》
図1は、実施形態1に係るレンズ装置の構成例を示す図であり、それにとどまらず、カメラ本体(カメラ装置本体、撮像装置本体、または処理装置ともいう)の構成例も含むシステム(撮像装置)の構成例を示す図でもある。当該システムは、カメラ本体200と、カメラ本体200に装着されたレンズ装置100(交換レンズともいう)とにより構成されている。カメラ本体200とレンズ装置100とは、結合機構としてのマウント300を介して機械的および電気的に接続されている。なお、マウント300は、カメラ本体200に属するマウントユニットとレンズ装置100に属するマウントユニットとからなっていてもよいし、両マウントユニットを含んで構成されていてもよい。カメラ本体200は、マウント300に含まれている電源端子を介してレンズ装置100に電源を供給しうる。また、カメラ本体200とレンズ装置100とは、マウント300に含まれている通信端子を介して相互に通信を行いうる。本実施形態では、レンズ装置とカメラ本体とがマウントを介して接続される構成を例示するが、レンズ装置とカメラ本体とがマウントを介さずに一体となっている構成であってもよい。
レンズ装置100は、物体距離を変更するためのフォーカスレンズ群101、焦点距離を変更するためのズームレンズ群102、光量を調節するための開口絞り103、像振れ補正のための像振れ補正レンズ群104とを含みうる。フォーカスレンズ群101とズームレンズ群102とのそれぞれは、保持枠によって保持されている。当該保持枠は、例えばガイド軸を介して、光軸の方向(図中の破線の方向)に沿って移動可能に構成されている。フォーカスレンズ群101は、駆動部105により光軸の方向に沿って駆動され、その位置は、検出部106によって検出される。ズームレンズ群102は、駆動部107によって光軸の方向に沿って駆動され、その位置は、検出部108によって検出される。開口絞り103は、絞り羽根を含み、当該絞り羽根が駆動部109により駆動され、光量を調節する。開口絞りの開口量(開口度またはF値ともいう)は、検出部110によって検出される。像振れ補正レンズ群104は、光軸に直交する成分を有する方向において駆動部112により駆動され、手振れ等に起因する像振れを低減する。像振れ補正レンズ群104の位置は、検出部113によって検出される。駆動部105、駆動部107、駆動部109、駆動部112は、例えば、超音波モータを含んで構成されうる。なお、各駆動部は、超音波モータには限られず、ボイスコイルモータ、DCモータ、ステッピングモータ等の他のモータを含んで構成されうる。
検出部106、検出部108、検出部110、検出部113は、例えば、ポテンションメーターまたはエンコーダ等を含んで構成されうる。なお、駆動部が任意の駆動量を駆動量(制御量)のフィードバックなしに駆動できるステッピングモータのようなモータを含んで構成されている場合は、特定の位置(基準位置または原点)を検出する検出部を設けてもよい。この場合、当該検出部は、例えば、フォトインタラプタを含むものとしうる。検出部111は、レンズ装置100の揺れを検出するものであり、例えば、ジャイロ含んで構成されうる。
処理部120は、マイクロコンピュータ(マイコン)としうるものであって、AI制御部121、決定部122、記憶部123、ログ保持部124、駆動制御部125、通信部126を含みうる。AI制御部121は、フォーカスレンズ群101の駆動を制御する制御部である。AI制御部121は、ここではニューラルネットワーク(NNともいう)のアルゴリズムに基づく動作を行いうるものであり、より一般的には、機械学習モデルを用いて、フォーカスレンズ群101の駆動部に対する駆動指令を生成する。決定部122は、AI制御部121で使用するレンズ装置に関する情報(第2情報)を決定する決定部である。記憶部123は、ニューラルネットワークにおける入力(特徴量)の種別を特定する情報や、各層への入力に対する重み(ウエイト)の情報を記憶する記憶部である。ログ保持部124は、フォーカスレンズ群101の駆動制御に関するレンズ装置の動作ログの情報を保持する。駆動制御部125は、ズームレンズ群102、開口絞り103、像振れ補正レンズ群104の駆動の制御を行う。駆動制御部125は、例えば、制御対象の目標位置または目標速度と制御対象の実際の位置または実際の速度との偏差に基づいて、例えばPID制御により、各駆動部に対する駆動指令を生成するものとしうる。通信部126は、カメラ本体200と通信するための通信部である。NNアルゴリズムや、重み、第2情報、動作ログについては後述する。
カメラ本体200(処理装置)は、撮像素子201、A/D変換部202、信号処理回路203、記録部204、表示部205、操作部206、処理部210(カメラマイクロコンピュータまたはカメラマイコンともいう)、学習部220を含んで構成されうる。撮像素子201は、レンズ装置100により形成された像を撮るものであり、例えば、CCDやCMOSデバイスを含んで構成されうる。A/D変換部202は、撮像素子201により撮られて出力されたアナログ信号(画像信号)をデジタル信号に変換する。信号処理回路203は、A/D変換部202から出力されたデジタル信号を画像データに変換する。記録部204は、信号処理回路203から出力された画像データを記録する。表示部205は、信号処理回路203から出力された画像データを表示する。操作部206は、操作者(使用者)が撮像装置を操作するためのものである。
処理部210は、カメラ本体200を制御するためのものであり、制御部211と、通信部212とを含んで構成されうる。制御部211は、信号処理回路203からの画像データと操作者による操作部206からの入力情報とに基づいて、レンズ装置100への駆動指令の生成を行う。また、制御部211は、学習部220(後述)に対する指令や情報伝達をも行う。通信部212は、レンズ装置100との通信を行う。通信部212は、制御部211からの駆動指令を制御コマンドとして、レンズ装置100へ送信する。また、通信部212は、レンズ装置100からの情報の受信も行う。
学習部220(生成部)は、プロセッサ(CPUやGPU等)と記憶装置(ROMや、RAM、HDD等)とを含んで構成されうる。学習部220は、機械学習部221、報酬保持部223、第1報酬部分保持部224、第2報酬部分保持部225、ログ保持部222を含むものとしうる。学習部220は、これら各部の動作を制御するためのプログラムも記憶している。報酬保持部223が保持している報酬の情報、第1報酬部分保持部224が保持している第1報酬部分の情報、第2報酬部分保持部225が保持している第2報酬部分の情報、操作者の入力した情報から第2報酬部分の情報を得るための情報については後述する。
<画像データの記録および表示>
ここで、図1に示す撮像装置における画像データの記録および表示について説明する。レンズ装置100に入射した光は、フォーカスレンズ群101、ズームレンズ群102、開口絞り103、像振れ補正レンズ群104を介して、撮像素子201上に像を形成する。当該像は、撮像素子201により電気的アナログ信号に変換され、当該アナログ信号は、A/D変換部202でデジタル信号に変換され、当該デジタル信号は、信号処理回路203で画像データに変換される。信号処理回路203から出力される画像データは、記録部204に記録される。また、当該画像データは、表示部205により表示される。
<フォーカス制御>
つづいて、カメラ本体200によるレンズ装置100でのフォーカス制御について説明する。制御部211は、信号処理回路203から出力された画像データに基づいて、オートフォーカス制御(AF制御ともいう)を行う。例えば、制御部211は、画像データのコントラストが最大となるようにフォーカスレンズ群101を駆動するAF制御を行う。制御部211は、フォーカスレンズ群101の駆動量を駆動指令として通信部212に出力する。通信部212は、制御部211から駆動指令を受け取ると、当該駆動指令を制御コマンドに変換し、当該制御コマンドをマウント300の通信接点部を介してレンズ装置100へ送信する。通信部126は、通信部212からの制御コマンドを受信すると、当該制御コマンドを駆動指令に変換し、当該駆動指令は、駆動制御部125を介してAI制御部121へ出力される。AI制御部121は、駆動指令が入力されると、記憶部123に記憶されている機械学習モデル(学習済みの重み)に基づいて駆動信号を生成し、当該駆動信号を駆動部105へ出力する。AI制御部121による駆動信号の生成の詳細は、後述する。以上のようにして、カメラ本体200の制御部211からの駆動指令に基づいて、フォーカスレンズ群101が駆動される。従って、制御部211は、画像データのコントラストが最大となるようにフォーカスレンズ群101を駆動するAF制御を行うことができる。
<開口絞り制御>
次に、カメラ本体200によるレンズ装置100での開口絞り制御について説明する。制御部211は、信号処理回路203から出力された画像データに基づいて、開口絞り制御(露出制御)を行う。具体的には、制御部211は、画像データの輝度値が一定となるように、目標となるF値を決定する。制御部211は、決定したF値を駆動指令として通信部212に出力する。通信部212は、制御部211から駆動指令を受け取ると、当該駆動指令を制御コマンドに変換し、当該制御コマンドを、マウント300の通信接点部を介してレンズ装置100へ送信する。通信部126は、通信部212からの制御コマンドを受信すると、当該制御コマンドを駆動指令に変換し、当該駆動指令を駆動制御部125に出力する。駆動制御部125は、駆動指令が入力されると、当該駆動指令と検出部110により検出された開口絞りのF値とに基づいて、駆動信号を決定し、当該駆動信号を駆動部109へ出力する。以上のようにして、カメラ本体200の制御部211からの駆動指令に基づいて、画像データの輝度値が一定となるように開口絞り103が駆動される。従って、制御部211は、撮像素子の露光量が適切となるように開口絞り103を駆動する露出制御を行うことができる。
<ズーム制御の説明>
次に、カメラ本体200によるレンズ装置100でのズーム制御について説明する。操作者は、操作部206を介してレンズ装置100でのズームの操作を行う。制御部211は、操作部206から出力されたズームの操作量に基づいて、ズームレンズ群102の駆動量を駆動指令として通信部212に出力する。通信部212は、当該駆動指令を受け取ると、当該駆動指令を制御コマンドに変換し、当該制御コマンドを、マウント300の通信接点部を介してレンズ装置100へ送信する。通信部126は、通信部212から制御コマンドを受信すると、当該制御コマンドを駆動指令に変換し、当該駆動指令を駆動制御部125に出力する。駆動制御部125は、当該駆動指令が入力されると、当該駆動指令と検出部108により検出されたズームレンズ群の位置とに基づいて、駆動信号を生成し、当該駆動信号を駆動部107へ出力する。以上のようにして、カメラ本体200の制御部211からの駆動指令に基づいて、ズームレンズ群102が駆動される。従って、制御部211は、操作部206から出力されたズームの操作量に基づいてズームレンズ群102を駆動するズーム制御を行うことができる。
<像振れ補正制御>
次に、レンズ装置100における像振れ補正制御について説明する。駆動制御部125は、検出部111から出力されたレンズ装置100の揺れを示す信号に基づいて、レンズ装置100の揺れによる像振れを低減するように、像振れ補正レンズ群の目標位置を決定する。駆動制御部125は、当該目標位置と検出部113により検出された像振れ補正レンズ群の位置とに基づいて、駆動信号を生成し、当該駆動信号を駆動部112へ出力する。以上のようにして、駆動制御部125からの駆動指令に基づいて、像振れ補正レンズ群が駆動される。従って、駆動制御部125は、レンズ装置100の揺れによる像振れを低減する像振れ補正制御を行うことができる。
<フォーカス制御に関する駆動性能>
フォーカス制御に関する駆動性能として、ここでは、位置決め精度、駆動速度、消費電力、静音性の4つを取り上げる。これらの駆動性能は、フォーカス制御を行う種々の状況に適応しているのが好ましい。以下、4つの駆動性能について説明する。
(1)位置決め精度
位置決め精度は、図2を参照して説明する。ここで、図2は、駆動性能としての位置決め精度を例示する図である。同図の(a)および(b)は、それぞれ焦点深度が浅い場合および焦点深度が深い場合を示している。同図の(a)および(b)は、F値が互いに異なっている。Gは、フォーカスレンズ群の目標位置、すなわち光軸上の点状の物体(被写体)Sが撮像素子201上に合焦するフォーカスレンズ群の位置を示している。Cは、Gを目標位置としてフォーカスレンズ群を駆動した後のフォーカスレンズ群の実際の位置を示している。位置Cは、目標位置Gに対して、制御誤差(制御偏差)Eだけ物体S側にある。Bpは、フォーカスレンズ群が位置Cにある場合の物体Sの結像位置(ピント位置)を示している。δは、撮像素子201に対応する許容錯乱円(の直径)を示している。
同図の(a)におけるF値(Fa)は、同図の(b)におけるF値(Fb)よりも明るい値(小さい値)となっている。従って、(a)の焦点深度(2Faδ)は、(b)の焦点深度(2Fbδ)よりも浅くなっている。(a)の光線Caおよび光線Gaは、それぞれフォーカスレンズ群の位置Cおよび目標位置Gにおける、物体Sからの最も外側の光線を示している。また、(b)の光線Cbおよび光線Gbは、それぞれフォーカスレンズ群の位置Cおよび目標位置Gにおける、物体Sからの最も外側の光線を示している。(a)において、Iaは、フォーカスレンズ群が位置Cにある場合の物体Sの撮像素子201上での点像の直径を示す。(b)において、Ibは、フォーカスレンズ群が位置Cにある場合の物体Sの撮像素子201上での点像の直径を示す。
(a)においては、ピント位置Bpは、焦点深度(2Faδ)の範囲外となっている。また、点像の直径Iaは、許容錯乱円δより大きく、撮像素子201の中心の画素に収まらず、その隣の画素へ及んでいる。よって、(a)において、フォーカスレンズ群の位置Cでは、物体Sは、非合焦状態となる。これに対して、(b)においては、ピント位置Bpは、焦点深度(2Fbδ)の範囲内となっている。また、点像の直径Ibは、許容錯乱円δより小さく、撮像素子201の中心の画素に収まっている。よって、(b)においては、フォーカスレンズ群の位置Cでは、物体Sは合焦状態となる。以上のことから、フォーカスレンズ群の位置決め精度が同じでも、撮像条件によって、合焦状態が得られたり得られなかったりすることになる。つまり、撮像条件によって、求められる位置決め精度が変化することになる。
(2)駆動速度
駆動速度は、単位時間あたりの移動量である。また、ピント移動速度は、単位時間あたりのピント移動量である。フォーカスレンズ群の移動量は、ピント移動量とは比例関係にある。当該比例関係における比例定数を、フォーカス敏感度という。すなわち、フォーカス敏感度は、フォーカスレンズ群の単位移動量あたりの、レンズ装置のピントの移動量である。フォーカス敏感度は、レンズ装置の構成する光学系の状態によって変化する。ピント移動量ΔBpは、フォーカス敏感度をSeとし、フォーカスレンズ群の移動量をΔPとして、次式(1)により表されうる。
ΔBp=Se×ΔP・・・(1)
ここで、フォーカス制御に要求される駆動速度について、図3を参照して説明する。図3は、駆動性能としての駆動速度を例示する図である。同図の(a)および(b)は、それぞれフォーカス敏感度Sが大きい場合およびフォーカス敏感度Sが小さい場合を示している。同図の(a)および(b)は、物体距離が互いに異なっている。(a)において、ピント位置をBp1からBp2へ移動させる場合、フォーカスレンズ群の位置をPa1からPa2へ移動させる必要がある。ここで、フォーカスレンズ群の移動量ΔPaとピント移動量ΔBpとの関係は、式(1)に示されるものとなる。(b)において、ピント位置をBp1からBp2へ移動させる場合、フォーカスレンズ群の位置をPb1からPb2へ移動させる必要がある。ここで、フォーカスレンズ群の移動量ΔPaとピント移動量ΔBpとの関係は、式(1)に示されるものとなる。
(a)および(b)に示されるとおり、(a)でのフォーカス敏感度が(b)でのフォーカス敏感度より小さいため、同じピント移動量ΔBp動かすのに必要となるフォーカスレンズ群の移動量は、(a)の場合の方が(b)の場合より大きくなる。よって、(a)の場合に比べて(b)の場合は、単位時間当たりのフォーカスレンズ群の移動量を小さくでき、フォーカスレンズ群の駆動速度を遅くしても、ピント移動速度は同じとすることができる。以上のことから、特定のピント移動速度を得るために必要となるフォーカスレンズ群の駆動速度は、撮像条件により異なることになる。つまり、撮像条件によって、求められるフォーカスレンズ群の駆動速度が変化することになる。
(3)消費電力
消費電力は、フォーカスレンズ群の駆動時間、駆動速度、駆動加速度によって変化する。つまり、駆動時間が長い場合、駆動速度が高い場合、駆動加速度が高い場合は、そうでない場合より消費電力が増加する。よって、駆動性能の適応により、消費電力を減少させることができれば、例えば、バッテリー容量を有効活用できるため、1回の充電での撮像時間を増やしたり、バッテリーを小型化したりすることができる。
(4)静音性
フォーカスレンズ群の駆動に伴う振動や摩擦等により、駆動音(ノイズ)が発生する。駆動音は、フォーカスレンズ群の駆動速度や駆動加速度によって変化する。つまり、駆動速度が高い場合、駆動加速度が高い場合は、そうでない場合より駆動音が大きくなる。また、フォーカスレンズ群が停止する時間が長いほど、静音性の点で有利となりうる。静かな場所での撮像では、耳障りな駆動音が収録されうる。そのため、撮像環境(周囲の音量)によって駆動音の大きさを変えられることが要求されうる。
<位置決め精度と駆動速度、消費電力、静音性との関係>
位置決め精度と、駆動速度や消費電力、静音性との関係について、図4を参照して説明する。ここで、図4は、位置決め精度と駆動速度、消費電力、静音性との関係を例示する図である。同図の(a)および(b)は、それぞれ焦点深度が深い場合および焦点深度が浅い場合において、動きのある被写体に合焦し続けるためのフォーカスレンズ群の動きを例示している。(a)および(b)において、横軸は、時間(時刻)を示し、縦軸は、フォーカスレンズ群の位置を示す。縦軸の上方は、無限遠に向かう方向であり、縦軸の下方は、至近に向かう方向である。
Gは、フォーカスレンズ群の目標位置を示し、被写体が撮像素子201上に結像される場合のフォーカスレンズ群の位置を示している。(a)での焦点深度および(b)での焦点深度は、それぞれ2Faδおよび2Fbδである。(a)は、目標位置Gを基準として、ピント位置が焦点深度内の無限遠側の境界となるフォーカスレンズ群の位置GalimIと、ピント位置が焦点深度内の至近側の境界となるフォーカスレンズの位置GalimMとを示す。(b)は、目標位置Gを基準として、ピント位置が焦点深度内の無限遠側の境界となるフォーカスレンズの位置GblimIと、ピント位置が焦点深度内の至近側の境界となるフォーカスレンズ群の位置GblimMとを示す。(a)におけるCaおよび(b)におけるCbは、それぞれ被写体が焦点深度内に収まるように制御されたフォーカスレンズ群の位置(軌跡)を示す。
(a)は、焦点深度が深いため、フォーカスレンズ群の制御により被写体からピントが外れ難い。それに対して、(b)は、焦点深度が浅いため、(a)の場合に比べ、フォーカスレンズ群の軌跡Cbは、目標位置Gとの偏差が少なくなるように制御する必要がある。つまり、(a)(b)ともに被写体からピントが外れることはないものの、(a)における軌跡Caでの駆動の方が(b)における軌跡Cbでの駆動よりも、駆動量や駆動速度は低減できる。すなわち、求められる位置決め精度が低い撮像条件下においては、低速、低消費電力、静音でフォーカスレンズ群を制御することができる。
<駆動速度と位置決め精度、消費電力、静音性との関係>
駆動速度と位置決め精度、消費電力、静音性の関係について、図5を参照して説明する。ここで、図5は、駆動速度と位置決め精度、消費電力、静音性との関係を例示する図である。同図の(a)および(b)において、横軸は、時間(時刻)を示し、縦軸は、フォーカスレンズ群の位置を示す。(a)は、図3の(a)に示す位置Pa1から位置Pa2へT0ないしT1の時間で駆動した場合のフォーカスレンズ群の位置Caを示している。また、(b)は、図3の(b)に示す位置Pb1から位置Pb2へT0ないしT1の時間で駆動した場合のフォーカスレンズ群の位置Cbを示している。ここで、図3に示すとおり、フォーカスレンズ群が位置Pa1から位置Pa2へ移動した場合のピント移動量は、フォーカスレンズ群が位置Pb1から位置Pb2へ移動した場合のピント移動量と同じである。ここで、図5の(a)および(b)におけるCaおよびCbの傾きは、フォーカスレンズ群の駆動速度に相当する。
図5の(a)および(b)が示すとおり、T0ないしT1の時間に同じピント移動量ΔBpを得るためのフォーカスレンズ群の駆動速度は、CaにおけるもののほうがCbにおけるものよりも高くする必要がある。また、Caは、Cbに比し、駆動速度が高いため、フォーカスレンズ群が目標位置Pa2に到達した後に位置が安定するまでに長い時間を要している。これに対して、Cbは、Caに比し、駆動速度が低いため、フォーカスレンズ群が目標位置Pb2に到達した後に位置が安定するまでに短い時間しか要していない。すなわち、駆動速度は、位置決め精度に影響を与える。また、Caは、Cbに比し、フォーカスレンズ群の駆動加速度も高いため、消費電力も多く、駆動音も大きい。すなわち、求められる駆動速度が低い撮像条件下においては、高位置決め精度、低消費電力、静音でフォーカスレンズ群を制御することができる。
<レンズ装置に関する第2情報>
つづいて、レンズ装置に関する第2情報について説明する。当該第2情報は、フォーカスレンズ群の駆動性能に影響を与える情報である。以上に説明したように、フォーカスレンズ群の駆動制御における駆動性能の適応のためには、駆動性能に影響を与える第2情報に基づいて、制御信号を生成する必要がある。当該第2情報は、決定部122により決定される。当該第2情報は、例えば、焦点深度やフォーカス敏感度の情報を含む。決定部122は、F値の情報と許容錯乱円の情報とから焦点深度の情報を得る。また、決定部122は、フォーカス敏感度と、フォーカスレンズ群の位置およびズームレンズ群の位置との関係を示す情報(テーブル)を記憶し、当該関係、フォーカスレンズ群の位置、ズームレンズ群の位置の各情報からフォーカス敏感度の情報を得る。そのような第2情報に基づいて制御信号を生成することにより、位置決め精度、駆動速度、消費電力、静音性のような駆動性能の適応(カスタマイズ)の点で有利なレンズ装置を提供することができる。なお、第2情報に基づいて制御信号を生成する機械学習アルゴリズムについては後述する。
<機械学習モデル>
ここで、AI制御部121が機械学習モデルを用いて制御信号を生成する方法について説明する。AI制御部121は、機械学習モデルを有し、機械学習アルゴリズムに従った動作を行う。機械学習アルゴリズムは、それには限定されないが、ここでは、ニューラルネットワーク(NNともいう)によるアルゴリズム(NNアルゴリズムともいう)とする。AI制御部121は、記憶部123に記憶されたNNへの入力となる特徴量と、各層への入力に対する重みとを参照し、参照により得られた特徴量および重みを用いてNNアルゴリズムにより制御信号に関する出力を生成する。機械学習モデル(重み)の製法については、後述する。
実施形態1に係る学習モデルにおける入出力の構造を示す概念を図6を参照して説明する。図6は、ニューラルネットワークの入出力を例示する図である。同図において、X1は、駆動制御部125から出力された駆動指令の情報である。X2は、検出部106から得られたフォーカスレンズ群101の位置の情報である。X3は、第2情報としての焦点深度の情報であり、X4は、第2情報としてのフォーカス敏感度の情報である。Y1は、駆動部105に対する制御信号に関する出力の情報である。このように、入力としてのX1ないしX4に基づいて、学習済み機械学習モデルの出力としてのY1が生成される。AI制御部121は、当該Y1を制御信号として、またはY1に基づく制御信号を生成して、当該制御信号により駆動部105の制御を行う。
<学習モデル(重み)の製法>
次に、学習モデル(重み)の製法(機械学習部での学習)について説明する。ここで、制御部211は、操作部206に対する操作者の操作により、機械学習の実施に係る指令を機械学習部221に送信する。機械学習部221は、当該指令を受けると、機械学習を開始する。機械学習部221による機械学習の流れを、図7を参照して説明する。図7は、機械学習の処理の流れを例示する図である。
同図において、ステップS101では、学習モデル(重み)の初期化を行う。具体的には、機械学習部221は、重みの初期値を制御部211に出力する。制御部211は、機械学習部221から重みの初期値を受け取ると、通信部212を介してレンズ装置100へ、重みの初期値を送信する。レンズ装置100の駆動制御部125は、通信部126で重みの初期値を受信すると、当該初期値を、記憶部123に記憶させる。つづくステップS102では、ログ情報の取得を行う。具体的には、機械学習部221は、制御部211に対して、レンズ装置100におけるログ情報の取得の要求を行う。制御部211は、当該要求を受けると、通信部212を介してレンズ装置100へ、当該ログ情報の要求を行う。レンズ装置100の駆動制御部125は、通信部126で当該ログ情報の要求を受けると、AI制御部121に対してフォーカスレンズ群101の駆動の指令を行う。AI制御部121は、当該駆動の指令を受けると、記憶部123に保持された重みを用いた機械学習モデルに基づいて、駆動部105に対する制御信号を生成する。なお、機械学習部221は、開始位置から停止位置までフォーカスレンズ群101を駆動するための予め決められた学習用駆動パターンを保持し、当該パターンに対応した制御信号を生成する。当該予め決められた学習用駆動パターンに替えて、オートフォーカスアリゴリズムに従って決まる学習用駆動パターンとしてもよい。また、駆動制御部125は、通信部126で当該ログ情報の要求を受けると、ログ保持部124に対してログ情報の出力の要求を行う。ログ保持部124は、当該出力の要求を受けると、フォーカスレンズ群101の駆動中におけるレンズ装置のログ情報を、駆動制御部125および通信部126を介して、カメラ本体200に送信する。
ステップS103では、フォーカスレンズ群101の駆動性能の評価を行う。具体的には、機械学習部221は、報酬保持部223が保持している報酬情報およびログ保持部222が保持しているログ情報に基づいて、AI学習部121の生成した制御信号によるフォーカスレンズ群101の駆動性能の評価を行う。当該評価の詳細は、後述する。ステップS104では、機械学習モデル(重み)の更新を行う。具体的には、機械学習部221は、当該評価における評価値に基づいて(例えば、評価値が最大化されるように)、機械学習モデル(重み)の更新を行う。重みの更新は、誤差逆伝搬法(Backpropagation)を使用しうるが、それには限定されない。生成された重み(機械学習モデル)は、ステップS101での処理と同様の処理により、記憶部123に記憶させる。
ステップS105では、機械学習を終了するか判断(判定)を行う。具体的には、例えば、機械学習部221は、学習(重みの更新)の回数が予め定められた値に達したか、または、駆動性能の評価値の変化量が予め定められた値より小さいか等により当該判断を行う。機械学習部221は、機械学習を終了しないとの判断を行った場合は、ステップS101へ処理を戻し、機械学習を継続する。機械学習部221は、機械学習を終了するとの判断を行った場合は、機械学習の処理を終了させる。なお、機械学習部221は、評価が許容条件を満たした(例えば、駆動性能の評価値の変化量が予め定められた値より小さくなった)機械学習モデルを採用する。また、機械学習部221は、終了条件を満たし(例えば、学習の回数が予め定められた値に達し)且つ評価が許容条件を満たしていない機械学習モデルを不採用とする。
なお、機械学習のアルゴリズムは、ニューラルネットワークを利用し、各層への入力に対する重みを自ら生成する深層学習(ディープラーニング)としうる。深層学習は、特徴量をも自ら生成しうる。アルゴリズムは、深層学習には限定されず、他のものであってもよく、例えば、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンのうち少なくとも1つを含みうる。これらのようなアルゴリズムのうち利用できるものを本実施形態に適宜適用することができる。
ここで、GPUは、データの並列処理を効率的に行うことができるため、ディープラーニングにおける機械学習モデルのような機械学習モデルを用いて繰り返し学習を行う場合に有効である。よって、機械学習部221による処理にはCPUに替えて又は加えてGPUを用いうる。例えば、機械学習モデルを含む機械学習プログラムは、CPUとGPUとが協働して実行するのが好ましい。
<ログ情報>
次に、ログ情報について説明する。ログ情報は、フォーカスレンズ群101の駆動性能の評価を行う対象となる情報を含んでいる。ログ保持部124は、図6に示したX1ないしX4およびY1のような機械学習モデルの入出力情報を機械学習モデルの動作周期ごとに収集して保持している。ログ保持部124は、処理部120により得られた駆動部105の消費電力に関する情報をログ情報として保持している。ログ保持部124は、AI制御部121に入力された駆動指令や検出部106によって検出されたフォーカスレンズ群の位置に関する情報をログ情報として保持している。ログ保持部124は、処理部120により得られたフォーカスレンズ群の目標位置や位置決め精度に関する情報をログ情報として保持している。ログ保持部124は、フォーカスレンズ群の位置に関する情報から得られたフォーカスレンズ群の駆動速度や駆動加速度に関する情報をログ情報として保持している。ログ保持部124は、保持しているログ情報を、駆動制御部125および通信部126を介して、カメラ本体200に送信する。カメラ本体200の制御部211は、通信部212でログ情報を受信すると、当該ログ情報をログ保持部222に保持させる。
<報酬情報および駆動性能の評価>
報酬情報は、駆動性能の評価を行うのに必要な情報である。報酬情報は、各駆動性能に関して、範囲を決める境界値の情報と、当該範囲ごとに予め定められた報酬の情報とを含んで構成されている。図8を参照して報酬情報について説明する。図8は、報酬情報を例示する図である。同図において、(a1)、(b1)、(c1)、(d1)は、それぞれ駆動性能としての位置決め精度、駆動速度、駆動加速度、消費電力に関して、機械学習モデルを学習している場合における、時間(時刻)と報酬との関係を示している。グラフの横軸は、時間を示し、グラフの縦軸は、駆動性能と境界値とを示している。同図において、(a2)、(b2)、(c2)、(d2)は、それぞれ位置決め精度、駆動速度、駆動加速度、消費電力に関して、報酬情報のデータ構造を示している。当該データ構造は、上述の境界値のデータと、上述の範囲ごとの報酬のデータとを含んで構成されるものとなっている。
ここで、機械学習モデルは、駆動性能に対する評価が高くなるように学習される。よって、例えば、駆動性能が位置決め精度である場合、位置偏差がゼロを含む範囲に最も高い報酬が設定されている。また、特定の駆動性能は、相対的に高い報酬を設定されることにより、他の駆動性能よりも優先されることになる。例えば、消費電力は、相対的に報酬を高くされることにより、位置決め精度よりも優先されることになる。本実施形態では、報酬情報が2つの境界値の情報と3つの報酬の情報とを含んで構成される例を示している。
(a1)の縦軸は、フォーカスレンズ群の目標位置と実際の位置との差である位置偏差Eの値を示している。位置偏差Eの正の方向は、フォーカスレンズ群の目標位置に対して実際の位置が無限遠側にある場合を示し、位置偏差Eの負の方向は、目標位置に対して実際の位置が至近側にある場合を示す。位置偏差Eが0に近い場合の頻度が高い(Eの総和が小さい)ほどフォーカスレンズ群の位置決め精度が高いことになる。(a2)は、位置決め精度に関する報酬情報REを示している。報酬情報REは、位置偏差の境界値E1、境界値E2と、各範囲において獲得できる報酬SE1、報酬SE2、報酬SE3とを含んで構成されている。ここで、位置偏差がE1×−1ないしE1の範囲を範囲AE1とする。また、E2×−1ないしE2の範囲から範囲AE1を除いて得られる範囲を範囲AE2とする。また、全範囲から範囲AE1と範囲AE2とを除いて得られる範囲を範囲AE3とする。範囲AE1、範囲AE2、範囲AE3に対して、(a2)が示すように、それぞれ報酬SE1、報酬SE2、報酬SE3が設定されている。ここで、報酬の大小関係は、報酬SE1>報酬SE2>報酬SE3となり、位置偏差Eが0に近いほど高い報酬が設定されている。(a1)が示すように、時刻Tp1、時刻Tp2、時刻Tp3における位置偏差Eは、それぞれ範囲AE2、範囲AE3、範囲AE1に属している。よって、時刻Tp1、時刻Tp2、時刻Tp3において獲得できる報酬は、それぞれ報酬SE2、報酬SE3、報酬SE1となる。ここで、例えば、境界値E1は、Fδ/2なる値、境界値E2は、Fδなる値としうる。つまり、フォーカスレンズ群の実際の位置が目標位置に対して焦点深度の半分以下のずれ(|E|≦Fδ/2)を有しているのであれば、最も高い報酬が得られる。それに対して、フォーカスレンズ群の実際の位置が目標位置に対して焦点深度の半分を超えて焦点深度までのずれ(Fδ/2<|E|≦Fδ)を有しているのであれば、中間の報酬が得られる。また、フォーカスレンズ群の実際の位置が目標位置に対して焦点深度を超えるずれ(|E|>Fδ)を有しているのであれば、最も低い報酬が得られる。
(b1)の縦軸は、フォーカスレンズ群の駆動速度Vの値を示している。駆動速度Vの正の方向は、無限遠に向かう方向を示し、駆動速度Vの負の方向は、至近に向かう方向を示している。駆動音は、駆動速度Vが0に近いほど小さくなる。(b2)は、駆動速度に関する報酬情報RVを示している。報酬情報RVは、駆動速度の境界値V1、V2と、各範囲において獲得できる報酬SV1、報酬SV2、報酬SV3とを含んで構成されている。ここで、駆動速度V1×−1ないしV1の範囲を範囲AV1とする。また、駆動速度V2×−1ないしV2の範囲から範囲AV1を除いて得られる範囲を範囲AV2とする。また、全範囲から範囲AV1と範囲AV2とを除いて得られる範囲を範囲AV3とする。範囲AV1、範囲AV2、範囲AV3に対して、(b2)が示すように、それぞれ報酬SV1、報酬SV2、報酬SV3が設定されている。ここで、報酬の大小関係は、報酬SV1>報酬SV2>報酬SV3となり、駆動速度Vが0に近いほど高い報酬が設定されている。(b1)が示すように、時刻Tp1、時刻Tp2、時刻Tp3における駆動速度Vは、それぞれ範囲AV2、範囲AV3、範囲AV1に属している。よって、時刻Tp1、時刻Tp2、時刻Tp3において獲得できる報酬は、それぞれ報酬SV2、報酬SV3、報酬SV1となる。ここで、境界値V1、V2は、例えば、駆動速度と駆動音との関係に基づいて設定されている。駆動速度が低いほど獲得できる報酬が多くなるように報酬を設定すれば、駆動速度が低いほど駆動音が小さくなるため、静音性を考慮した機械学習モデルを得ることができる。
(c1)の縦軸は、フォーカスレンズ群の駆動加速度Aの値を示している。駆動加速度Aの正の方向は、無限遠に向かう方向を示し、駆動加速度Aの負の方向は、至近へ向かう方向を示している。駆動音は、駆動加速度Aが0に近いほど小さくなる。(c2)は、駆動加速度に関する報酬情報RAを示している。報酬情報RAは、駆動加速度の境界値A1、A2と、各範囲において獲得できる報酬SA1、報酬SA2、報酬SA3とを含んで構成されている。ここで、駆動加速度A1×−1ないしA1の範囲を範囲AA1とする。また、A2×−1ないしA2の範囲から範囲AA1を除いて得られる範囲を範囲AV2とする。また、全範囲から範囲AA1と範囲AA2とを除いて得られる範囲を範囲AA3とする。範囲AA1、範囲AA2、範囲AA3に対して、(c2)が示すように、報酬SA1、報酬SA2、報酬SA3が設定されている。ここで、報酬の大小関係は、報酬SA1>報酬SA2>報酬SA3となり、駆動加速度Aが0に近いほど高い報酬が設定されている。(c1)が示すように、時刻Tp1、時刻Tp2、時刻Tp3における駆動加速度Aは、それぞれ範囲AA1、範囲AA3、範囲AA2に属している。よって、時刻Tp1、時刻Tp2、時刻Tp3において獲得できる報酬は、それぞれ報酬SA1、報酬SA3、報酬SA2となる。ここで、境界値A1、A2は、例えば、駆動加速度と駆動音との関係に基づいて設定されている。駆動加速度が低いほど獲得できる報酬が多くなるように報酬を設定すれば、駆動加速度が低いほど駆動音が小さくなるため、静音性を考慮した機械学習モデルを得ることができる。
(d1)の縦軸は、駆動部105の消費電力Pの値を示している。(d2)は、消費電力に関する報酬情報RPを示している。報酬情報RPは、消費電力の境界値P1、P2と、各範囲において獲得できる報酬SP1、報酬SP2、報酬SP3とを含んで構成されている。ここで、消費電力0ないしP1の範囲を範囲AP1とする。また、P1を超えP2を超えない範囲を範囲AP2とする。また、全範囲から範囲AP1と範囲AP2とを除いて得られる範囲を範囲AP3とする。範囲AP1、範囲AP2、範囲AP3に対して、(d2)が示すように、報酬SP1、報酬SP2、報酬SP3が設定されている。ここで、報酬の大小関係は、報酬SP1>報酬SP2>報酬SP3となり、消費電力Pが0に近いほど高い報酬が設定されている。(d1)が示すように、時刻Tp1、時刻Tp2、時刻Tp3における消費電力Pは、それぞれ範囲AP1、範囲AP3、範囲AP2に属している。よって、時刻Tp1、時刻Tp2、時刻Tp3において獲得できる報酬は、それぞれ報酬SP1、報酬SP3、報酬SP2となる。ここで、消費電力が小さいほど獲得できる報酬が多くなるように報酬を設定すれば、低消費電力を考慮した機械学習モデルを得ることができる。
以上のように、位置決め精度(位置偏差)、駆動速度、駆動加速度、消費電力等の駆動性能に関して評価を行うための報酬情報が設定されうる。このような報酬情報を用いることにより、フォーカスレンズ群を駆動した場合のログ情報に基づいて、各駆動性能に関して単位時間ごとに報酬を生成し、当該報酬を累計することにより、機械学習モデルを評価することができる。なお、複数の駆動性能に関する報酬に基づくことにより、機械学習モデルのカスタマイズに有利となる。また、消費電力は、駆動部における電流等に基づいて計測してもよいし、駆動速度や駆動加速度に基づいて推定してもよい。また、境界値は、不変とするのに限らず、必要に応じて可変としてもよい。また、報酬は、境界値に基づいて特定するのには限られず、各駆動性能に関する関数に基づいて特定してもよい。この場合、報酬情報は、当該関数に関する情報を含んで構成すればよい。
<第1報酬部分および第2報酬部分>
つづいて、報酬情報のうちの第1報酬部分および第2報酬部分について説明する。図9は、報酬情報のデータ構造を例示する図である。第1報酬部分の情報(予め用意された第1の報酬の情報)は、位置決め精度に関する報酬REb、駆動速度に関する報酬RVb、駆動加速度に関する報酬RAb、消費電力に関する報酬RPbの情報を含んで構成されている。また、第2報酬部分の情報(第2の報酬の情報)は、位置決め精度に関する報酬REu、駆動速度に関する報酬RVu、駆動加速度に関する報酬RAu、消費電力に関する報酬RPuの情報を含んで構成されている。REbおよびREuは、図8の(a2)に示した位置決め精度に関する報酬REとは同じデータ構造を有している。RVbおよびRVuは、図8の(b2)に示した駆動速度に関する報酬RVとは同じデータ構造を有している。RAbおよびRAuは、図8の(c2)に示した駆動加速度に関する報酬RAとは同じデータ構造を有している。RPbおよびRPuは、図8の(d2)に示した消費電力に関する報酬RPとは同じデータ構造を有している。
ここで、第1報酬部分の情報は、レンズ装置100に固有の報酬に関する情報である。第1報酬部分の情報は、レンズ装置100に固有の報酬情報として第1報酬部分保持部224に予め保持されている。第2報酬部分の情報は、レンズ装置100の操作者の要求に基づいて可変の報酬に関する情報である。第2報酬部分の情報は、操作者の要求に基づいて第2報酬部分保持部225に保持される。報酬保持部223は、第1報酬部分の情報および第2報酬部分の情報を保持している。
第1報酬部分の情報は、レンズ装置100において許容可能な駆動性能を得るための報酬情報であるため、第2報酬部分の情報よりも、負の値を含む広範囲の報酬が設定されている。第2報酬部分の情報は、操作者の要求により可変であり、当該要求の情報と、第2報酬部分の選択肢の情報とに基づいて取得しうる。報酬情報は、第1報酬部分の情報と第2報酬部分の情報とから得られる。そして、当該報酬情報に基づいて、図8を参照して例示したように、機械学習モデルの評価値を得ることにより、機械学習モデルの学習(生成)がなされる。
ここで、ユーザの要求により、第2報酬部分の情報を得る方法について説明する。図10は、第2報酬部分の選択肢に関する情報のデータ構造を例示する図である。同図の(a)は、位置決め精度に関する第2報酬部分の選択肢UREuに関する情報のデータ構造を示している。当該選択肢UREuに関する情報は、各レベルに関して、位置偏差の境界値、当該境界値で定義される範囲ごとの報酬情報を含んで構成されている。同図の(b)は、静音性に関する第2報酬部分の選択肢URSuに関する情報のデータ構造を示している。当該選択肢URSuに関する情報は、駆動速度に関する第2報酬部分の選択肢URVuに関する情報と、駆動加速度に関する第2報酬部分の選択肢URAuに関する情報とを含んで構成されている。URVuの情報は、各レベルに関して、駆動速度の境界値、当該境界値で定義される範囲ごとの報酬情報を含んで構成されている。URAuの情報は、各レベルに関して、駆動加速度の境界値、当該境界値で定義される範囲ごとの報酬情報を含んで構成されている。同図の(c)は、消費電力に関する第2報酬部分の選択肢URPuに関する情報のデータ構造を示している。当該選択肢URPuに関する情報は、各レベルに関して、消費電力の境界値、当該境界値で定義される範囲ごとの報酬情報を含んで構成されている。
位置決め精度に関する第2報酬部分の選択肢UREu、静音性に関する第2報酬部分の選択肢URSu、消費電力に関する第2報酬部分の選択肢URPuの各情報は、次のように設定されている。すなわち、当該各情報は、レベル1、レベル2、レベル3の順(昇順)に、操作者の要求レベルが低くなるように、境界値や報酬の値が設定されている。より具体的には、例えば、レベル1は、他のレベルに比べ、境界値が駆動性能の目標値に近い値となり、報酬が高い値となっている。
なお、操作者の要求は、図1に示した操作部206を介して入力しうる。当該要求に基づいて、各駆動性能に関して、レベル1ないしレベル3からレベルを選択しうる。当該レベルに関する情報は、制御部211を介して、第2報酬部分保持部225に伝達される。第2報酬部分保持部225は、各駆動性能のレベルに関する情報に基づいて、各駆動性能に関して第2報酬部分の情報を特定(選択)する。そうすることにより、カスタマイズされた報酬の情報に基づいて、機械学習モデル(重み)の学習が実施され、カスタマイズされた機械学習モデル(重み)を生成することができる。生成された機械学習モデル(重み)の情報は、カメラ本体200からレンズ装置100に送信され、記憶部123に記憶され、フォーカスレンズ群の駆動(駆動部105)の制御に使用される。
<制御対象の他の例>
駆動制御の対象は、フォーカスレンズ群を例示したが、本実施形態は、それには限定されない。本実施形態は、ズームレンズ群、像振れ補正レンズ群、フランジバック調整レンズ群、開口絞り等の他の光学部材を駆動制御の対象としうる。位置決め精度や静音性、消費電力は、それらの光学部材を駆動する場合にも重視される駆動性能である。なお、要求される位置決め精度は、ズームレンズ群に関しては、その駆動量と、画角または被写体の大きさの変化量との間の関係により変化しうる。また、要求される位置決め精度は、像振れ補正レンズ群に関しては、焦点距離により変化しうる。また、要求される位置決め精度は、開口絞りに関しては、その駆動量と映像の輝度の変化量との間の関係により変化しうる。
<第2情報の他の例>
レンズ装置に関する第2情報として、フォーカス敏感度や焦点深度の情報を例示したが、それには限定されず、レンズ装置の姿勢や、温度、周囲音量のうちの少なくとも1つの情報を含むものとしてもよい。レンズ装置の姿勢は、光学部材への重力の影響を変化させることにより、駆動部の負荷(トルク)を変化させうる。レンズ装置の温度は、駆動系における潤滑油の性能を変化させることにより、駆動部の負荷(トルク)を変化させうる。レンズ装置の周囲の音量は、駆動部による駆動音の制約への影響を変化させることにより、駆動部の速度や加速度の制限を変化させうる。
以上に説明したように、本実施形態によれば、例えば、駆動性能の適応(カスタマイズ)の点で有利なレンズ装置または撮像装置を提供することができる。
〔実施形態2〕
《レンズ装置が学習部(生成部)を含む構成例》
実施形態2について、図11ないし図15面を参照して説明する。ここで、図11は、実施形態2に係るレンズ装置の構成例を示す図であり、それにとどまらず、カメラ本体の構成例も含むシステム(撮像装置)の構成例を示す図でもある。当該システムは、レンズ装置100が学習部を含む点で実施形態1とは異なっている。また、レンズ装置100に関する第2情報が、カメラ本体での録画に関する情報を含む点も実施形態1とは異なっている。
学習部1220は、プロセッサ(CPUやGPU等)と記憶装置(ROMや、RAM、HDD等)とを含んで構成されうる。学習部1220は、機械学習部1221、ログ保持部1222、報酬保持部1223、第1報酬部分保持部1224、第2報酬部分保持部1225を含むものとしうる。学習部1220は、これら各部の動作を制御するためのプログラムも記憶している。
駆動制御部1125は、実施形態1における駆動制御部125の機能に加え、学習部1220との間で情報の授受を行う機能を有する。AI制御部1121は、学習部1220により生成された機械学習モデルに基づいて、フォーカスレンズ群101の駆動(駆動部105)を制御する。決定部1122は、AI制御部1121で使用するレンズ装置に関する情報(第2情報)を決定する決定部である。ここでの第2情報については後述する。操作部1206は、操作者がレンズ装置100(撮像装置)を操作するための操作部である。
<第2情報>
ここで、第2情報は、フォーカスレンズ群の駆動の制御がカメラ本体での録画に与える影響に関する情報を含む。本実施形態では、そのような第2情報に、実施形態1における第2情報に加えて又は替えて、基づくことにより、フォーカスレンズ群の駆動の制御を、当該制御が録画に与える影響を考慮して行うことができる。第2情報は、信号処理回路203で得られた画像データを制御部211で解析することにより得られる情報を含みうるものであり、制御部211から、通信部212、通信部126、駆動制御部1125を介して決定部1122に送られた情報に基づいて決定されうる。第2情報は、例えば、許容錯乱円径や、カメラ本体での撮像により得られた被写体のデフォーカス量、カメラ本体に含まれるマイクロフォン等により得られた音量(録音された周囲音の音量)等のうち少なくとも1つに関する情報としうる。決定部1122は、F値と許容錯乱円径との情報から焦点深度の情報を得ることができる。
<機械学習モデル>
ここで、AI制御部1121における機械学習モデルについて説明する。ここで、図12は、ニューラルネットワークの入出力を例示する図である。同図に示す実施形態2に係るニューラルネットワークにおいて、X21は、駆動制御部1125から出力された駆動指令の情報である。X22は、検出部106から得られたフォーカスレンズ群101の位置の情報である。X23は、第2情報として上述のように得られた焦点深度の情報である。X24は、第2情報としてのフォーカス敏感度の情報である。X25は、第2情報として上述のように得られた被写体のデフォーカス量に関する情報である。X26は、第2情報として上述のように得られた音量の情報である。Y21は、駆動部105に対する制御信号に関する出力の情報である。このように、入力としてのX21ないしX26に基づいて、学習済みの機械学習モデルの出力としてのY21が生成される。AI制御部121は、当該Y21を制御信号として、またはY21に基づく制御信号を生成して、当該制御信号により駆動部105の制御を行う。
<ログ情報>
ここで、実施形態2におけるログ情報について説明する。ログ保持部1124は、図12に示したX21ないしX26およびY21のような機械学習モデルの入出力情報を機械学習モデルの動作周期ごとに収集して保持している。ログ保持部1124は、処理部120により得られた駆動部105の消費電力に関する情報をログ情報として保持している。ログ保持部1124は、AI制御部1121に入力された駆動指令や検出部106によって検出されたフォーカスレンズ群の位置に関する情報をログ情報として保持している。ログ保持部1124は、処理部120により得られたフォーカスレンズ群の目標位置や位置決め精度に関する情報をログ情報として保持している。ログ保持部1124は、フォーカスレンズ群の位置に関する情報から得られたフォーカスレンズ群の駆動速度や駆動加速度に関する情報をログ情報として保持している。ログ保持部1124は、駆動速度および駆動加速度の少なくとも一方と駆動音量との間の関係を示す情報を保持し、当該少なくとも一方の情報と当該関係の情報とに基づいて生成した駆動音量の情報を保持している。また、ログ保持部1124は、録音音量と駆動音量との比(駆動音を雑音とするS/N比)を得て、当該比の情報を保持している。なお、当該S/N比は、雑音となる駆動音が録音に与える影響を示し、当該S/N比が大きいほど駆動音が録音に与える影響が小さいことを示す。ログ保持部1124は、保持しているログ情報を、駆動制御部1125を介して、ログ保持部1222に保持させる。
<報酬情報および駆動性能の評価>
図13を参照して実施形態2に係る報酬情報について説明する。図13は、報酬情報を例示する図である。同図の(a1)、(b1)は、それぞれ駆動性能としてのデフォーカス量、上述のS/N比に関して、機械学習モデルを学習している場合における、時間(時刻)と報酬との関係を示している。(a1)、(b1)におけるグラフの横軸は、時間(時刻)を示す。同図において、(a2)、(b2)は、それぞれデフォーカス量、S/N比に関して、報酬情報のデータ構造を示している。当該データ構造は、実施形態1におけるものと同様に、駆動性能ごとに、境界値のデータと、境界値で定義される範囲ごとの報酬のデータとを含んで構成されるものとなっている。
(a1)の縦軸は、デフォーカス量Dの値を示している。デフォーカス量Dは、ピントが無限遠側にズレている場合に正の値とし、ピントが至近側にズレている場合に負の値としている。(a2)は、デフォーカス量に関する報酬RDを示している。報酬情報RDは、デフォーカス量の境界値D1、境界値D2と、各範囲において獲得できる報酬SD1、報酬SD2、報酬SD3とを含んで構成されている。ここで、デフォーカス量がD1×−1ないしD1の範囲を範囲AD1とする。また、D2×−1ないしD2の範囲から範囲AD1を除いて得られる範囲を範囲AD2とする。また、全範囲から範囲AD1と範囲AD2とを除いて得られる範囲を範囲AD3とする。範囲AD1、範囲AD2、範囲AD3に対して、(a2)が示すように、それぞれ報酬SD1、報酬SD2、報酬SD3が設定されている。ここで、報酬の大小関係は、報酬SD1>報酬SD2>報酬SD3となり、デフォーカス量Dが0に近いほど高い報酬が設定されている。(a1)が示すように、時刻Tp1、時刻Tp2、時刻Tp3におけるデフォーカス量Dは、それぞれ範囲AD2、範囲AD3、範囲AD1に属している。よって、時刻Tp1、時刻Tp2、時刻Tp3において獲得できる報酬は、それぞれ報酬SD2、報酬SD3、報酬SD1となる。ここで、例えば、境界値D1は、Fδ/2なる値、境界値E2は、Fδなる値としうる。つまり、デフォーカス量が焦点深度の半分以下の値(|D|≦Fδ/2)を有しているのであれば、最も高い報酬が得られる。それに対して、デフォーカス量が焦点深度の半分を超えて焦点深度までの値(Fδ/2<|D|≦Fδ)を有しているのであれば、中間の報酬が得られる。また、デフォーカス量が焦点深度を超える値(|D|>Fδ)を有しているのであれば、最も低い報酬が得られる。
(b1)の縦軸は、S/N比Nの値を示している。S/N比Nが大きい程、駆動音が録音の品質に与える影響が小さいことを示す。(b2)は、S/N比に関する報酬RNを示している。報酬情報RNは、S/N比の境界値N1、境界値N2と、各範囲において獲得できる報酬SN1、報酬SN2、報酬SN3とを含んで構成されている。ここで、S/N比が0ないしN1の範囲を範囲AN1とする。また、N1ないしN2の範囲を範囲AN2とする。また、全範囲から範囲AN1と範囲AN2とを除いて得られる範囲を範囲AN3とする。範囲AN1、範囲AN2、範囲AN3に対して、(a2)が示すように、それぞれ報酬SN1、報酬SN2、報酬SN3が設定されている。ここで、報酬の大小関係は、報酬SN1<報酬SN2<報酬SN3となり、S/N比Nが0に近いほど低い報酬が設定されている。(b1)が示すように、時刻Tp1、時刻Tp2、時刻Tp3におけるS/N比Nは、それぞれ範囲AN1、範囲AN3、範囲AN2に属している。よって、時刻Tp1、時刻Tp2、時刻Tp3において獲得できる報酬は、それぞれ報酬SN1、報酬SN3、報酬SN2となる。ここで、S/N比が大きくなるほど獲得できる報酬が多くなるように報酬が設定されているため、録音品質の点で有利な機械学習モデルを生成することができることになる。
以上のように、駆動性能としてのデフォーカス量、駆動音に係るS/N比に関して評価を行うための報酬情報が設定されうる。このような報酬情報を用いることにより、フォーカスレンズ群を駆動した場合のログ情報に基づいて、各駆動性能に関して単位時間ごとに報酬を生成し、当該報酬を累計することにより、機械学習モデルを評価することができる。なお、複数の駆動性能に関する報酬に基づくことにより、機械学習モデルのカスタマイズに有利となる。また、境界値は、不変とするのに限らず、必要に応じて可変としてもよい。また、報酬は、境界値に基づいて特定するのには限られず、各駆動性能に関する関数に基づいて特定してもよい。この場合、報酬情報は、当該関数に関する情報を含んで構成すればよい。
<第1報酬部分および第2報酬部分>
次に、本実施形態における第1報酬部分の情報および第2報酬部分の情報について説明する。ここで、図14は、報酬情報のデータ構造を例示する図である。第1報酬部分の情報は、デフォーカス量に関する報酬RDb、S/N比に関する報酬RNbの情報を含んで構成されている。また、第2報酬部分の情報は、デフォーカス量に関する報酬RDu、S/N比に関する報酬RNuの情報を含んで構成されている。RDbおよびRDuは、図13の(a2)に示したデフォーカス量に関する報酬RDとは同じデータ構造を有している。RNbおよびRNuは、図13の(b2)に示したS/N比に関する報酬RNとは同じデータ構造を有している。
ここで、第1報酬部分の情報は、レンズ装置100に固有の報酬に関する情報である。第1報酬部分の情報は、レンズ装置100に固有の報酬情報として第1報酬部分保持部1224に予め保持されている。第2報酬部分の情報は、レンズ装置100の操作者の要求に基づいて可変の報酬に関する情報である。第2報酬部分の情報は、操作者の要求に基づいて第2報酬部分保持部1225に保持される。報酬保持部1223は、第1報酬部分の情報および第2報酬部分の情報を保持している。
第1報酬部分の情報は、レンズ装置100において許容可能な駆動性能を得るための報酬情報であるため、第2報酬部分の情報よりも、負の値を含む広範囲の報酬が設定されている。第2報酬部分の情報は、操作者の要求により可変であり、当該要求の情報と、第2報酬部分の選択肢の情報とに基づいて取得しうる。報酬情報は、第1報酬部分の情報と第2報酬部分の情報とから得られる。そして、当該報酬情報に基づいて、図13を参照して例示したように、機械学習モデルの評価値を得ることにより、機械学習モデルの学習(生成)がなされる。
ここで、ユーザの要求により、第2報酬部分の情報を得る方法について説明する。図15は、第2報酬部分の選択肢に関する情報のデータ構造を例示する図である。同図の(a)は、デフォーカス量に関する第2報酬部分の選択肢URDuに関する情報のデータ構造を示している。当該選択肢URDuに関する情報は、各レベルに関して、デフォーカス量の境界値、当該境界値で定義される範囲ごとの報酬情報を含んで構成されている。同図の(b)は、静音性(S/N比)に関する第2報酬部分の選択肢URNuに関する情報のデータ構造を示している。URNuの情報は、各レベルに関して、S/N比の境界値、当該境界値で定義される範囲ごとの報酬情報を含んで構成されている。
デフォーカス量に関する第2報酬部分の選択肢URDu、静音性(S/N比)に関する第2報酬部分の選択肢URNuの各情報は、レベル1、レベル2、レベル3の順(昇順)に、操作者の要求レベルが低くなるように、境界値や報酬の値が設定されている。より具体的には、例えば、レベル1は、他のレベルに比べ、境界値が駆動性能の目標値に近い値となり、報酬が高い値となっている。
なお、操作者の要求は、図11に示した操作部1206を介して入力しうる。当該要求に基づいて、各駆動性能に関して、レベル1ないしレベル3からレベルを選択しうる。当該レベルに関する情報は、駆動制御部1125を介して、第2報酬部分保持部1225に伝達される。第2報酬部分保持部1225は、各駆動性能のレベルに関する情報に基づいて、各駆動性能に関して第2報酬部分の情報を特定(選択)する。そうすることにより、カスタマイズされた報酬の情報に基づいて、機械学習モデル(重み)の学習が実施され、カスタマイズされた機械学習モデル(重み)を生成することができる。生成された機械学習モデル(重み)の情報は、機械学習部1221から送信され、記憶部123に記憶され、フォーカスレンズ群の駆動(駆動部105)の制御に使用される。
<制御対象の他の例>
駆動制御の対象は、フォーカスレンズ群を例示したが、本実施形態は、それには限定されない。本実施形態は、ズームレンズ群、像振れ補正レンズ群、フランジバック調整レンズ群、開口絞り等の他の光学部材を駆動制御の対象としうる。デフォーカス量や静音性(S/N比)は、それらの光学部材を駆動する場合にも考慮されうる駆動性能である。なお、これらの他の光学部材を駆動制御の対象とする場合は、デフォーカス量に加えて又は替えて、他の駆動性能の情報を第2情報として考慮してもよい。
以上に説明したように、本実施形態によれば、例えば、駆動性能の適応(カスタマイズ)の点で有利なレンズ装置または撮像装置を提供することができる。
〔実施形態3〕
《遠隔装置(処理装置)が学習部(生成部)を含む構成例》
実施形態3について図16を参照して説明する。図16は、実施形態3に係るレンズ装置の構成例を示す図であり、それにとどまらず、カメラ本体の構成例も含むシステム(撮像装置)の構成例を示す図でもある。当該システムは、遠隔装置400を含み、当該遠隔装置400が学習部を含む点で実施形態1とは異なっている。ここで、カメラ本体200は、遠隔装置400と通信するための通信部230を有する。遠隔装置400は、例えば、携帯端末やコンピュータ端末等の処理装置としうる。遠隔装置400は、表示部401、操作部402、処理部410、学習部420を有する。処理部410は、制御部411、通信部412を含む。通信部412は、カメラ本体200と通信するためのものである。なお、通信部412とカメラ本体200の通信部230とは、それには限定されないが、無線で通信を行うものとしている。当該無線通信は、無線LAN等による公知の無線通信としうる。
学習部420は、プロセッサ(CPUやGPU等)と記憶装置(ROMや、RAM、HDD等)とを含んで構成されうる。学習部420は、機械学習部421、ログ保持部422、報酬保持部423、第1報酬部分保持部424、第2報酬部分保持部425を含むものとしうる。学習部420は、これら各部の動作を制御するためのプログラムも記憶している。学習部420の動作は、実施形態1における学習部220の動作と同様としうる。
本実施形態においては、実施形態1とは異なり、学習部がカメラ本体200ではなく遠隔装置400に含まれているため、カメラ本体の処理部210と学習部420との間の情報伝達は、通信部230、通信部412、制御部411を介して行われる。また、信号処理回路203から出力される画像データは、制御部211、通信部230、通信部412を介して、制御部411に送信される。制御部411に送信された画像データは、表示部401により表示される。
ここで、制御部411は、操作部402に対する操作者の操作により、機械学習の実施に係る指令を機械学習部421に送信しうる。また、制御部211は、操作部206に対する操作者の操作により、機械学習の実施に係る指令を、制御部411を介して機械学習部421に送信しうる。機械学習部421は、当該指令を受けると、機械学習を開始する。同様に、操作部402または操作部206によりユーザが入力した駆動性能ごとの第2報酬部分のレベルに関する情報は、制御部411を介して第2報酬部分保持部425に伝達される。第2報酬部分保持部425は、各駆動性能のレベルに関する情報に基づいて、各駆動性能に関して第2報酬部分の情報を特定(選択)する。そうすることにより、カスタマイズされた報酬の情報に基づいて、機械学習モデル(重み)の学習が実施され、カスタマイズされた機械学習モデル(重み)を生成することができる。生成された機械学習モデル(重み)の情報は、遠隔装置400からレンズ装置100に送信され、記憶部123に記憶され、フォーカスレンズ群の駆動(駆動部105)の制御に使用される。
以上のようにして、レンズ装置から離れた遠隔地において、カメラ本体により得られた画像が確認(視聴)されうる状態で、カスタマイズされた機械学習モデルを生成することができる。なお、カメラ本体は、操作部206を介して、機械学習を実行させるための指令や、第2報酬部分の設定のための指令を行い、遠隔装置は、高速演算処理を要する機械学習の処理のみを行うようにしてもよい。
以上に説明したように、本実施形態によれば、例えば、駆動性能の適応(カスタマイズ)の点で有利なレンズ装置、撮像装置、または処理装置を提供することができる。
ここで、機械学習モデルの学習に用いる、レンズ装置に関する第2情報は、実施形態1、3においては、レンズ装置固有の情報のみとし、実施形態2においては、レンズ装置固有の情報とカメラ本体固有の情報との両方としたが、それには限定されない。当該第2情報は、カメラ本体固有の情報のみとしてもよい。
〔プログラム・記憶媒体・データ構造に係る実施形態〕
本発明は、上述の実施形態の1以上の機能または方法を実現するプログラムまたはデータ(構造)を、ネットワークまたは記憶媒体を介してシステムまたは装置に供給することによっても実現しうる。その場合、当該システムまたは装置のコンピュータは、当該プログラムまたはデータ(構造)を読出し、それに基づく処理を実行すればよい。コンピュータは、1または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーもしくは回路のネットワークを含みうる。
プロセッサーまたは回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)またはニューラルプロセッシングユニット(NPU)を含みうる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
100 レンズ装置
101 光学部材
105 駆動部
106 検出部
120 処理部

Claims (20)

  1. 光学部材と、前記光学部材の駆動を行う駆動部と、前記駆動に関する状態を検出する検出部と、前記検出部により検出された前記状態に関する第1情報に基づいて前記駆動部に対する制御信号を生成する処理部とを有するレンズ装置であって、
    前記処理部は、前記第1情報と、前記第1情報とは異なる前記レンズ装置に関する第2情報とに基づいて、前記制御信号に関する出力を生成する機械学習モデルを含み、前記機械学習モデルの生成を行う生成部に前記第1情報と前記第2情報とを出力する、
    ことを特徴とするレンズ装置。
  2. 前記生成部と、前記駆動部の駆動性能に対する要求に関する情報を操作者が入力するための操作部とを有し、
    前記生成部は、前記要求に関する情報に基づいて、前記機械学習モデルを生成するための報酬の情報を得る、
    ことを特徴とする請求項1に記載のレンズ装置。
  3. 前記操作部から入力される前記要求に関する情報は、前記駆動性能としての複数の性能のそれぞれに関することを特徴とする請求項2に記載のレンズ装置。
  4. 前記生成部は、予め用意された第1の報酬の情報を有し、前記第1の報酬の情報と、前記要求に関する情報に基づいて得られた、前記第1の報酬の情報とは異なる第2の報酬の情報とに基づいて、前記機械学習モデルの生成を行うことを特徴とする請求項2または請求項3に記載のレンズ装置。
  5. 前記第2情報は、前記駆動部の駆動性能に関する前記レンズ装置の状態に関する情報であり、
    前記生成部は、前記第2情報に基づいて、前記報酬の情報を得る、
    ことを特徴とする請求項2ないし請求項4のうちいずれか1項に記載のレンズ装置。
  6. 前記光学部材は、物体距離を変更するためのレンズ群であり、
    前記第2情報は、前記レンズ装置の焦点深度、前記レンズ群の単位移動量あたりの前記レンズ装置のピントの移動量、前記レンズ装置の周囲の音のうち少なくとも1つに関する情報を含むことを特徴とする請求項5に記載のレンズ装置。
  7. 前記生成部は、前記レンズ装置が装着されている撮像装置本体からの情報に基づいて、前記報酬の情報を得ることを特徴とする請求項2ないし請求項6のうちいずれか1項に記載のレンズ装置。
  8. 前記撮像装置本体からの情報は、許容錯乱円の径、デフォーカス量、音量のうち少なくとも1つに関する情報を含むことを特徴とする請求項7に記載のレンズ装置。
  9. 前記処理部は、前記撮像装置本体からの情報に基づいて、前記制御信号を生成することを特徴とする請求項7または請求項8に記載のレンズ装置。
  10. 前記生成部は、前記報酬の情報に基づいて、前記機械学習モデルの評価を行い、前記評価に基づいて、前記生成の終了を判断することを特徴とする請求項2ないし請求項9のうちいずれか1項に記載のレンズ装置。
  11. 前記生成部は、前記評価が許容条件を満たした前記機械学習モデルを採用することを特徴とする請求項10に記載のレンズ装置。
  12. 前記生成部は、終了条件を満たし且つ前記評価が許容条件を満たしていない前記機械学習モデルを不採用とすることを特徴とする請求項10に記載のレンズ装置。
  13. 請求項1ないし請求項12のうちいずれか1項に記載のレンズ装置と、
    前記レンズ装置により形成された像を撮る撮像素子と、
    を有することを特徴とする撮像装置。
  14. レンズ装置における機械学習モデルに関する処理を行う処理装置であって、
    前記レンズ装置は、
    光学部材と、前記光学部材の駆動を行う駆動部と、前記駆動に関する状態を検出する検出部と、前記検出部により検出された前記状態に関する第1情報に基づいて前記駆動部に対する制御信号を生成する処理部とを有し、前記処理部は、前記第1情報と、前記第1情報とは異なる前記レンズ装置に関する第2情報とに基づいて、前記制御信号に関する出力を生成する機械学習モデルを含み、前記機械学習モデルを生成する生成部に前記第1情報と前記第2情報とを出力し、
    前記処理装置は、
    前記駆動部の駆動性能に対する要求に関する情報を操作者が入力するための操作部を有し、
    前記要求に関する情報に基づいて、前記機械学習モデルを生成するための報酬の情報を得る、
    ことを特徴とする処理装置。
  15. 前記生成部を有することを特徴とする請求項14に記載の処理装置。
  16. 前記生成部は、予め用意された第1の報酬の情報を有し、前記第1の報酬の情報と、前記要求に関する情報に基づいて得られた、前記第1の報酬の情報とは異なる第2の報酬の情報とに基づいて、前記機械学習モデルの生成を行うことを特徴とする請求項15に記載の処理装置。
  17. 前記第2情報は、前記駆動部の駆動性能に関する前記レンズ装置の状態に関する情報を含み、
    前記生成部は、前記第2情報に基づいて、前記報酬の情報を得る、
    ことを特徴とする請求項15または請求項16に記載の処理装置。
  18. レンズ装置における機械学習モデルに関する処理を行う処理方法であって、
    前記レンズ装置は、
    光学部材と、前記光学部材の駆動を行う駆動部と、前記駆動に関する状態を検出する検出部と、前記検出部により検出された前記状態に関する第1情報に基づいて前記駆動部に対する制御信号を生成する処理部とを有し、前記処理部は、前記第1情報と、前記第1情報とは異なる前記レンズ装置に関する第2情報とに基づいて、前記制御信号に関する出力を生成する機械学習モデルを含み、前記機械学習モデルを生成する生成部に前記第1情報と前記第2情報とを出力し、
    前記処理方法は、
    操作者が操作する操作部から入力された、前記駆動部の駆動性能に対する要求に関する情報に基づいて、前記機械学習モデルを生成するための報酬の情報を得る、
    ことを特徴とする処理方法。
  19. 前記報酬の情報に基づいて、前記機械学習モデルを前記生成部に生成させることを特徴とする請求項18に記載の処理方法。
  20. 請求項18または請求項19に記載の処理方法をコンピュータに実行させることを特徴とするプログラム。
JP2020033351A 2020-02-28 2020-02-28 レンズ装置、撮像装置、処理装置、処理方法、およびプログラム Pending JP2021136648A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020033351A JP2021136648A (ja) 2020-02-28 2020-02-28 レンズ装置、撮像装置、処理装置、処理方法、およびプログラム
US17/181,589 US11659274B2 (en) 2020-02-28 2021-02-22 Lens apparatus, image pickup apparatus, processing apparatus, processing method, and computer-readable storage medium
CN202110219215.2A CN113329144A (zh) 2020-02-28 2021-02-26 镜头装置、摄像装置、处理装置、处理方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020033351A JP2021136648A (ja) 2020-02-28 2020-02-28 レンズ装置、撮像装置、処理装置、処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2021136648A true JP2021136648A (ja) 2021-09-13

Family

ID=77414505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020033351A Pending JP2021136648A (ja) 2020-02-28 2020-02-28 レンズ装置、撮像装置、処理装置、処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11659274B2 (ja)
JP (1) JP2021136648A (ja)
CN (1) CN113329144A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4756932B2 (ja) 2005-06-27 2011-08-24 キヤノン株式会社 撮像装置及び交換レンズ
US10771757B2 (en) * 2012-12-10 2020-09-08 Mediatek Inc. Method and appartus for stereoscopic focus control of stereo camera
CN113330447A (zh) * 2019-01-15 2021-08-31 谷歌有限责任公司 确定摄影函数的感兴趣区域

Also Published As

Publication number Publication date
US11659274B2 (en) 2023-05-23
CN113329144A (zh) 2021-08-31
US20210274087A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
JP5948645B2 (ja) レンズ制御装置およびレンズ制御装置を備えた交換レンズ
CN107024755B (zh) 可交换透镜和它的驱动方法,以及电子装置
US11762165B2 (en) Lens apparatus, image pickup apparatus, control method, and computer-readable storage medium
JP5868109B2 (ja) 光学機器、レンズ鏡筒および自動焦点調節方法
US11843851B2 (en) Optical apparatus and generating method
JP2008129455A (ja) 撮像装置、制御方法、およびプログラム
JP2021136648A (ja) レンズ装置、撮像装置、処理装置、処理方法、およびプログラム
US11849218B2 (en) Lens apparatus, image pickup apparatus, camera apparatus, controlling method, and computer-readable storage medium
JP2021067710A (ja) レンズ制御装置、光学機器およびレンズ制御方法
JP2003101853A (ja) デジタルカメラ
WO2012029098A1 (ja) レンズ制御装置、カメラシステム
JP2021047296A (ja) レンズ装置、撮像装置、レンズ装置の制御方法、およびプログラム
JP2022151256A (ja) 制御装置、撮像装置、レンズ装置、制御方法、およびプログラム
JP2022151257A (ja) 制御装置、撮像装置、レンズ装置、制御方法、およびプログラム
JP2021173820A (ja) 処理装置、光学装置、撮像装置、処理方法およびプログラム
JP2021067802A (ja) 制御装置、レンズ装置、撮像装置、制御方法、プログラム
WO2023058347A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2013122565A (ja) レンズ装置および撮像装置
JP2006084640A (ja) ズームレンズの駆動制御装置
JP2023129144A (ja) 制御装置、レンズ装置、撮像装置、制御方法、及びプログラム
JP2022191895A (ja) 操作装置および光学装置
JP2016114841A (ja) 制御装置、光学機器、撮像装置、制御方法、プログラム、および、記憶媒体
JP2017116655A (ja) 交換レンズおよびカメラボディ
JP2013125159A (ja) レンズ装置および撮像装置
JP2022067565A (ja) フォーカス制御装置、光学装置、撮像装置およびフォーカス制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230209

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240515