JP2021125873A - 表示制御装置及びその制御方法 - Google Patents

表示制御装置及びその制御方法 Download PDF

Info

Publication number
JP2021125873A
JP2021125873A JP2020189786A JP2020189786A JP2021125873A JP 2021125873 A JP2021125873 A JP 2021125873A JP 2020189786 A JP2020189786 A JP 2020189786A JP 2020189786 A JP2020189786 A JP 2020189786A JP 2021125873 A JP2021125873 A JP 2021125873A
Authority
JP
Japan
Prior art keywords
value
blur
amount
control device
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020189786A
Other languages
English (en)
Other versions
JP2021125873A5 (ja
Inventor
敬司 関
Takashi Seki
敬司 関
泰輝 眞下
Taiki Mashimo
泰輝 眞下
尊志 小林
Takashi Kobayashi
尊志 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US17/167,867 priority Critical patent/US11368626B2/en
Publication of JP2021125873A publication Critical patent/JP2021125873A/ja
Publication of JP2021125873A5 publication Critical patent/JP2021125873A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Blocking Light For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザが撮像画像のボケ味を記録前に容易に把握可能な表示制御装置を提供すること。【解決手段】表示制御装置は、F値とT値のいずれか一方の設定値を示す第1のアイテムと共に、現在の設定値に対応する、F値とT値の乖離量に関する情報を示す第2のアイテムを表示するように制御する。【選択図】図6

Description

本発明は、表示制御装置およびその制御方法に関し、特には撮影に関する情報を表示する技術に関する。
撮影レンズの明るさの指標としてF値とT値が知られている。F値は光路中に存在する光学部材の光透過率を100%と仮定した際の値である。一方、T値は光路中に存在する光学部材の実際の光透過率を反映した値である。テレビや映画の撮影など、厳密な露出制御が必要な環境では、F値だけでなく、T値が重要になる。
特許文献1では、レンズ装置に接続されるレンズ情報表示装置に、レンズ装置の情報として、F値とT値と並べて表示することが開示されている。
特開2003−101835号公報
撮影レンズにおいて、T値とF値との差は、ピントの合っていない部分の像(ボケ像)のボケ方(以下、ボケ味という)に影響する。しかし、特許文献1のように、T値とF値をそのまま表示した場合、撮像画像のボケ味の具合を容易に把握することが困難である。
そこで、本発明の目的は、ユーザが撮像画像のボケ味を記録前に容易に把握可能な表示制御装置およびその制御方法を提供することである。
上述の目的は、F値とT値のいずれか一方の設定値を少なくとも設定可能な設定手段と、F値とT値の乖離量に関する情報を取得可能な取得手段と、設定手段の設定した設定値を示す第1のアイテムと共に、取得手段の取得した、現在の設定値に対応する情報を示す第2のアイテムと表示するように制御する制御手段とを有することを特徴とする表示制御装置によって達成される。
本発明によれば、ユーザが撮像画像のボケ味を記録前に容易に把握可能な表示制御装置およびその制御方法を提供することができる。
実施形態に係る表示制御装置の一例としてのデジタルカメラの機能構成例を示すブロック図 図1のデジタルカメラの外観例を示す斜視図 実施形態に係るレンズユニットの機能構成例を示すブロック図 図3のAPDの透過率特性の例および、F値とT値との関係例を示す図 APDの効果を模式的に示した図 第1実施形態におけるライブビュー画面の例を示す図 第1実施形態におけるボケ指標の取得動作に関するフローチャート 第2実施形態で用いる係るボケ指標と表示例を示す図 第3実施形態におけるボケ指標アイテムの表示制御を模式的に示した図 第2実施形態におけるボケ指標アイテムの表示制御に関するフローチャート 第3実施形態におけるレンズユニット判別動作に関するフローチャート 第6実施形態におけるボケ指標アイテムの表示例を示す図 第6実施形態におけるボケ指標アイテムの生成動作に関するフローチャート 第7実施形態におけるボケ効果生成動作に関するフローチャート 第7実施形態におけるボケ効果画像生成の模式図 第7実施形態におけるボケ効果のユーザへの提示方法の例を示す図 第7実施形態におけるボケ効果のユーザへの提示方法の例を示す図
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
なお、以下の実施形態では、本発明をレンズ交換式のデジタルカメラで実施する場合に関して説明する。しかし、本発明は撮影レンズの情報を取得可能な任意の電子機器で実施可能である。このような電子機器には、撮像装置を備えた電子機器や、撮像装置と通信可能な外部装置としての電子機器などが含まれる。より具体的には、デジタルビデオカメラ、コンピュータ機器(パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、PDAなど)、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローンなどにおいて本発明を実施できる。なお、これらは本発明を実施可能な電子機器の例示であり、他の電子機器での実施を妨げるものではない。
●(第1実施形態)
<デジタルカメラの構成>
図1は、本実施形態に係る表示制御装置の一例としてのデジタルカメラ100(カメラ本体)の機能構成例を示すブロック図である。シャッター101はフォーカルプレーンシャッターである。撮像部22は、複数の画素が2次元配置され、光学像をアナログ電気信号群に変換する撮像素子であり、CCDまたはCMOSイメージセンサであってよい。
A/D変換器23は、撮像部22から出力されるアナログ電気信号群をデジタル信号群(画像データ)に変換する。A/D変換器23は撮像部22が有してもよい。
画像処理部24は、A/D変換器23もしくはメモリ制御部15からから供給される画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および/または生成したりする。画像処理回路824は例えば特定の機能を実現するように設計されたASICのような専用のハードウェア回路であってもよいし、DSPのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。
ここで、画像処理部24が適用する画像処理には、前処理、色補間処理、補正処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理や同時化処理とも呼ばれる。補正処理には、ホワイトバランス調整、階調補正(ガンマ処理)、撮影光学系の光学収差や周辺減光の影響を補正する処理、色を補正する処理などが含まれる。データ加工処理には、合成処理、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は、自動焦点検出(AF)に用いる信号や評価値の生成、自動露出制御(AE)に用いる評価値の算出処理などである。特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理などが含まれる。なお、これらは画像処理部24が適用可能な画像処理の例示であり、画像処理部24が適用する画像処理を限定するものではない。
A/D変換器23や画像処理部24が出力する画像データは、メモリ制御部15を介してメモリ32に格納される。メモリ32は、画像処理部24が処理中のデータを一時的に格納するバッファメモリとして用いられる。メモリ32の一部は表示部28のビデオメモリ(VRAM)として用いられる。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納する容量を有する。
OSD描画部25は、システム制御部50の制御にしたがって、不揮発性メモリ56に格納されたフォントデータやアイコンデータなどを用いてオンスクリーン表示用の画像データを生成し、メモリ32内のVRAM領域に格納する。OSD描画部25が生成する画像データは、メニュー画面などのGUI画面、デジタルカメラ100の状態や設定値などを示す画像、ユーザ操作のガイダンス画面などであってよい。
表示制御部13は、メモリ32のVRAM領域に格納されている表示用画像データに基づいて映像信号を生成し、表示部28に供給する。表示部28は、液晶ディスプレイ(LCD)、有機ELディスプレイ(OLED)などの表示デバイスに、表示制御部13からの映像信号に応じた表示を行う。表示部28はタッチディスプレイであってもよい。なお、表示部28はデジタルカメラ100と通信可能に接続された外部装置であってもよい。
動画撮影を行い、各フレームについて画像処理部24および表示制御部13の処理を順次行うことにより、表示部28は電子ビューファインダ(EVF)として機能する。表示部28をEVFとして機能させるために表示する画像をライブビュー画像もしくはスルー画像と呼ぶ。
システム制御部50は例えばCPU(MPU、マイクロプロセッサとも呼ばれる)である。システム制御部50は、不揮発性メモリ56に記憶されたプログラムをシステムメモリ52に展開して実行することにより、デジタルカメラ100の各部の動作を制御し、デジタルカメラ100の機能を実現する。なお、システム制御部50は、レンズ通信部92を通じてレンズユニット300が有するレンズ制御部301と通信し、レンズユニット300の動作も制御する。
不揮発性メモリ56は電気的に書き換え可能なROM(EEPROM)であり、システム制御部50が実行するプログラム、デジタルカメラ100の各種の設定値、GUIデータなどを記憶する。システムメモリ52は、システム制御部50が実行するプログラムを展開したり、プログラムの実行に必要な情報を記憶したりするために用いるメモリ(RAM)である。なお、メモリ32とシステムメモリ52とは同じメモリ空間内の別領域であってもよい。
システムタイマー53は各種制御に用いるタイミング信号の生成や、内蔵時計を用いた時間計測を行う。
モード切替スイッチ60、第1シャッタースイッチ(SW1)61、第2シャッタースイッチ(SW2)62、操作部70、電源スイッチ72は、ユーザがデジタルカメラ100に指示を入力するための入力デバイスである。第1シャッタースイッチ(SW1)61はレリーズボタンの半押しで、第2シャッタースイッチ(SW2)62はレリーズボタンの全押しで、それぞれONするスイッチである。システム制御部50は、第1シャッタースイッチ(SW1)61のONを静止画の撮影準備指示、第2シャッタースイッチ(SW2)62のONを静止画の撮影開始指示と認識する。
第1シャッタースイッチ(SW1)61がONになると、システム制御部50は撮影準備動作として、AF処理、AE処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等を行い、撮影開始指示を待機する。
第2シャッタースイッチ(SW2)62がONになると、システム制御部50はAE処理で決定した露出条件に従ってシャッター101を駆動し、撮像部22を露光する。その後、システム制御部50は、撮像部22からアナログ信号群を読み出し、画像処理部24に記録用の静止画データファイルを生成させ、記録媒体200に記録するまでの一連の撮影処理の動作を開始する。
操作部70には複数の入力デバイスが含まれ、そのそれぞれは、割り当てられた機能に応じた名称を有する。例えば、操作部70には、メニューボタン、方向キー、決定キーなどが含まれる。同一の入力デバイスに複数の機能が割り当てられてもよい。また、入力デバイスはタッチパネルを用いたソフトウェアボタン/キーであってもよい。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面を方向キーや決定キーを用いて操作することにより、各種の設定や指示をデジタルカメラ100に入力することができる。なお、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスが操作部70に含まれてもよい。
モード切替スイッチ60は、デジタルカメラ100の動作モードを切り替えるためのダイヤルスイッチである。動作モードに特に制限はないが、例えば静止画記録モード、動画記録モード、再生モードに大別でき、各モードが複数のモードを有することができる。
電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える。本実施形態では、電源スイッチ72により電源ONされると、デジタルカメラ100は静止画撮影のスタンバイ状態になるものとする。この状態でシステム制御部50は、表示部28をEVFとして機能させるための制御動作を継続的に実行する。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部30は、一次電池、二次電池、ACアダプタなどである。記録媒体I/F18は、記録媒体200との通信インターフェースである。記録媒体200はメモリカードやハードディスク等であってよい。
レンズ接続部91は、レンズユニットの着脱機構であり、レンズマウントとも呼ばれる。レンズ接続部91に機械的に接続されたレンズユニットは、レンズ接続部91に設けられた接点を通じてデジタルカメラ100と電気的に接続され、デジタルカメラ100から電力の供給を受けたり、デジタルカメラ100と通信したりする。レンズ通信部92は、レンズユニットとの通信インターフェースである。
システム制御部50は、レンズ通信部92を通じてレンズユニットと通信し、レンズユニットの情報を取得したり、レンズユニットの動作を制御する命令を与えたりする。
図2はデジタルカメラ100の外観例を示す斜視図であり、図1と同じ構成要素には同じ参照数字を付してある。図2(a)は前面斜視図であり、(b)は背面斜視図である。図2は、レンズ接続部91にレンズユニット300が装着された状態を示している。
メニューボタン73、方向キー74、決定キー75は操作部70に含まれる入力デバイスである。方向キー74は上、下、左、右が押し込み可能な4方向キーである。決定キー75は、主に選択項目の決定を指示するために用いられる。メニューボタン73はメニュー画面を表示部28に表示させる指示を与えるために用いられる。メニュー画面の操作を通じてユーザはデジタルカメラ100の現在の設定値の確認や変更を行うことができる。
ファインダー16は内部にファインダー内表示装置を有するEVFである。ファインダー16は光学ファインダーであってもよい。
<レンズユニットの構成>
図3は、デジタルカメラ100に接続可能なレンズユニット300の機能構成例を示すブロック図である。レンズユニット300はデジタルカメラ100の撮影光学系である。 レンズ制御部301は例えばCPUであり、ROM302に記憶されたプログラムをRAM306に展開して実行することにより、レンズユニット300の各部の動作を制御する。
カメラ接続部303はデジタルカメラ100のレンズ接続部91と機械的に係合することにより、レンズユニット300をデジタルカメラ100に接続する。レンズユニット300がデジタルカメラ100に接続されると、カメラ接続部303とレンズ接続部91のそれぞれに設けられている接点が互いに接触し、レンズユニット300とデジタルカメラ100とが電気的にも接続される。
これにより、レンズ制御部301とシステム制御部50とが互いに通信可能になり、接続の確立動作においてレンズ制御部301からシステム制御部50にレンズユニット300に関する情報が送信される。レンズ制御部301は、システム制御部50からの命令に従い、フォーカス調整部304や絞り調整部305の動作を制御したり、フォーカスレンズ(レンズ前群310)の位置情報や絞り312の絞り値の情報などをシステム制御部50に送信したりする。
レンズ前群310、レンズ後群311は、レンズユニット300の光軸314上に配置され、被写体の光学像を撮像部22の撮像面に形成する。フォーカス調整部304は、レンズ前群310を光軸314方向に駆動し、レンズユニット300の合焦距離を変化させる。これにより、撮像面に形成される像の合焦度合いが変化する。フォーカス調整部304は例えばモータである。レンズ前群310は絞り312よりも被写体側に配置され、レンズ後群311は絞り312よりもデジタルカメラ100側に配置されている。レンズ前群310の位置情報は、レンズ制御部301により検出することができる。
絞り312は光軸314上に配置され、絞り調整部305によって開口径が調整される。絞り調整部305は例えばアクチュエータである。なお、絞り312は手動による操作が可能であってもよく、この場合絞り調整部305は例えばユーザが操作する絞りリングと、絞りリングと連動する絞りの開口調節機構とを有する。また、ここでは絞り調整部305はF値を調節するものとするが、T値を調節するものであってもよい。
APD313はアポダイゼーションフィルタ(Apodization filter)やスムーストランスファーフォーカス(Smooth Transfer Focus)とも呼ばれ、光軸からの距離に応じて透過率が変化する光学部材である。APD313は、ここでは絞り312とレンズ後群311との間の光軸上314に配置されている。APD313はレンズユニット300の瞳を通過する光線の、瞳の径方向の透過率分布を変調する光学部材とも言える。APD313は光学ガラスの表面に瞳の径方向の透過率分布を変調する光学特性を有する膜を蒸着などによって設けた光学素子でよい。なお、APD313を設ける代わりに、レンズ前群310、レンズ後群311を構成する光学部材の一部に同様の光学特性を有する膜を蒸着などにより設けてもよい。この場合、レンズがAPDを兼ねる構成に相当する。APD313は、ボケ像をより滑らかにすることで、ソフトなボケ像を実現する効果を有する。詳細については後述する。
なお、レンズ前群310の駆動量および駆動方向はシステム制御部50からレンズ制御部301に指示する代わりに、レンズ制御部301が決定してもよい。この場合、システム制御部50からレンズ制御部301にデフォーカス量を求めるための情報を供給すればよい。なお、レンズ前群310の一部や、レンズ後群311の一部がフォーカスレンズとして機能してもよい。
<アポダイゼーションフィルタの構成および特性>
次に、APD313の光学特性について説明する。図4(a)は、APD313の、規格化された瞳半径と透過率の関係(透過率特性)の例を示す図である。瞳半径は光軸とAPD313との交点で0、最大瞳半径で1となる。また、透過率1は100%を示す。つまり、図4(a)は、APD313が光軸から径方向の距離が大きくなるほど光透過率が低下する光学特性を有することを示している。
図4(a)に示す特性は、以下の式(1)で示される。式(1)において、tは透過率(0≦t≦1)、rは規格化された瞳半径(0≦r≦1)である。
t = exp ( -r2/r0 2) (1)
一方、F値とT値とは式(2)の関係を有する。
√(I0)*√I =F / T (2)
ここでI0はAPD313を除くレンズ群の透過率(0≦I0≦1)を示している。透過率I0は実測により求めてもよいし、シミュレーションによって求めてもよい。また、Iは、APD313がない場合とある場合との光量の比である。光量は例えば式(1)を積分して求めることができる。具体的には、Iは以下の式(3)で表わすことができる。
Figure 2021125873
ここでは光量比Iを解析的に求める例を示したが、例えばF値ごとに光量比Iを実測し、ROM302にF値と光量比Iとを対応付けて例えばテーブルの形式で保持してもよい。
図4(b)は、I0が0.9である場合のF値とT値との関係の一例を示している。横軸にF値、縦軸にT値を示している。Fminはレンズユニット300の最小F値(解放F値)を示し、本例では2.2である。一点鎖線は、APD313が光軸314上に配置されているときのF値とT値との関係を示し、特にF値が小さい範囲において、F値の変化に対してT値が非線形に変化している。これは、F値が小さく領域ではAPD313による径方向の透過率の変調の影響がT値に現れるからである。また、Tminは、最小F値2.2に対応する最小T値であり、式(2)から得られる。
また、図4(b)の実線はAPD313がない場合のF値とT値との関係を示している。APD313がない場合、F値の変化に対してT値は以下の式(4)で表されるように線形に変化する。
√(I0) = F / T' (4)
図4(b)のΔは、同一F値に対する、式(4)で得られるT値とAPD313がある場合のT値との差、もしくは乖離量を表している。Δは、式(4)と式(2)を用い、以下の式(5)で求めることができる。
Δ=F / T' - F / T = √(I0) - F / T (5)
図4におけるTnoAPDは、APD313がない場合の最小F値FminにおけるT値を示している。また、ΔMAXはAPD313がある場合とない場合の同一F値に対するT値の最大乖離量を表し、以下の式(6)で表される。
Figure 2021125873
APD313が、式(1)で表されるように瞳半径rの増加に対して透過率tが単調減少するような透過率の変調特性を有する場合、式(2)、式(3)、式(5)から、瞳半径rの増加に対してT値も単調減少し、Δは単調増加する。先に述べたように、ピントの合っていない部分の像(ボケ像)のボケ方(ボケ味またはボケ量)は、T値とF値との差の影響を受ける。Δの大きさはT値とF値との差の大きさに影響を与えるため、Δの大きさもボケ味の指標として用いることができる。
<アポダイゼーションフィルタの効果>
図5はAPD313によるボケ像の変化、すなわちボケ味の変化を模式的に示した図である。図5(a)〜図5(c)は同一シーンを撮影した画像であり、いずれも円形のボケ像を含んでいる。ここで、図5(a)が、APD313がない状態で撮影された画像であるとする。また、図5(b)はAPD313があり、かつ絞り値を開放(Fmin)として撮影された画像、図5(c)はAPD313があり、かつ絞り値を解放より大きくして撮影された画像の模式図である。
APD313の効果が最も大きくなる図5(b)の画像では、円形のボケ像の内部および輪郭がより滑らかとなり、柔らかいボケ像が得られる。F値を大きくすると、撮影光学系の瞳が小さくなり、APD313による光透過率の低下が抑制されるため、ボケ像の輪郭などが明確になってくる。
図6は、APD313を有するレンズユニット300が装着されている際にデジタルカメラ100の表示部28に表示されるライブビュー画面の例を示す図である。
ライブビュー画面400は、撮像部22で撮像された撮像画像401と、撮影補助情報の画像とが合成された画像である。ここでは、撮影補助情報の画像として、アイテム410〜418および430が例示されている。F値情報アイテム410は、現在設定されているF値を示す。WBアイテム411は、現在設定されているホワイトバランスを示す。NDアイテム412は、現在用いられているNDフィルタの段数を示す。ISOアイテム413は現在設定されている撮影感度を示す。シャッターアイテム414は、現在設定されているシャッタースピードを示す。電力アイテム415は、現在の電池残量を示す。メディア情報アイテム416は、記録媒体の残量や、記録に用いられているのがどのスロットに装着されている記録媒体かを示す。フレームレートアイテム417およびタイムコードアイテム418は動画のフレームレートやタイムコードを示す。また、ボケ指標アイテム430は、現在の撮影設定における、ボケ像に対するAPD313の効果の程度(ボケ像の滑らかさの程度)を示す。
図6では、ボケ指標アイテム430として、図4(b)で説明したΔMAXに対する現在のF値に対応するΔの比もしくは割合をボケ指標として数値で示す。APD313によるボケ像に対する効果はΔ=ΔMAXのときに最大となり、ボケ像が最も滑らかになる。したがって、両者の比(0≦Δ/ΔMAX≦1)として算出されるボケ指標の値は、APD313によるボケ像に対する効果の程度(ボケ像の滑らかさ)の指標となり、ボケ指標が1のとき効果が最大、0のときに効果なしとなる。なお、図6では画面表示の都合により、ボケ指標アイテム430をΔの値のように表示しているが、表示される値はΔ/ΔMAXである。
図7は、デジタルカメラ100が実行する、ボケ指標の演算動作に関するフローチャートである。図7のフローチャートに示す動作は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この処理は、デジタルカメラ100におけるライブビュー表示動作の一部として実行することができる。
S501においてシステム制御部50は、現在のF値およびT値の少なくとも一方を取得する。システム制御部50は、例えば現在のF値(T値)をレンズ制御部301に問い合わせることによって取得することができる。システム制御部50は、取得した現在のF値(T値)をシステムメモリ52に記憶する。なお、現在のF値(T値)はレンズ制御部301が能動的にカメラ接続部303を介してシステム制御部50に送信し、システム制御部50がシステムメモリ52に記憶している現在のF値(T値)を常に更新する構成であってもよい。なお、レンズユニット300の絞り312の制御をシステム制御部50が行う場合、システム制御部50は例えばシステムメモリ52に記憶した、最後に設定した絞り値を参照することにより現在のF値を取得することができる。この場合、システム制御部50は、レンズ制御部301と通信する必要はない。
S502でシステム制御部50は、レンズユニット300の、現在のF値に対応するT値の乖離量Δを取得する。乖離量Δは様々な方法で取得することができる。例えば、F値(T値)ごとにT値の乖離値Δを関連づけた情報(例えばテーブル)をレンズユニット300のROM302に登録しておく。そして、システム制御部50は何らかのタイミング(例えばレンズユニット300が接続され、レンズ制御部301との通信を確立した直後)にレンズユニット300からそのテーブルを取得してシステムメモリ52に記憶しておく。S502でシステム制御部50は、S501で取得したF値(T値)に基づいてシステムメモリ52内のテーブルを参照し、乖離量Δを取得することができる。
あるいは、システム制御部50からレンズ制御部301に問い合わせることによって乖離量Δを取得してもよい。この場合、レンズ制御部301はROM302に登録されたテーブルを、現在のF値(T値)に基づいて参照することにより乖離量Δを取得し、システム制御部50に送信する。
S501で現在のF値(T値)をレンズ制御部301からシステム制御部50に送信する構成の場合、合わせて現在のF値(T値)に対応する乖離量Δも送信するようにしてもよい。これにより、システム制御部50とレンズ制御部301との通信回数が削減できる。
なお、システム制御部50は、F値(T値)ごとにT値の乖離値Δを関連づけた情報など、レンズユニット300から取得したレンズユニット300の固有情報を、レンズユニットの識別情報と関連づけて不揮発性メモリ56に保存してもよい。これにより、同じレンズユニットが再び接続された場合に、レンズユニット300から固有情報を再度取得する必要がなくなる。
S503でシステム制御部50はボケ指標Δ/ΔMAXを算出する。なお、S502で取得した乖離量Δをそのままボケ指標として利用する場合、S503は実行しなくてもよい。ボケ指標をΔ/ΔMAXとすることにより、最大の効果がえられる状態を1としたボケ指標が得られるため、効果の大きさをより把握しやすくなる。
そして、取得したボケ指標に基づき、システム制御部50はボケ指標430の画像を含んだ撮影補助情報の画像を画像処理部24に生成させる。撮影補助情報の画像はメモリ32のVRAM領域に格納され、表示用の撮像画像と合成され、表示制御部13により表示部28に表示される。
このように、本実施形態では、光透過率を変調する光学部材の有無による、同一F値に対応するT値の差に基づいて、撮影条件で得られる撮像画像におけるボケ像の滑らかさを示す指標を提示するようにした。そのため、ユーザは撮影前に現在の設定で得られるボケ像の滑らかさを容易に把握することができ、必要に応じて設定を変更することができる。そのため、ユーザは所望のボケ味を有する画像を容易に撮影することができる。
●(第2実施形態)
次に、第2実施形態について説明する。第1実施形態では、ボケ像の滑らかさを示す指標として、T値の乖離量Δに基づく指標を用いた。しかし、他の指標を用いてもよい。本実施形態はボケ指標とボケ指標アイテム430の提示方法以外は第1実施形態と同様であってよいため、第1実施形態と共通する装置の構成や動作については説明を省略する。
図8(a)は、Δ/ΔMAXと、規格化透過率変調量との関係例を示す図である。規格化透過率変調量は、0から1の値を有し、撮影光学系の瞳領域の大きさ(半径r)に応じた光透過率を、瞳領域の大きさが最大(半径r)であるときの光透過率で規格化した値である。
図8(a)に示すように、規格化透過率変調量とΔ/ΔMAXとは対応関係にあるため、規格化透過率変調量をボケ像の滑らかさを示す指標として用いることができる。規格化透過率変調量をボケ像の滑らかさを示す指標として用いると、APDによる効果(ボケ像の滑らかさ)を輝度値の変化量として把握できる効果がある。
また、APDの効果(ボケ像の滑らかさ)を複数の区分で表してもよい。図8(a)の例では、規格化透過率変調量の値を以下に示すように0.2ごとに5つに区分している。
・0.8より大きく、1以下の範囲601 :レベルA
・0.6より大きく、0.8以下の範囲602:レベルB
・0.4より大きく、0.6以下の範囲603:レベルC
・0.2より大きく、0.4以下の範囲604:レベルD
・0.2以下、0以上の範囲605 :レベルE
そして、システム制御部50は、ボケ指標アイテム430として、各レベルに応じた画像を表示部28に表示させる。図8(b)に各レベルに対応したボケ指標アイテム430の例を、図8(c)にライブビュー表示されたボケ指標アイテム430の例をそれぞれ示す。図8(c)において第1実施形態と同様の構成については図6と同じ参照数字を付して説明を省略する。
図8(b)に示す例では、レベル数(区分数)−1に等しい数の棒状のパターンを用いてレベルを表している。図8(b)の611〜615はそれぞれレベルAからレベルEに対応したボケ指標アイテム430の例である。効果が最も低いレベルEでは棒状のパターンが表示されず、代わりに「OFF」というテキストが表示される。レベルDからレベルAでは、レベルが上がるごとに表示される棒状のパターンの数が増加し、最高レベルのレベルAでは全てのパターンが表示される。なお、図8(b)に示す例では、棒状のパターンの長さを異ならせて、短いものから順次表示させるようにして、表示されているパターンの数だけでなく、長さでもレベルの高さを示すようにしている。なお、棒状のパターンの総数が分かるように、表示されていないパターンについては輪郭だけ表示してもよい。
本実施形態ではボケ効果の指標が段階的な表現で提示されるため、数値的な表現で提示される第1実施形態と比較して、効果の大きさを直ちに把握しやすくなるという利点がある。なお、図8(b)の例では規格化透過率変調量の値の範囲を5つに区分したが、レベルEを効果なしの区分、それ以外の区分を効果ありの区分として2区分で表現してもよい。ユーザが効果の有無のみ知りたい場合に効果的である。
規格化透過率変調量の区分数は予め決定された値でもよいし、ユーザがメニュー画面から設定可能であってもよい(2以上の整数とする)。なお、規格化透過率変調量の代わりにΔ/ΔMAXの範囲を区分して本実施形態と同様に提示してもよい。
また、ヒトの視覚認識を考慮し、透過率変調量を対数にしてから区分してもよい。さらに、本実施形態では、区分に応じて表示するパターンの数を異ならせてレベルを表す例を示したが、色調、階調、アイテムのサイズなど、別の表現を用いてレベルを表す提示方法を採用してもよい。
●(第3実施形態)
次に、第3実施形態について説明する。本実施形態はボケ指標アイテム430の提示方法以外は第1実施形態と同様であってよいため、第1実施形態と共通する装置の構成や動作については説明を省略する。
図9(a)〜図9(c)は、本実施形態におけるボケ指標アイテム430の表示制御を模式的に示した図である。図6と同じ構成には同じ参照数字を付し、重複する説明は省略する。また、図10は、本実施形態におけるボケ指標アイテム430の表示制御動作に関するフローチャートである。図10のフローチャートに示す動作は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この処理は、デジタルカメラ100におけるライブビュー表示動作の一部として実行することができる。
図9(a)は、デジタルカメラ100の電源がONされて撮影スタンバイ状態になった状態のライブビュー画面400の表示例を示している。撮影スタンバイ状態はデジタルカメラ100の電源がONされ、起動処理などが終了し、ユーザの操作を受け付け可能になった状態である。システム制御部50は、撮影スタンバイ状態になると動画の撮影および表示動作を継続的に実施し、表示部28をEVFとして機能させながらユーザの指示を待機する。本実施形態では、電源ONされてから、絞り値の設定に変更を与えるユーザ指示が最初に与えられるまでの間はボケ指標アイテム430をライブビュー画面400に表示しない。
S1001でシステム制御部50は、絞り値の設定を変更する操作が行われたか否かを判定する。システム制御部50は、絞り値の設定を変更する操作が行われたと判定されればS1002を実行し、絞り値の設定を変更する操作が行われたと判定されなければS1004を実行する。ここで、絞り値の設定を変更する操作は、レンズユニット300における絞り調整部(例えば絞りリング)305の操作であってもよいし、操作部70に対する絞り値の変更操作であってもよい。
S1002でシステム制御部は、変更後の絞り値(F値またはT値)に対応するボケ指標を取得する。ここで取得するボケ指標は、先の実施形態で説明したボケ指標のいずれであってもよい。
そして、S1003でシステム制御部50は、S1002で取得したボケ指標に応じたボケ指標アイテム430を表示部28に表示するよう、画像処理部24を制御する。ここで取得するボケ指標は、先の実施形態で説明したボケ指標アイテムのいずれであってもよい。図9(b)は、第2実施形態で説明した形態のボケ指標アイテム430がライブビュー画面400に追加された状態を示す。図9(b)の例では、絞り値が変更されたことをライブビュー画面400上で強調するため、F値情報アイテム410の表示を反転している。また、図9(b)の例では、図9(a)の状態(F4)よりも小さいF値(F2.4)に変更されたため、ボケ像の滑らかさが増していることも合わせて示している。
S1004でシステム制御部50は、S1001で絞り値の設定変更を検出してから所定時間(例えば3秒〜5秒程度。ここでは4秒とする)が経過したか否かを判定する。システム制御部50は例えばシステムタイマー53を用いることにより、所定時間が経過したか否かを判定することができる。システム制御部50は、所定時間が経過したと判定されればS1005を実行し、所定時間が経過したと判定されなければS1001を再度実行する。
S1005でシステム制御部50は、表示部28からボケ指標アイテム430を非表示にする(ボケ指標アイテム430の表示を中止する)。図9(c)は、絞り値が変更されてから所定時間が経過したと判定され、ボケ指標アイテム430が表示されなくなったライブビュー画面400の例を示している。また、図9(b)で反転させたF値情報アイテム410も通常表示に戻っている。
S1005〜S1006では、絞り値の設定変更と、設定変更からの経過時間によってボケ指標アイテムの表示・非表示を制御している。しかし、ボケ像は合焦距離によっても変化するため、絞り値の設定変更と同様に、合焦距離が変化する操作と、操作からの経過時間によってボケ指標の表示・非表示を制御してもよい。合焦距離が変化する操作は、例えばマニュアルフォーカス操作や、焦点検出領域の変更操作などであってよい。
本実施形態によれば、ユーザが絞り値を変更する操作や、合焦距離が変化する操作を行うと、ボケ指標アイテム430を一定時間表示するようにした。そのため、ユーザにはボケ像の滑らかさを適切なタイミングで知らせつつ、ライブビュー画面の視認性を向上させることができる。
●(第4実施形態)
次に、第4実施形態について説明する。本実施形態はボケ指標アイテム430の提示方法以外は第1実施形態と同様であってよいため、第1実施形態と共通する装置の構成や動作については説明を省略する。
第1実施形態から第3実施形態では、デジタルカメラ100に接続されたレンズユニット300がAPD313(光透過率を変調する光学部材)を有していることを前提としたものであった。しかしながら、デジタルカメラ100にはAPDを有しないレンズユニットが接続されることもある。そのため、本実施形態では、接続されたレンズユニット300が光透過率を変調する光学部材を有するか否かに応じて、表示部28にボケ指標アイテム430を表示するか否かを制御する。
図11は、本実施形態におけるレンズユニット判別動作に関するフローチャートである。図11のフローチャートに示す動作は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この処理は、デジタルカメラ100の電源がONされた際に実行したり、レンズユニット300が着脱可能な状態で定期的に実行したりすることができる。
S1101でシステム制御部50は、レンズユニット300が接続されたか否かを判定する。電源ON時にS1101を実行する際には、レンズユニット300が接続されているか否かの判定であってよい。システム制御部50は、例えばレンズ通信部92を通じた通信が可能であるか否か、レンズ接続部91の接点の電位などに基づいて判定を行うことができる。
システム制御部50は、レンズユニット300が接続されたと判定されればS1102を実行し、レンズユニット300が接続されたと判定されなければS1101を繰り返し実行する。
S1102でシステム制御部50は、レンズ制御部301との通信を通じてレンズ情報を取得する。レンズ情報にはレンズユニットの機種情報や絞り値の設定可能範囲などが含まれてよい。また、APDの有無や、F値とT値との関係などの情報も含まれてよい。
S1103でシステム制御部50は、接続されているレンズユニット300が、APDのような透過率変調部材を有するレンズユニットであるか否かを判定する。この判定は、レンズ情報のみに基づいて行ってもよいし、レンズ情報と不揮発性メモリ56に予め記憶されている情報(例えば透過率変調部材を有するレンズユニットの機種情報)とに基づいて行ってもよい。システム制御部50は、レンズユニット300が透過率変調部材を有するレンズユニットであると判定されればS1104を、判定されなければS1105を実行する。
S1104でシステム制御部50は、ボケ指標アイテム430を表示することを決定する。また、S1105でシステム制御部50は、ボケ指標アイテム430を表示しないことを決定する。システム制御部50はS1104およびS1105での決定結果を、例えばシステムメモリ52に記憶しておき、その後の表示部28の表示制御動作に反映させる。
本実施形態によれば、ボケ指標アイテム430の表示を、表示が必要なレンズユニットが接続されているときだけ行うことができる。そのため、不要な表示で画面の視認性を低下させることがない。あるいはボケ指標アイテム430の表示スペースを他の用途に利用することができる。
●(第5実施形態)
次に、第5実施形態について説明する。先の実施形態では、ボケ指標(Δ、Δ/ΔMAX、および正規化透過率変調量)をボケ指標アイテム430の表示制御に用いる構成を説明した。しかし、ボケ指標は他の目的に用いてもよい。例えば、撮影により得られた画像データを記録する際、ボケ指標を関連づけて記録することができる。例えば、システム制御部50は、画像データを格納するデータファイルのヘッダ情報やメタデータとしてボケ指標を記録することができる。これにより、例えばボケ指標が特定の範囲の値を有する画像データファイルを検索することで、ボケ像が滑らかな画像を容易に検索することができる。
●(第6実施形態)
次に、第6実施形態について説明する。本実施形態ではボケ指標アイテムの形態と提示方法以外は第1実施形態と同様であってよいため、第1実施形態と共通する装置の構成や動作については説明を省略する。第1〜第5実施形態では、絞り値に着目してボケ像の滑らかさの指標を提示したが、ボケ像は合焦距離(ピントを合わせる被写体の距離)によっても変化する。そのため、合焦距離に関してボケ像の滑らかさを提示することもユーザにとって有用である。
図12(a)は、APD313によるボケ像の滑らかさの程度と合焦距離との関係を示すボケ比較アイテム700の例を示す模式図である。ボケ比較アイテム700は、スライダアイテム710と、複数の距離アイテム701〜707と、複数のボケ指標アイテム711〜717とを有する。なお、それぞれのアイテムの位置関係は図12(a)に示すものに限定されない。例えば、距離アイテム701〜707がスライダアイテム710に重畳表示されてもよい。また、距離アイテムの数は1つ以上の任意の数であってよい。
直線状のスライダアイテム710と、スライダアイテム710の近傍に、スライダアイテム710の長さ方向に配置された複数の距離アイテム701〜707とは、レンズユニット300が合焦可能な距離範囲の少なくとも一部を表す。ここでは、距離アイテムが数値を示しているため、数値の単位を示す距離単位アイテム708も合わせて表示されている。距離単位アイテム708は表示されなくてもよい。
スライダーアイテム710には、現在の合焦距離を表すインジケータアイテム709が重畳表示される。現在の合焦距離はフォーカスレンズ(レンズ前群310)の位置情報からシステム制御部50が算出することができる。
複数のボケ指標アイテム711〜717は、スライダアイテム710と距離アイテム701〜707が表す距離範囲におけるボケ像の滑らかさの変化を模式的に表している。ここでは、距離アイテム701〜707とボケ指標アイテム711〜717とが対応付けて表示され、距離アイテム701〜707のそれぞれが表す合焦距離におけるボケ像の滑らかさをボケ指標アイテム711〜717によって示している。しかし、距離アイテムとボケ指標アイテムの数は異なっていてもよいし、距離アイテムが示す合焦距離に対応付けてボケ指標アイテムを表示しなくてもよい。
ボケ指標アイテム711〜717は、離散的な合焦距離について、合焦距離がボケ像に与える影響と、APD313の効果とを反映した、点光源のボケ像を模式的に表す円形の画像である。ユーザは、ボケ指標アイテム711〜717の画像から、合焦距離を変更することによってボケ像の滑らかさがどのように変化するのかを具体的かつ直感的に把握することができる。
ボケ指標アイテムは、例えばレンズユニット300の機種ごとに、複数の離散的な合焦距離について予め生成して不揮発性メモリ58に登録しておくことができる。この場合、システム制御部50は、レンズユニット300から取得した機種情報に基づいて不揮発性メモリ58を参照し、使用するボケ指標アイテムを取得することができる。あるいは、レンズユニット300がROM302に複数の離散的な合焦距離に対応付けてボケ指標アイテムを記憶しておいてもよい。システム制御部50は、レンズユニット300から他の情報を取得する際に、ボケ指標アイテムも取得することができる。
図12(b)は、ボケ比較アイテムの別の例を示す図である。ボケ指標アイテム700’は、ボケ指標アイテム801〜807以外、図12(a)と同様である。ボケ指標アイテム801〜807は、点光源に対するボケ像の輝度勾配の形状を模した画像である。ボケ指標アイテム807のように矩形に近い形状ほど、ボケ像の輪郭付近の輝度勾配が急峻であること、すなわちボケ像の輪郭がシャープであることを表している。一方、ボケ指標アイテム801のように、左右がなだらかな曲線であるほど、ボケ像の輪郭付近の輝度勾配が緩やかであること、すなわちボケ像の輪郭が滑らかであることを表している。
図12(a)および図12(b)に示したボケ指標アイテム711〜717および801〜807は、点光源に対するボケ像を模した画像であるが、光源の種類は点光源に限定されない。ただし、点光源とした場合がもっとも容易にボケ像の滑らかさを把握できる。
図12(c)は、図6に示したライブビュー画面に、図12(a)に示したボケ比較アイテム700を重畳表示した例を示す図である。図6と同じ構成には同じ参照数字を付し、重複する説明は省略する。システム制御部50は、他のGUIアイテム411〜418と同様に、ボケ比較アイテム700の画像をライブビュー画像に重畳して、表示部28に表示させることができる。ボケ比較アイテム700’も同様に表示することができる。
図13は、デジタルカメラ100が実行する、ボケ指標アイテムの生成動作に関するフローチャートである。図13のフローチャートに示す動作は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この動作は、デジタルカメラ100におけるライブビュー表示動作の一部として実行することができる。
S1301でシステム制御部50は、ボケ比較アイテムに表示する合焦距離の候補を決定する。合焦距離の候補は様々な方法で決定することができる。例えば、システム制御部50は、現在の合焦距離を基準として、フォーカスレンズの所定移動量に相当する近距離端と遠距離端の距離を候補として決定する。その後、システム制御部50は、近距離端と遠距離端のフォーカスレンズの位置を所定数で等分割したフォーカスレンズ位置に対応する距離を残りの候補として決定することができる。
あるいは、システム制御部50は、レンズ制御部301との通信により取得したレンズユニット300の無限遠に相当する被写体距離と、最短撮影距離とに基づいて、同様に合焦距離の候補を決定してもよい。
なお、合焦距離の決定に、例えば操作部70に含まれる入力デバイスのユーザ操作を考慮してもよい。例えば、ユーザがレンズユニット300の合焦距離を変更する操作を行っている場合に、現在の合焦距離が常に中心となるように合焦距離の候補を決定してもよい。
S1302でシステム制御部50は、ボケ指標の基準とする合焦距離を決定する。基準とする合焦距離は様々な方法で決定することができる。例えば、システム制御部50は、基準距離の候補を選択可能に表示部28に提示し、操作部70の操作を通じたユーザの選択に基づいて合焦距離を決定することができる。あるいは、システム制御部50は、レンズユニット300の無限遠に相当する被写体距離、または最短撮影距離を、ボケ指標の基準として決定してもよい。
S1303でシステム制御部50は、レンズユニット300の、合焦距離に対応するボケ像の滑らかさに関する情報を取得する。ボケ像の滑らかさに関する情報は様々な方法で取得することができる。例えば、予め定められた複数の離散的な合焦距離のそれぞれと、対応するボケ像の滑らかさとを関連づけた情報(例えばテーブル)をレンズユニット300のROM302に登録しておく。そして、システム制御部50は、レンズ制御部301との通信を通じてレンズユニット300からテーブルを取得してシステムメモリ52に記憶しておく。システム制御部50は、S1301で決定した合焦距離候補に基づいてシステムメモリ52内のテーブルを参照し、ボケ像の滑らかさに関する情報を取得することができる。テーブルの取得は、カメラ100の起動時および/または、レンズユニット300の装着検出時に実施することができる。
なお、システム制御部50は、テーブル全体を取得する代わりに、S101で決定した合焦距離候補と、S1302で決定した基準合焦距離とについて、ボケ像の滑らかさに関する情報を取得してもよい。レンズ制御部301は、ROM302に登録されたテーブルをシステム制御部50からの要求に応じて参照し、システム制御部50から要求された合焦距離に対するボケ像の滑らかさに関する情報をテーブルから取得してシステム制御部50に送信してもよい。
あるいは、上述のテーブルを、レンズユニット300の識別情報と関連づけて不揮発性メモリ56に登録しておいてもよい。この場合、システム制御部50は装着されているレンズユニット300の識別情報を用いて不揮発性メモリ56を参照することによってテーブルを特定する。そして、システム制御部50は、S1301で決定した合焦距離候補に基づいてシステムメモリ52内のテーブルを参照し、ボケ像の滑らかさに関する情報を取得することができる。
なお、システム制御部50は、ボケ像の滑らかさを関連づけた情報など、レンズユニット300から取得したレンズユニット300の固有情報を、レンズユニットの識別情報と関連づけて不揮発性メモリ56に保存してもよい。これにより、同じレンズユニットが再び接続された場合に、レンズユニット300から固有情報を再度取得する必要がなくなる。
ボケ像の滑らかさに関する情報は、例えば滑らかさの形状を表す三次元関数の係数、滑らかさの形状を表す曲線のサンプル値、非線形関数の係数、または一次元的なインデックスなどであってよい。関数の種類や表現については予め定めておくことができる。
システム制御部50は、S1303で取得した情報に基づいて、ボケ比較アイテム700もしくは700’の画像を画像処理部24に生成させる。そして、システム制御部50は、画像処理部24が生成した画像を、他の撮影補助情報の画像と同様に、メモリ32のVRAM領域に格納し、ライブビュー画像に重畳表示させる。
このように、本実施形態では、現在の撮影条件で得られる撮像画像におけるボケ像の滑らかさを示す指標を、異なる複数の合焦距離について提示するようにした。そのため、ユーザは合焦させる被写体の距離によって変化するボケ像の滑らかさを、撮影前に容易に把握することができる。そのため、ユーザは所望のボケ像が得られるように合焦距離を変更することができる。
●(第7実施形態)
次に、第7実施形態について説明する。図4(b)に示したように、透過率変調部材によるボケ効果は絞り値が開放およびその近傍の範囲で大きくなる。一方で、絞り値が開放およびその近傍の範囲にある場合、被写界深度が浅くなる。そのため、絞り値を開放側に変更することによって所望の被写体が被写界深度から外れることがあり、そのような場合には合焦距離の再調整が必要となる。さらに、絞り値を開放側に変更すると入射光量も増加するため、変更前と同じ露出量を維持するためにはシャッタスピードや感度といった他の撮影条件を変更する必要がある。
しかしながら、透過率変調部材が存在するため、絞り値の変更量(段数)が直ちに他の撮影条件の変更量とはならない。したがって、絞り値を変更した際に、変更前の露出量を維持するために必要な他の撮影条件の補正量を把握するのは困難である。
このように、絞り値を変更した際のボケ効果を確認したいとユーザが思っても、絞り値以外に調整すべき要素があるため、ぼけ効果を容易に確認することができない。本実施形態では、絞り値を変更した際のぼけ効果を容易に確認できるようにする。本実施形態ではボケ指標アイテムの形態と提示方法以外は第1実施形態と同様であってよいため、第1実施形態と共通する装置の構成や動作については説明を省略する。
図14は、本実施形態においてシステム制御部50が実行するボケ指標の生成および提示動作に関するフローチャートである。図14のフローチャートに示す動作は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この動作は、デジタルカメラ100におけるライブビュー表示動作の一部として実行することができる。
S1401で、システム制御部50は距離マップを生成する。距離マップは距離画像またはデプスマップとも呼ばれ、各画素の値が距離情報を表す2次元画像の形態を有する。距離マップは任意の公知の方法によって生成することができ、本実施形態は距離マップの生成方法に依存しない。例えば、撮像部22が有する撮像素子が、1回の撮影で1対の視差画像を生成可能な構成を有する場合には、視差画像の対応する画素のずれ量に基づいて、各画素における被写体距離を得ることができる。また、各画素のコントラストが最大になるフォーカスレンズ位置に基づいて各画素における被写体距離を得てもよい。あるいは、ToF方式の距離センサを用いてもよい。なお、距離マップはシステム制御部50の制御にしたがって画像処理部24が生成してもよい。
S1402で、システム制御部50は、レンズ制御部301からフォーカスレンズ位置の情報と、レンズユニット300の焦点距離の情報とを取得する。そして、システム制御部50は、取得した情報に基づいて、レンズユニット300の現在の合焦距離を算出する。
S1403で、システム制御部50は、算出した合焦距離と、S1401で生成した距離マップとから、各画素におけるデフォーカス量を算出する。これにより、システム制御部50は、各画素の値がデフォーカス量を示すデフォーカスマップを生成する。なお、本実施形態では距離マップと現在の合焦距離とからデフォーカスマップを生成したが、他の方法でデフォーカスマップを生成してもよい。例えば、撮像部22が有する撮像素子の各画素が位相差検出用画素を兼ねる構成を有する場合には、各画素位置におけるデフォーカス量を直接求めることができる。この場合、距離マップの生成および現在の合焦距離の算出は不要である。
APD313によるボケ効果が小さい絞り値(例えばF4.0程度)から、ボケ効果の大きな絞り値(例えば開放絞りF2.2)に変更すると、被写界深度が浅くなるため、被写界深度から外れた画素はデフォーカス量が増加する。
デフォーカス量が増加すると、像の広がりが発生する。この像の広がりは像の強度やデフォーカス量の大きさにも依存するが、一般的には点拡がり関数(Point Spread Function:PSF)により規定されうる。したがって、絞り312を駆動して絞り値を変更しなくても、絞り値を変更した際のデフォーカス量の変化が各画素の像にどのような影響を与えるかをシミュレートしたぼけ効果画像を生成することができる。
なお、シミュレーションには公知のPSFを用いることができる。例えば公知のPSFには例えば、理想的な光学系において規定した二次元のガウス関数で近似したPSF、光学系の収差を考慮したフーリエ変換を利用したPSF、ホイヘンスの原理を利用して回折現象による像への影響を考慮したPSFなどがある。
S1404で、システム制御部50は、ボケ効果画像を生成する。図15(a)は、ボケ効果の小さな絞り値(例えばF4.0程度)における点光源の拡がりの例を示す模式図である。図15(b)は、ボケ効果の大きな絞り値(例えば開放絞りF2.2)に変更したときの像の拡がりを、図15(a)に示す像と、PSFとを用いてシミュレートした結果を示す模式図である。
本実施形態では、APD313によってボケ像の輪郭部が滑らかになる効果が付与されるため、図15(b)に示す像に対してADP313の効果を付与することにより、ボケ効果画像が得られる。ADP313の効果は、図4(a)に示した瞳半径と透過率の関係により生じる。したがって、図4(a)に示した瞳半径と透過率の関係から、図15(b)の像に対してAPD313の効果を付与して図15(c)に示す像を得ることができる。
APD313の瞳半径と透過率との関係は、レンズユニット300のROM302に記憶しておくことができる。瞳半径と透過率との関係は、関数として記憶しておいてもよいし、瞳半径と透過率との組み合わせを複数の離散的な瞳半径について記憶しておいてもよい。システム制御部50は、レンズ制御部301との通信を通じて、APD313の瞳半径と透過率との関係についての情報を取得し、システムメモリ52に記憶しておく。
システム制御部50は、画像処理部24に、例えばライブビュー画像の各画素についてSPFを適用したのち、APD313による効果を付与させることにより、変更後の絞り値に対応したボケ効果画像を生成させる。
S1405でシステム制御部50は、ボケ効果アイテムを生成する。システム制御部50は、例えば、S1404で生成したボケ効果画像と、ボケ効果画像の元画像との差分画像を抽出する。この差分画像は、絞り値を変更したことによって変化する領域に相当する。したがって、システム制御部50は、差分画像に基づくボケ比較アイテムを生成する。システム制御部50は例えば、差分画像を特定の色に変換してボケ比較アイテムとしてもよい。
図16(a)は、元画像とボケ効果画像との差分画像を特定の色に変換し、ボケ効果アイテムとして、元画像に重畳表示した例を示す図である。図16(a)では、ボケ効果が最大となる開放絞りにおけるボケ効果画像を生成し、元画像との差分画像を生成した例を示している。
図16(b)は元画像とボケ効果画像のとの差分領域を強調するための指標として、該当する領域を囲む枠状の指標をボケ効果アイテムとして生成し、重畳表示した例を示す図である。元画像との差分領域は、ボケ像の大きさの差を示す領域であってもよいし、画素値の差が閾値以上の領域であってもよい。また、枠状のボケ効果アイテムを表示するのは大きさまたは値の差が最大である差分領域のみであってもよいし、差の程度が一定以上である差分領域の全てであってもよい。また、差の程度に応じてボケ効果アイテムの表示形態を異ならせてもよい。また、表示形態は図に示した方法に限定されない。
ボケの効果の大きさや繊細さは被写体や領域に大きく依存するため、図16に示すように、ボケの効果を確認する領域を表示部28へのタッチ操作によってユーザが指定できるように構成してもよい。この場合、システム制御部50は、ライブビュー画像全体についてボケ効果画像を生成してもよいし、指定された領域のみについてボケ効果画像を生成してもよい。
ボケ効果画像を指定された領域についてのみ生成する場合には、図16に示すようにボケ効果画像を拡大表示してもよい。また、絞り値の変更によるボケ効果を詳細かつ容易に確認できるように、ボケ効果画像を生成する際の絞り値をユーザが指定できるように構成するのも効果的である。図16の例では、領域指定後、表示部28へのスライド操作により、絞り値を連続的に変更可能に構成した例を示している。これによりユーザは、所望のボケ効果を得るための絞り値を容易に特定することができる。
なお、上述の例では、SPFを適用したのち、APDによる効果を付与する構成について説明した。しかし、元画像がAPDの影響を受けていることから、SPFの適用によってある程度のボケ効果が得られる。したがって、SPFの適用後にAPDによる効果を付与することは必須ではない。
以上説明したように、第7実施形態では、絞り値を変更した場合に得られるボケ効果を表すボケ効果画像を、点拡がり関数とAPDの特性とを用いて生成し、ボケ効果画像に基づくボケ効果アイテムを提示するようにした。そのため、絞り値を実際に変更することなく、変更後の絞り値において得られるボケ効果を精度良く確認することができる。
(その他の実施形態)
上述の第1から第5実施形態では、APDがある場合とない場合の、同一F値に対するT値の差もしくは乖離量Δを用いてボケ指標を求めた。しかし、APDがある場合とない場合の、F値と、F値に対応するT値との差もしくは乖離量を用いてボケ指標を求めてもよい。これは、APDがない場合のF値と、F値に対応するT値との差は、F値に依存しないためである。つまり、APDがある場合において、あるF値と、そのF値に対応するT値との差は、APDがない場合にも存在する差と、APDがあることによって生じる差の合計値となる。APDがない場合にも存在する差はF値に依存しないため、APDがある場合において、あるF値と、そのF値に対応するT値との差の変化は、APDがあることによって生じる差の変化を反映している。したがって、F値と対応するT値との差の最大値をΔMAX、現在のF値と対応するT値との差をΔとして用いても、ボケ指標として利用できる値が得られる。
なお、本明細書においてシステム制御部50が行うものとして説明した動作は、1つのハードウェアによって実現されてもよいし、複数のハードウェアが処理を分担することにより実現されてもよい。
また、本発明を例示的な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は阻害要因がない範囲において適宜組み合わせることが可能である。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明した。しかし、本発明は撮影レンズの情報を取得可能な任意の電子機器で実施可能である。このような電子機器には、撮像装置を備えた電子機器や、撮像装置と通信可能な外部装置としての電子機器などが含まれる。このような電子機器には、パーソナルコンピュータや携帯情報端末(PDA)、携帯電話端末、メディアプレーヤ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、ゲーム機などがある。また、電子ブックリーダー、タブレット端末、投影装置、ディスプレイを備える家電装置や車載装置などでも本発明を実施できる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
24…画像処理部、28…表示部、50…システム制御部、100…デジタルカメラ、300…レンズユニット、301…レンズ制御部

Claims (45)

  1. F値とT値のいずれか一方の設定値を少なくとも設定可能な設定手段と、
    前記F値と前記T値の乖離量に関する情報を取得可能な取得手段と、
    前記設定手段の設定した設定値を示す第1のアイテムと共に、前記取得手段の取得した、現在の設定値に対応する情報を示す第2のアイテムと表示するように制御する制御手段とを有することを特徴とする表示制御装置。
  2. F値とT値のいずれか一方の設定値を少なくとも設定可能な設定手段と、
    前記設定手段の設定した設定値に基づいて変わるボケ量に関する情報を取得可能な取得手段と、
    所定のレンズがカメラに接続されている場合には、前記設定手段により設定された設定値に基づき、前記取得手段の取得したボケ量を表示し、
    前記所定のレンズがカメラに接続されていない場合には、前記ボケ量を表示しないように制御する制御手段とを有することを特徴とする表示制御装置。
  3. 前記取得手段は、前記設定手段に設定されたF値またはT値に基づき変わるボケ量に関する情報を取得可能であり、
    前記制御手段は、所定のレンズがカメラに接続されている場合には、前記設定手段により設定された設定値に基づき、前記取得手段の取得したボケ量を表示し、
    前記所定のレンズがカメラに接続されていない場合には、前記ボケ量を表示しないように制御することを特徴とする請求項1に記載の表示制御装置。
  4. 前記取得手段は、F値とT値の対応を示すテーブルを取得可能であることを特徴とする、請求項1から3のいずれか1項に記載の表示制御装置。
  5. 前記テーブルが合焦距離に応じて変更されることを特徴とする、請求項4に記載の表示制御装置。
  6. 前記取得手段は、現在の設定値におけるF値とT値との差か、前記差の最大値に対する前記差の割合を前記ボケ量に関する情報として取得することを特徴とする請求項2または3に記載の表示制御装置。
  7. 前記所定のレンズは光透過率を変調する光学部材を有し、
    前記取得手段は、現在のF値に対応する、前記光学部材がない場合とある場合とにおけるT値の差に基づいて前記ボケ量に関する情報を取得することを特徴とする請求項2または3に記載の表示制御装置。
  8. 前記取得手段が、前記T値の差を前記ボケ量に関する情報として取得するか、前記T値の差の最大値に対する前記T値の差の割合を前記ボケ量に関する情報として取得することを特徴とする請求項7に記載の表示制御装置。
  9. 前記所定のレンズは光透過率を変調する光学部材を有し、
    前記取得手段は、現在のF値に対応する前記光学部材の光透過率を前記レンズの最小のF値に対応する前記光学部材の光透過率の最大値で正規化した値を前記ボケ量に関する情報として取得することを特徴とする請求項2または3に記載の表示制御装置。
  10. 前記制御手段は、前記ボケ量に関する情報として取得した数値を前記ボケ量として表示することを特徴とする請求項2、3、5から9のいずれか1項に記載の表示制御装置。
  11. 前記制御手段は、前記ボケ量に関する情報として取得した数値に応じた区分を表すアイテムを前記ボケ量として表示することを特徴とする請求項2、3、5から9のいずれか1項に記載の表示制御装置。
  12. 前記制御手段は、レンズの絞り値の設定が変更されてから所定時間が経過するまで前記ボケ量を表示させ、前記所定時間が経過すると前記ボケ量の表示を中止することを特徴とする請求項2、3、5から11のいずれか1項に記載の表示制御装置。
  13. 前記制御手段は、レンズの合焦距離の設定が変更されてから所定時間が経過するまで前記ボケ量を表示させ、前記所定時間が経過すると前記ボケ量の表示を中止することを特徴とする請求項2、3、5から11のいずれか1項に記載の表示制御装置。
  14. 撮像により得られた画像データと関連づけて、前記撮像の際のF値に対応する前記ボケ量に関する情報を示す情報を記録する記録手段をさらに有することを特徴とする請求項2、3、5から12のいずれか1項に記載の表示制御装置。
  15. 前記制御手段は、前記ボケ量をライブビュー画面に表示させることを特徴とする請求項2、3、5から13のいずれか1項に記載の表示制御装置。
  16. 合焦距離の設定可能な設定値から少なくとも1つ設定する設定手段と、
    前記設定手段により設定可能である設定値に基づき変わるボケ量に関する情報を取得可能な取得手段と、
    前記設定手段により設定される少なくとも1つの合焦距離の設定値を示す第1のアイテムと共に、前記取得手段の取得した、設定値に対応する前記情報を示す第2のアイテムと表示するように制御する制御手段とを有することを特徴とする表示制御装置。
  17. 合焦距離の設定可能な設定値から少なくとも1つ設定する設定手段と、
    前記設定手段により設定可能である設定値に基づき変わるボケ量に関する情報を取得可能な取得手段と、
    所定のレンズがカメラに接続されている場合には、前記設定手段により設定される設定値に基づき、前記取得手段の取得したボケ量を表示し、
    前記所定のレンズがカメラに接続されていない場合には、前記ボケ量を表示しないように制御する制御手段とを有することを特徴とする表示制御装置。
  18. 前記取得手段は、前記設定手段に設定される設定値に基づき変わるボケ量に関する情報を取得可能であり、
    前記制御手段は、所定のレンズがカメラに接続されている場合には、前記設定手段により設定される設定値に基づき、前記取得手段の取得したボケ量を表示し、
    前記所定のレンズがカメラに接続されていない場合には、前記ボケ量を表示しないように制御することを特徴とする請求項16に記載の表示制御装置。
  19. 前記第1のアイテムは、合焦距離の現在の設定値であることを特徴とする請求項16または請求項18に記載の表示制御装置。
  20. 前記取得手段は、合焦距離に基づき変わるボケ量に関する情報を示すテーブルを取得可能であることを特徴とする、請求項16から請求項18のいずれか1項に記載の表示制御装置。
  21. 前記取得手段は、絞り値と合焦距離に基づき変わるボケ量に関する情報を示すテーブルを取得可能であることを特徴とする、請求項16から請求項18のいずれか1項に記載の表示制御装置。
  22. 前記制御手段は、レンズの合焦距離の設定が変更されてから所定時間が経過するまで前記ボケ量を表示させ、前記所定時間が経過すると前記ボケ量の表示を中止することを特徴とする請求項17または請求項18に記載の表示制御装置。
  23. 前記制御手段は、レンズの合焦距離の設定が変更されてから所定時間が経過するまで前記ボケ量を表示させ、前記所定時間が経過すると前記ボケ量の表示を中止することを特徴とする請求項16から請求項22のいずれか1項に記載の表示制御装置。
  24. 前記制御手段は、レンズの絞り値の設定が変更されてから所定時間が経過するまで前記ボケ量を表示させ、前記所定時間が経過すると前記ボケ量の表示を中止することを特徴とする請求項16から請求項22のいずれか1項に記載の表示制御装置。
  25. 撮像により得られた画像データと関連づけて、前記撮像の際の絞り値と合焦距離に対応する前記ボケ量に関する情報を示す情報を記録する記録手段をさらに有することを特徴とする請求項16から請求項24のいずれか1項に記載の表示制御装置。
  26. 前記制御手段は、前記第1のアイテムおよび第2のアイテムをライブビュー画面と共に表示させることを特徴とする請求項16、19、23から25のいずれか1項に記載の表示制御装置。
  27. 表示制御装置の制御方法であって、
    取得手段が、レンズユニットの現在のF値に対応するT値に基づいて、撮像画像におけるボケ指標を取得する取得工程と、
    制御手段が、前記ボケ指標を表すアイテムを表示装置に表示させる表示制御工程と、
    を有することを特徴とする表示制御装置の制御方法。
  28. 合焦距離を設定可能な設定値から少なくとも1つ設定する設定手段を有する表示制御装置の制御方法であって、
    取得手段が、前記設定手段により設定可能である設定値に基づき変わるボケ量に関する情報を取得する取得工程と、
    制御手段が、前記設定手段により設定される少なくとも1つの合焦距離の設定値を示す第1のアイテムと共に、前記取得工程で取得した、設定値に対応する情報を示す第2のアイテムと表示するように制御する制御工程とを有することを特徴とする表示制御装置の制御方法。
  29. 合焦距離の設定可能な設定値から少なくとも1つ設定する設定手段を有する表示制御装置の制御方法であって、
    取得手段が、前記設定手段により設定可能である設定値に基づき変わるボケ量に関する情報を取得する取得工程と、
    制御手段が、
    所定のレンズがカメラに接続されている場合には、前記設定手段により設定される設定値に基づいて前記取得工程で取得したボケ量を表示し、
    前記所定のレンズがカメラに接続されていない場合には、前記ボケ量を表示しないように制御する制御工程とを有することを特徴とする表示制御装置の制御方法。
  30. コンピュータを、請求項1から請求項25のいずれか1項に記載の表示制御装置が有する各手段として機能させるためのプログラム。
  31. コンピュータを、請求項1から請求項25のいずれか1項に記載の表示制御装置が有する各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
  32. 画像を撮影する撮影手段を有し、
    レンズユニットのF値またはT値のいずれか一方の情報とフォーカスに関する情報を取得可能な取得手段を有し、
    前記取得手段で取得された情報に基づいてボケ効果を算出する算出手段を有し、
    画像を表示する表示手段を有し、
    前記撮影手段によって画像を撮影し、撮影された画像の各領域において前記ボケ効果を算出し、前記ボケ効果に基づいたアイテムを前記撮影された画像に重畳して表示することを特徴とする撮像装置。
  33. 前記算出手段は、前記画像を撮影した際のF値またはT値のいずれか一方の情報と、前記画像を撮影した際とは異なる第2のF値またはT値のいずれか一方の情報に基づいて、前記ボケ効果を算出することを特徴とする請求項32に記載の撮像装置。
  34. 前記第2のF値またはT値のいずれか一方を設定可能な設定手段を有することを特徴とする請求項33に記載の撮像装置。
  35. 前記第2のF値またはT値は、ボケ効果が最大となるF値またはT値であることを特徴とする請求項33または34に記載の撮像装置。
  36. 前記レンズユニットが光透過率を変調する光学部材を有する場合には前記アイテムを表示させ、前記レンズユニットが前記光学部材を有しない場合には前記アイテムを表示させないことを特徴とする請求項32から請求項35のいずれか1項に記載の撮像装置。
  37. 前記表示手段は、前記ボケ効果の大きさに基づいて表示方法を変更することを特徴とする請求項32から請求項35のいずれか1項に記載の撮像装置。
  38. 前記表示手段は、前記ボケ効果の大きさが一定以上である領域に前記アイテムを表示することを特徴とする請求項32から請求項35のいずれか1項に記載の撮像装置。
  39. ボケ効果を算出する領域を設定可能な手段を有し、設定された領域に対してボケ効果の算出を行うことを特徴とする請求項32から請求項38のいずれか1項に記載の撮像装置。
  40. 前記ボケ効果を算出する領域を設定可能な第1の設定手段を有し、該第1の設定手段により設定された領域に対してボケ効果の算出を行うことを特徴とする請求項32から請求項38のいずれか1項に記載の撮像装置。
  41. 前記ボケ効果に基づいたアイテムを表示する領域を設定可能な、第2の設定手段を有し、該第2の設定手段により設定された領域に対してボケ効果を重畳して表示することを特徴とする請求項32から請求項38のいずれか1項に記載の撮像装置。
  42. 前記算出手段は、前記レンズユニットの状態から合焦距離を算出し、前記撮影された画像を処理することにより距離マップを算出し、前記合焦距離と前記距離マップとからデフォーカスマップを生成することを特徴とする請求項33から請求項35のいずれか1項に記載の撮像装置。
  43. 前記算出手段は、前記レンズユニットの透過率特性を取得し、前記レンズユニットのF値と前記第2のF値の差、および前記透過率特性、および前記デフォーカスマップを用いて、前記撮影された画像の各領域におけるボケ効果を算出し、該ボケ効果に基づいたアイテムを生成することを特徴とする請求項42に記載の撮像装置。
  44. コンピュータを、請求項32から請求項43のいずれか1項に記載の撮像装置が有する各手段として機能させるためのプログラム。
  45. コンピュータを、請求項32から請求項43のいずれか1項に記載の撮像装置が有する各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2020189786A 2020-02-06 2020-11-13 表示制御装置及びその制御方法 Pending JP2021125873A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/167,867 US11368626B2 (en) 2020-02-06 2021-02-04 Display control apparatus that controls display of information relating to bokeh and method for controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020019130 2020-02-06
JP2020019130 2020-02-06

Publications (2)

Publication Number Publication Date
JP2021125873A true JP2021125873A (ja) 2021-08-30
JP2021125873A5 JP2021125873A5 (ja) 2023-11-15

Family

ID=77459657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020189786A Pending JP2021125873A (ja) 2020-02-06 2020-11-13 表示制御装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP2021125873A (ja)

Similar Documents

Publication Publication Date Title
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
CN107950018B (zh) 图像生成方法和系统、以及计算机可读介质
KR102137444B1 (ko) 표시 제어장치 및 그 제어 방법
JP7071227B2 (ja) 電子機器およびその制御方法
US8525921B2 (en) Image capturing apparatus and control method therefor
JP2018125612A (ja) 撮像装置及びその制御方法
JP2016213582A (ja) 観察装置
JP2016143022A (ja) 撮像装置及び撮像方法
JP5827491B2 (ja) 撮像装置、及び撮像装置の制御方法
US11368626B2 (en) Display control apparatus that controls display of information relating to bokeh and method for controlling the same
JP2019121860A (ja) 画像処理装置及びその制御方法
JP6188407B2 (ja) 交換レンズ
JPWO2017086065A1 (ja) 撮影装置及びその制御方法
JP2020107956A (ja) 撮像装置、撮像方法およびプログラム
JP2011211531A (ja) 撮像装置
JP2018074514A (ja) 撮像装置及びその表示制御方法、並びにプログラム
JP2018026716A (ja) 撮像装置、撮像方法及び撮像プログラム
JP2018006995A (ja) 撮像装置、表示装置、画像処理プログラム
US10440286B2 (en) Image capture control apparatus and control method thereof
JP2021012229A (ja) 制御装置、撮像装置、制御方法、プログラム
JP2021005761A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP6032967B2 (ja) 撮像装置、レンズ装置および撮像装置の制御方法
JP6768449B2 (ja) 撮像制御装置、撮像装置の制御方法及びプログラム
US11588981B2 (en) Control apparatus, control method, and storage medium

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231107