JP2020092315A - 表示制御装置、撮像装置、表示装置の制御方法、プログラム、および記憶媒体 - Google Patents
表示制御装置、撮像装置、表示装置の制御方法、プログラム、および記憶媒体 Download PDFInfo
- Publication number
- JP2020092315A JP2020092315A JP2018227505A JP2018227505A JP2020092315A JP 2020092315 A JP2020092315 A JP 2020092315A JP 2018227505 A JP2018227505 A JP 2018227505A JP 2018227505 A JP2018227505 A JP 2018227505A JP 2020092315 A JP2020092315 A JP 2020092315A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- display
- zoom
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
【課題】フォーカスの調整に応じて適切な表示切替を行う。【解決手段】本発明の表示制御装置は、撮像装置によって撮像される画像である入力画像を取得する入力手段と、前記入力画像のうち一部の領域を拡大した画像である1つ以上のズーム画像を生成する生成手段と、前記撮像装置のフォーカス情報を取得する取得手段と、前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定手段と、を有する。【選択図】図1
Description
本発明は、表示制御装置、撮像装置、表示システム、表示装置の制御方法、プログラム、および記憶媒体に関する。
近年、映像の高解像度化が進んでおり、高解像度映像(例えば、4K、8K映像)の臨場感を表現するために、撮影時における被写体に対する正確なフォーカス合わせは非常に重要な要素になっている。
高解像度映像をマニュアルフォーカスによって微調整する場合、入力画像の全体を表示した状態では目視による調整が難しいため、映像表示装置のズーム機能を使用してズーム画像を表示した状態でフォーカス合わせが行われている。また、自動でズーム表示する機能として、フォーカスの調整操作と連動して、EVF(Electronic View
Finder)上に合焦した被写体をズームした画像を表示する機能がある。しかし、フォーカス合わせ時にズーム画面が表示されると、映像の全体像が見られなくなってしまう。そのため、ユーザが合焦した領域以外の合焦度合やボケ具合等、映像全体を同時に確認したいような場合、都度ズーム表示のオン/オフを切り替える必要があった。
Finder)上に合焦した被写体をズームした画像を表示する機能がある。しかし、フォーカス合わせ時にズーム画面が表示されると、映像の全体像が見られなくなってしまう。そのため、ユーザが合焦した領域以外の合焦度合やボケ具合等、映像全体を同時に確認したいような場合、都度ズーム表示のオン/オフを切り替える必要があった。
ここで、ズーム画像と入力画像の全体とを同時に確認可能な技術が提案されている。特許文献1には、画像内の合焦領域を拡大表示したズーム画像用の子画面を生成し、入力画像内の合焦領域に重ならない位置にズーム画像を表示する技術が開示されている。
しかしながら、特許文献1の技術では、入力画像と同時にズーム画像を確認できる一方で、合焦領域におけるフォーカスを微調整する場合には、サイズの小さい子画面では十分な解像度での確認ができない。そのため、確認用途に応じてズーム画像のみを表示させる設定へ切り替える必要があり手間が生じていた。
そこで、本発明では、フォーカスの調整に応じて適切な表示切替を行う技術を提供することを目的とする。
本発明の一態様は、
撮像装置によって撮像される画像である入力画像を取得する入力手段と、
前記入力画像のうち一部の領域を拡大した画像である1つ以上のズーム画像を生成する生成手段と、
前記撮像装置のフォーカス情報を取得する取得手段と、
前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定手段と、
を有することを特徴とする表示制御装置である。
撮像装置によって撮像される画像である入力画像を取得する入力手段と、
前記入力画像のうち一部の領域を拡大した画像である1つ以上のズーム画像を生成する生成手段と、
前記撮像装置のフォーカス情報を取得する取得手段と、
前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定手段と、
を有することを特徴とする表示制御装置である。
本発明の一態様は、
光学系と、
前記光学系により形成された被写体像を撮像する撮像手段と、
上述の表示制御装置と、
を含むことを特徴とする撮像装置である。
光学系と、
前記光学系により形成された被写体像を撮像する撮像手段と、
上述の表示制御装置と、
を含むことを特徴とする撮像装置である。
本発明の一態様は、
撮像装置によって撮像される画像である入力画像を取得する入力ステップと、
前記入力画像のうち一部の領域を拡大した画像である1つ以上のズーム画像を生成する生成ステップと、
前記撮像装置のフォーカス情報を取得する取得ステップと、
前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定ステップと、
を有することを特徴とする表示装置の制御方法である。
撮像装置によって撮像される画像である入力画像を取得する入力ステップと、
前記入力画像のうち一部の領域を拡大した画像である1つ以上のズーム画像を生成する生成ステップと、
前記撮像装置のフォーカス情報を取得する取得ステップと、
前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定ステップと、
を有することを特徴とする表示装置の制御方法である。
本発明の一態様は、コンピュータを、上記の表示制御装置の各手段として機能させるためのプログラムである。
本発明の一態様は、上記プログラムを記憶するコンピュータが読み取り可能な記憶媒体である。
本発明によれば、フォーカスの調整に応じて適切な表示切替を行う技術を提供することができる。
(実施形態1)
<概要>
以下、本実施形態に係る表示装置について説明する。本実施形態に係る表示装置は、撮像装置によって撮像された画像(動画を含む)をライブビュー表示(LV表示)するための表示装置である。また、本実施形態に係る表示装置は、マニュアルフォーカスモードで
フォーカスを合わせる際に、撮像装置のフォーカス情報に基づいて、撮像画像の表示を、ズーム画像、または入力画像+ズーム画像に切り替える。以下、本実施形態に係る表示装置の全体構成、処理内容について順に説明する。
<概要>
以下、本実施形態に係る表示装置について説明する。本実施形態に係る表示装置は、撮像装置によって撮像された画像(動画を含む)をライブビュー表示(LV表示)するための表示装置である。また、本実施形態に係る表示装置は、マニュアルフォーカスモードで
フォーカスを合わせる際に、撮像装置のフォーカス情報に基づいて、撮像画像の表示を、ズーム画像、または入力画像+ズーム画像に切り替える。以下、本実施形態に係る表示装置の全体構成、処理内容について順に説明する。
<全体構成>
図1は、本実施形態に係る表示装置100の機能ブロック図である。表示装置100は、演算装置(プロセッサ)、メモリ、記憶装置、入出力装置等を含む情報処理装置(コンピュータ)でもある。記憶装置に格納されたプログラムを表示装置100が実行することで、表示装置100の後述する機能が提供される。それらの機能の一部または全部は、ASICやFPGAなどの専用の論理回路により実現されてもよい。
図1は、本実施形態に係る表示装置100の機能ブロック図である。表示装置100は、演算装置(プロセッサ)、メモリ、記憶装置、入出力装置等を含む情報処理装置(コンピュータ)でもある。記憶装置に格納されたプログラムを表示装置100が実行することで、表示装置100の後述する機能が提供される。それらの機能の一部または全部は、ASICやFPGAなどの専用の論理回路により実現されてもよい。
入力部101は、表示装置100とケーブルを介して接続される撮像装置(不図示)から画像データ(入力画像、画像信号)を取得する機能部である。本実施形態では、ライブビュー画像(LV画像)を入力画像として取得するが取得する対象はLV画像に限定されない。表示装置100は、例えば、SDI(Serial Digital Interface)規格に準じたSDI入力端子を備えている場合、入力部101は、当該規格に準じたSDI信号を取得する。入力部101は、取得した画像データを、後述する付加情報取得部102、合成部105およびズーム画像生成部104に出力する。なお、表示装置100は、ケーブルを用いずに無線通信等を用いて撮像装置から画像を取得してもよい。
付加情報取得部102は、画像信号に付加された付加情報を取得する機能部である。本実施形態において、付加情報には後述するフォーカスリングの回転位置情報および合焦領域情報が含まれる。付加情報取得部102は、取得したフォーカスリングの回転位置情報を後述する表示形態決定部103へ出力する。また、付加情報取得部102は、取得した合焦領域情報を後述するズーム画像生成部104へ出力する。
回転位置情報は、フォーカスリングの回転位置を示す情報(フォーカス情報)である。ここで、フォーカスリングとは、撮像装置に装着されるレンズ部(光学系)に設置され、ユーザが焦点距離を調整するために回転させる環である。
図2は、撮像装置用のレンズ部201およびフォーカスリング202を示す。ユーザはフォーカスリング202を回転させることによりフォーカス(焦点距離)を調整する。フォーカスリングの回転位置情報は、フォーカスリング202の基準回転位置に対して現在の回転位置を示す情報である。本実施形態では、フォーカスリングの可動範囲は基準回転位置から360度とする。そして、回転位置情報は、基準回転位置からの回転角度を表した数値(0〜359)で表される。なお、付加情報取得部102は、光学系の焦点距離をフォーカス情報として取得してもよい。
合焦領域情報は、入力画像における合焦している箇所(合焦領域)を示す情報である。ここで、合焦しているとは、被写体距離が被写界深度の範囲内である状態である。本実施形態では、合焦領域情報は、入力画像を複数のブロック(小領域)に分割した場合の、各ブロックの合焦率を示すデータで表される。合焦率は、各ブロックに含まれる画素のうち合焦している画素の割合である(以下の式1)。ここで、合焦画素とは、ブロック内における画素のうち、合焦している画素を示す。なお、画素が合焦しているか否かは、上述の通り被写体距離が被写界深度内か否かや、コントラスが大きいか否か等、既存の手法を用いて判断することができる。
合焦率=(ブロック内の合焦画素数/ブロック内の全画素数)×100 ・・・(1)
合焦率=(ブロック内の合焦画素数/ブロック内の全画素数)×100 ・・・(1)
図3A〜図3Cは、入力画像と合焦領域情報とを示す図である。図3Aは入力画像の一例である。図3Aに示す入力画像は、中央の被写体301を撮像して得られた画像であって、その他の被写体は存在しないものとする。図3Bは、入力画像と当該入力画像を複数の小領域に分割するブロックとを示す図である。本実施形態では、水平方向に16分割、垂直方向に9分割する例について説明する。図3Cは、ブロック毎の合焦率を示す。図3Cでは、被写体301のうち入力画像の中心にピントを合わせている。よって、合焦している画素を多く含むブロックの合焦率は大きくなり、合焦している画素が少ないまたは含まれないブロックの合焦率は小さくなっている。
表示形態決定部103は、回転位置情報に基づいて、表示モード(表示形態)を決定する機能部である。具体的には、表示形態決定部103は、回転位置情報の変化量に応じて表示形態を決定する。表示形態を決定する処理の詳細については後述する。表示形態決定部103は、決定した表示形態を表示形態情報として後述するズーム画像生成部104および合成部105へ出力する。
表示形態情報は、後述する表示部106に表示する表示モードを示す情報である。表示モードには、「全体モード」、「ズームモード」、および「マルチモード」が含まれる。「全体モード」は、入力画像のみを表示部106に表示するモードである。「ズームモード」は、ズーム画像のみを表示部106に表示するモードである。「マルチモード」は、入力画像とズーム画像の両方の画像を表示部106に表示するモードである。
ズーム画像生成部104は、合焦領域情報および表示形態情報に基づいて、ズーム画像を生成する機能部である。ズーム画像は、入力画像のうち一部の領域を拡大した画像である。ズーム画像生成部104は、合焦領域を含むようにズーム画像を生成する。ズーム画像生成部104は、生成したズーム画像を合成部105へ出力する。ズーム画像を生成する処理の詳細は、後述する。
合成部105は、表示部106に表示する画像を生成する機能部である。本実施形態では、合成部105は、入力画像、ズーム画像、および表示形態情報に基づいて画像(合成画像)を生成する。合成部105は、生成した合成画像を表示部106へ出力する。
表示部106は、合成部105から出力される合成画像を表示する液晶パネル(ディスプレイ)である。なお、表示部106の構成は特に限定されず、例えば、液晶パネルではなくOLEDパネル等でもよい。
<処理内容>
≪表示形態決定処理≫
図4は、表示形態決定部103における表示モード(表示形態)を決定する処理(表示形態決定処理)を示すフローチャートである。本実施形態では、表示形態決定部103が、付加情報取得部102から表示形態を決定する処理の開始指示および回転位置情報を入力すると本処理を開始する。また、本実施形態では、所定のフレーム毎に本処理が実行される。なお、付加情報取得部102は、付加情報に回転位置情報が含まれていない場合においても本処理を開始してもよい。この場合、表示形態決定部103は、回転位置情報として基準回転位置を回転位置として用いればよい。
≪表示形態決定処理≫
図4は、表示形態決定部103における表示モード(表示形態)を決定する処理(表示形態決定処理)を示すフローチャートである。本実施形態では、表示形態決定部103が、付加情報取得部102から表示形態を決定する処理の開始指示および回転位置情報を入力すると本処理を開始する。また、本実施形態では、所定のフレーム毎に本処理が実行される。なお、付加情報取得部102は、付加情報に回転位置情報が含まれていない場合においても本処理を開始してもよい。この場合、表示形態決定部103は、回転位置情報として基準回転位置を回転位置として用いればよい。
ステップS401では、表示形態決定部103は、記憶部(不図示)に保持される前回の回転位置と回転位置情報に含まれる現在の回転位置とに基づいて、回転位置に変化があるか否かを判断する。変化がある場合はステップS402へ移行し、そうでない場合はステップS405へ移行する。本実施形態では、表示形態決定部103は、前回の回転位置
情報と現在の回転位置情報との差分が0でない場合に変化があったと判断する。なお、当該差分が所定の値Th1以上である場合に変化があったと判断してもよい。所定の値Th1は、例えば、上記の回転位置情報の差分が誤操作による誤差であるか否かを判断するための値である。なお、1回目の処理においては、前回の回転位置が取得できないため、差分0の場合と同様にステップS405へ移行してもよく基準回転位置を前回の回転位置としてもよい。また、記憶部は表示装置100、撮像装置、および外部装置のいずれの記憶部を用いてもよい。
情報と現在の回転位置情報との差分が0でない場合に変化があったと判断する。なお、当該差分が所定の値Th1以上である場合に変化があったと判断してもよい。所定の値Th1は、例えば、上記の回転位置情報の差分が誤操作による誤差であるか否かを判断するための値である。なお、1回目の処理においては、前回の回転位置が取得できないため、差分0の場合と同様にステップS405へ移行してもよく基準回転位置を前回の回転位置としてもよい。また、記憶部は表示装置100、撮像装置、および外部装置のいずれの記憶部を用いてもよい。
ステップS402では、表示形態決定部103は、前回の回転位置情報と現在の回転位置情報との変化量が所定の閾値Th2(Th2>Th1)未満であるか否かを判断する。所定の閾値Th2未満である場合はステップS403へ移行し、そうでない場合はステップS404へ移行する。
回転位置の変化量は、本実施形態では、前回の回転位置と現在の回転位置との差分の絶対値(すなわち、所定の時間内における回転位置の差分)である。なお、変化量の算出方法は特に限定されず、例えば、所定の位置(例えば、基準回転位置)と現在の回転位置との差分でもよく、所定の時間内における回転位置の移動量の合計でもよい。
ここで、所定の閾値Th2は、ユーザによるフォーカスリングの移動が微調整か、大まかな調整かを判断するための値である。例えば、表示形態決定部103は、100[ms]あたりの回転位置の変化量が5未満か否かによって微調整か大まかな調整かを判断することができる。ここで、60Hzで動作し、10フレーム単位でフォーカス回転位置情報を取得可能である場合、最新の入力画像を取得する前の所定の時間(10×(1/60)×1000[ms])内における回転位置の移動量の閾値Th2は8.33である(以下の式2)。
Th2=10×(1/60)×1000×(5/100)
≒8.33 ・・・(2)
Th2=10×(1/60)×1000×(5/100)
≒8.33 ・・・(2)
ステップS403〜ステップS405では、表示形態決定部103は、表示形態を決定する。回転情報の変化量が所定の閾値Th2未満である場合(S402−Yes)、表示形態決定部103は、「ズームモード」を表示形態として決定する(S403)。また、回転情報の変化量が所定の閾値Th2未満でない場合(S402−No)、表示形態決定部103は、「マルチモード」を表示形態として決定する(S404)。さらに、回転情報が変化していない場合(S401−No)、表示形態決定部103は、「全体モード」を表示形態として決定する(S405)。
ステップS406では、表示形態決定部103は、表示形態情報をズーム画像生成部104および合成部105へ出力する。
ステップS407では、表示形態決定部103は、記憶部に保持している回転位置を、現在の回転位置に更新する。
図4に示した処理によって、ユーザがフォーカスを微調整する場合はズーム画像を単体表示(ズームモード)し、大まかに調整をする場合は入力画像およびズーム画像をマルチ表示(マルチモード)するように制御が実行される。
≪ズーム画像生成処理≫
図5は、ズーム画像生成部104におけるズーム画像を生成する処理(ズーム画像生成
処理)を示すフローチャートである。本実施形態では、ズーム画像生成部104は、表示形態決定部103から表示形態(表示モード)が入力されると本処理を開始する。
図5は、ズーム画像生成部104におけるズーム画像を生成する処理(ズーム画像生成
処理)を示すフローチャートである。本実施形態では、ズーム画像生成部104は、表示形態決定部103から表示形態(表示モード)が入力されると本処理を開始する。
ステップS501では、ズーム画像生成部104は、表示モードがズーム画像を含む画像を表示するモードであるか否かを判断する。本実施形態では、ズーム画像を含む画像を表示するモードは、「ズームモード」または「マルチモード」である。また、ズーム画像を含む画像を表示するモードではない場合は、「全体モード」である。ズーム画像を含む画像を表示するモードである場合はステップS502へ移行し、そうでない場合はステップS511へ移行する。
ステップS502では、ズーム画像生成部104は、付加情報取得部102より出力される合焦領域情報を取得する。
ステップS503では、ズーム画像生成部104は、合焦率が所定の閾値Th3以上であるブロックが存在するか否かを判断する。所定の閾値Th3以上のブロックが存在する場合はステップS504へ移行し、そうでない場合はステップS511へ移行する。ここで、所定の閾値Th3は、ズームすべき領域(対象)が存在するか否かを判断するために用いられる値である。よって、ユーザがフォーカスリングを操作した場合でも合焦領域(ズームすべき領域)が存在しない場合(すべてのブロックの合焦率がTh3未満の場合)はズーム画像を生成および表示しない。本実施形態では、所定の閾値Th3を40とする例について説明する。
ステップS504では、ズーム画像生成部104は、表示モードが「ズームモード」であるか否かを判断する。本実施形態では、表示モードが「ズームモード」でない場合とは、表示モードが「マルチモード」の場合である。表示モードが「ズームモード」である場合はステップS505へ移行し、そうでない場合はステップS506へ移行する。
ステップS505では、ズーム画像生成部104は、入力画像のうち「ズームモード」用のズーム画像として切り出す領域を決定する。表示モードが「ズームモード」である場合(S504−Yes)、表示装置100は、ズーム画像を表示部106の全体に表示する。
本実施形態では、入力画像データの解像度および表示部106の画面解像度が3840×2160である例について説明する。この場合、ズーム画像を画面全体(3840×2160の表示領域)に表示するために、ズーム画像生成部104は、合焦率が所定の閾値Th3より高いブロックを含み、かつアスペクト比が16:9となるような領域を切り出し領域として決定する。
図6A〜図6Cは、本実施形態における「ズームモード」用のズーム画像を生成する処理の一例を示す図である。図6Aは、図3Aで示した入力画像におけるブロック毎の合焦率の一例を示す図である。本実施形態では、ズーム画像生成部104は、図6Aで示すように、合焦率が40(所定の値Th3)以上のブロックのみを切り出し領域としている。図6Bは、切り出し領域を示す図である。図6Bに示すように、ズーム画像生成部104は、合焦率が40以上のブロック群のうち最も合焦率が高いブロックが中央に配置される領域(アスペクト比16:9)を切り出し領域として決定する。なお、切り出し領域の決定方法は特に限定されず、合焦率が所定の閾値以上Th3であるブロックが切り出し領域内に1つ以上含まれていればよい。図6Cは、入力画像のうちズーム画像として切り出された領域を示す。
ステップS506では、ズーム画像生成部104は、入力画像のうち「マルチモード」
用のズーム画像として切り出す領域を決定する。表示モードが「マルチモード」である場合(S504−No)、表示装置100は、ズーム画像を表示部106の一部の領域に表示する。
用のズーム画像として切り出す領域を決定する。表示モードが「マルチモード」である場合(S504−No)、表示装置100は、ズーム画像を表示部106の一部の領域に表示する。
本実施形態では、ズーム画像生成部104は、ズーム画像を表示部106における画面の右半分の領域(例えば、1920×2160の表示領域)に表示する例について説明する。この場合、ズーム画像を当該右半分の領域に表示するために、ズーム画像生成部104は、合焦率が所定の閾値Th3より高いブロックを含み、かつアスペクト比が8:9となるような領域を切り出し領域として決定する。なお、入力画像は表示部106における画面の左半分の領域(例えば、1920×1080の表示領域)に縮小されて表示される。
図7A〜図7Cは、本実施形態における「マルチモード」用のズーム画像を生成する処理の一例を示す図である。図7Aは、図6Aと同様に、図3Aで示した入力画像におけるブロック毎の合焦率の一例を示す図である。図7Bは、切り出し領域を示す図である。図7Bに示すように、ズーム画像生成部104は、合焦率が40以上のブロック群のうち最も合焦率が高いブロックが中央に配置される領域(アスペクト比8:9)を切り出し領域として決定する。なお、切り出し領域の決定方法は特に限定されず、合焦率が所定の閾値以上Th3であるブロックが切り出し領域内に1つ以上含まれていればよい。図7Cは、入力画像のうちズーム画像として切り出された領域を示す。
ステップS507では、ズーム画像生成部104は、ズーム画像の拡大率が所定の値Th4以上であるか否かを判断する。拡大率は、切り出し領域のサイズに対するズーム画像を表示する領域のサイズの比である。拡大率が所定の値Th4以上である場合はステップS508へ移行し、そうでない場合はステップS509へ移行する。
ここで、合焦率が所定の閾値Th3以上であるブロックが多く存在する場合、切り出し領域が大きくなることにより拡大率が小さくなってしまう。そこで、切り出し領域をズーム表示するか否かを判断するための拡大率の指標値として所定の閾値Th4を用いる。そして、上述した合焦率における所定の閾値Th3を調整することにより当該切り出し領域のサイズを制限する。所定の閾値Th3を調整する処理(ステップS509)については後述する。例えば、所定の閾値Th4は1.5とするとよい。この場合、ズーム画像の表示領域が3840×2160であれば、切り出し領域が2560×1440以下でなければズーム処理は行われない。同様に、ズーム画像の表示領域が1920×2160であれば、切り出し領域が1280×1440以下でなければズーム処理は行われない。
ステップS508では、ズーム画像生成部104は、上述の切り出し領域内の画像を、各々の表示領域のサイズに一致するように拡大したズーム画像を生成する。本実施形態では、表示領域のサイズは、「ズームモード」の場合は3840×2160、「マルチモード」の場合は1920×2160である。
ステップS509では、ズーム画像生成部104は、合焦率における所定の閾値Th3を調整する。所定の閾値Th3の調整は、拡大率が所定の閾値Th4以下の場合(S507−No)、切り出し領域のサイズを制限するために行われる。調整後の所定の閾値Th3を用いて、ステップS507の処理を再度実行する。
本実施形態では、ズーム画像生成部104は、現在の合焦率における所定の閾値Th3に対して5ポイントずつ増加させる。すなわち、1回目の調整処理(S509)では所定の閾値Th3は45に調整される。また、2回目の調整処理では所定の閾値Th3は50に調整される。このように、合焦率における閾値を増加させることで、より合焦率の高い
領域を切り出し対象とすることになり、切り出し領域のサイズを制限する。なお、合焦率の閾値を増加させたことで対象ブロックが存在しなくなる場合は、例えば、ズーム画像生成部104は、前回の切り出し領域において最も合焦率が高いブロックを中心とする上限サイズの領域を切り出し領域として取得してもよい。
領域を切り出し対象とすることになり、切り出し領域のサイズを制限する。なお、合焦率の閾値を増加させたことで対象ブロックが存在しなくなる場合は、例えば、ズーム画像生成部104は、前回の切り出し領域において最も合焦率が高いブロックを中心とする上限サイズの領域を切り出し領域として取得してもよい。
ステップS510では、ズーム画像生成部104は、ステップS509において生成されたズーム画像を合成部105へ出力する。
ステップS511では、ズーム画像生成部104は、ズーム画像の生成処理を行わず本処理を終了する。
図5に示した処理によって、ズームモードまたはマルチモード時に、入力画像の全体において、合焦率の高い領域が拡大されたズーム画像が生成される。
<画像表示例>
図8A〜図8Cは、本実施形態の各表示モードにおける表示例である。図8Aは、「全体モード」で入力画像(図3Aと同様)を全体表示した例を示す。図8Bは、「ズームモード」でズーム画像を全体表示した例である。図8Bに示す画像は、ステップS505の処理において図6Cの実線で囲まれた切り出し領域が拡大されたズーム画像が表示される。図8Cは、「マルチモード」で入力画像およびズーム画像をそれぞれ表示した例を示す。表示画面の左側には図3Aで示した入力画像を縮小した画像が表示される。また、表示画面の右側にはステップS506の処理において図7Cの実線で囲まれた切り出し領域が拡大されたズーム画像が表示される。
図8A〜図8Cは、本実施形態の各表示モードにおける表示例である。図8Aは、「全体モード」で入力画像(図3Aと同様)を全体表示した例を示す。図8Bは、「ズームモード」でズーム画像を全体表示した例である。図8Bに示す画像は、ステップS505の処理において図6Cの実線で囲まれた切り出し領域が拡大されたズーム画像が表示される。図8Cは、「マルチモード」で入力画像およびズーム画像をそれぞれ表示した例を示す。表示画面の左側には図3Aで示した入力画像を縮小した画像が表示される。また、表示画面の右側にはステップS506の処理において図7Cの実線で囲まれた切り出し領域が拡大されたズーム画像が表示される。
<本実施形態の有利な効果>
以上説明したように、本実施形態に係る表示装置100は、フォーカスリングの回転位置の変化量に基づいて画像の表示形態(表示モード)を決定する。そして、変化量が小さい場合は、表示装置100は、ズーム画像を単一で画面全体に表示するように制御する。また、変化量が大きい場合は、表示装置100は、入力画像とズーム画像とを画面左右に並べて表示するように制御する。このようにすることで、ユーザがフォーカスを微調整する場合には、ズーム画像のみをじっくりと確認することができる。また、ユーザがフォーカスをおおまかに調整する場合には、ズーム画像を確認しつつ画像の全体も同時に確認することが可能となる。
以上説明したように、本実施形態に係る表示装置100は、フォーカスリングの回転位置の変化量に基づいて画像の表示形態(表示モード)を決定する。そして、変化量が小さい場合は、表示装置100は、ズーム画像を単一で画面全体に表示するように制御する。また、変化量が大きい場合は、表示装置100は、入力画像とズーム画像とを画面左右に並べて表示するように制御する。このようにすることで、ユーザがフォーカスを微調整する場合には、ズーム画像のみをじっくりと確認することができる。また、ユーザがフォーカスをおおまかに調整する場合には、ズーム画像を確認しつつ画像の全体も同時に確認することが可能となる。
(実施形態1の変形例)
上述の実施形態において、撮像装置のレンズに設置されたフォーカスリングの回転位置(焦点距離)の変化量から表示形態を判定する例を説明したが、レンズの絞り(被写界深度)に応じて表示形態を決定してもよい。この場合、表示装置は、絞りが変化した場合に当該絞りの変化量に応じて表示モードを「ズームモード」または「マルチモード」に決定する。例えば、絞りが大きく変更された場合に、表示装置は「マルチモード」でズーム画像および入力画像を表示する。このようにすることで、ユーザは当該特定の被写体のズーム画像を見ながら絞りを調整すると同時に、入力画像によって全体のバランスを確認することができる。
上述の実施形態において、撮像装置のレンズに設置されたフォーカスリングの回転位置(焦点距離)の変化量から表示形態を判定する例を説明したが、レンズの絞り(被写界深度)に応じて表示形態を決定してもよい。この場合、表示装置は、絞りが変化した場合に当該絞りの変化量に応じて表示モードを「ズームモード」または「マルチモード」に決定する。例えば、絞りが大きく変更された場合に、表示装置は「マルチモード」でズーム画像および入力画像を表示する。このようにすることで、ユーザは当該特定の被写体のズーム画像を見ながら絞りを調整すると同時に、入力画像によって全体のバランスを確認することができる。
上述の実施形態において、合焦領域情報に基づいてブロック単位で合焦率を算出する例について説明したが、合焦領域の算出方法は特に限定されない。例えば、画素単位で合焦領域を求めてもよい。
上述の実施形態において、切り出し領域は合焦率が最も高いブロックを中心とする領域である例について説明したが、合焦率が所定の閾値Th3以上であるブロックが含まれる
領域であればよい。また、合焦率が所定のTh3以上であるブロックが1つ以上含まれる領域を切り出し領域としてもよい。
領域であればよい。また、合焦率が所定のTh3以上であるブロックが1つ以上含まれる領域を切り出し領域としてもよい。
(実施形態2)
<概要>
上述の実施形態1では、フォーカスリングの回転位置の変化量に基づいて表示モードを決定したが、本実施形態では、合焦領域の位置やサイズの変化量に基づいて表示モードを決定する例について説明する。合焦領域の位置が変化する場合とは、例えば、奥行の異なる複数の対象物間でフォーカスを切り替えるような場合が挙げられる。また、合焦領域のサイズが変化する場合とは、動いている対象物に対してフォーカスを追尾させるような場合が挙げられる。以下、実施形態1と同様の機能を有する機能部については、同じ番号を付し説明を省略する。
<概要>
上述の実施形態1では、フォーカスリングの回転位置の変化量に基づいて表示モードを決定したが、本実施形態では、合焦領域の位置やサイズの変化量に基づいて表示モードを決定する例について説明する。合焦領域の位置が変化する場合とは、例えば、奥行の異なる複数の対象物間でフォーカスを切り替えるような場合が挙げられる。また、合焦領域のサイズが変化する場合とは、動いている対象物に対してフォーカスを追尾させるような場合が挙げられる。以下、実施形態1と同様の機能を有する機能部については、同じ番号を付し説明を省略する。
<全体構成>
本実施形態に係る表示装置100は、実施形態1の表示装置100と同様の構成であるが、付加情報取得部102、表示形態決定部103の機能が異なる。
本実施形態に係る表示装置100は、実施形態1の表示装置100と同様の構成であるが、付加情報取得部102、表示形態決定部103の機能が異なる。
付加情報取得部102は、画像信号に付加された付加情報を取得する機能部である。本実施形態において、付加情報にはフォーカスリングの回転位置情報および合焦領域情報が含まれる。本実施形態では、付加情報取得部102は、取得した回転位置情報および合焦領域情報を後述する表示形態決定部103へ出力する。また、上述の実施形態1と同様に、付加情報取得部102は、取得した合焦領域情報をズーム画像生成部104へ出力する。
表示形態決定部103は、回転位置情報および合焦領域情報に基づいて、表示モード(表示形態)を決定する機能部である。具体的には、表示形態決定部103は、合焦領域の位置またはサイズの変化量に応じて表示形態を決定する。表示形態を決定する処理の詳細については後述する。表示形態決定部103は、決定した表示形態をするズーム画像生成部104および合成部105へ出力する。
<処理内容>
≪表示形態決定処理≫
図9は、表示形態決定部103の処理の流れを示すフローチャートである。ステップS401の処理は、実施形態1と同様のため説明を省略する。
≪表示形態決定処理≫
図9は、表示形態決定部103の処理の流れを示すフローチャートである。ステップS401の処理は、実施形態1と同様のため説明を省略する。
ステップS901では、表示形態決定部103は、合焦領域情報に基づいて合焦領域の位置の変化量が所定の閾値Th5未満であるか否かを判断する。所定の閾値Th5未満である場合はステップS902へ移行し、そうでない場合はステップS404へ移行する。本実施形態では、上記の位置として合焦率が40以上のブロックを含む領域の中心位置が用いられる。
中心位置の変化量は、本実施形態では、前回の中心位置と現在の中心位置との差分の絶対値(すなわち、所定の時間内における中心位置の差分)である。なお、変化量の算出方法は特に限定されず、例えば、所定の位置(例えば、基準回転位置)と現在の中心位置との差分でもよく、所定の時間内における中心位置の移動量の合計でもよい。なお、合焦領域の位置は、中心位置でなくてもよく、例えば、最も合焦率が高いブロックを合焦領域の位置として用いてもよい。
ここで、所定の閾値Th5は、撮像装置のフォーカスが異なる対象物に切り替わったか否かを判断するための値である。例えば、表示形態決定部103は、100[ms]あた
りの中心位置(座標値)の変化量が100画素未満か否かによって上記の判断を行うことができる。ここで、60Hzで動作し、10フレーム単位で合焦領域情報を取得可能である場合、最新の入力画像取得前の所定の時間(10×(1/60)×1000[ms])内における中心位置の移動量の閾値Th5は、167画素である(以下の式3)。
Th5=10×(1/60)×1000×(5/100)
≒167 ・・・(3)
りの中心位置(座標値)の変化量が100画素未満か否かによって上記の判断を行うことができる。ここで、60Hzで動作し、10フレーム単位で合焦領域情報を取得可能である場合、最新の入力画像取得前の所定の時間(10×(1/60)×1000[ms])内における中心位置の移動量の閾値Th5は、167画素である(以下の式3)。
Th5=10×(1/60)×1000×(5/100)
≒167 ・・・(3)
ステップS902では、表示形態決定部103は、合焦領域情報に基づいて合焦領域のサイズの変化量が所定の閾値Th6未満であるか否かを判断する。所定の閾値Th6未満である場合はステップS403へ移行し、そうでない場合はステップS404へ移行する。本実施形態では、上記のサイズとして合焦率が40以上であるブロックの個数が用いられる。
サイズの変化量は、本実施形態では、前回のサイズと現在のサイズとの差分の絶対値(すなわち、所定の時間内におけるサイズの差分)である。なお、変化量の算出方法は特に限定されず、例えば、所定のサイズ(例えば、基準サイズ)と現在の中心位置との差分でもよく、所定の時間内におけるサイズの変化量の合計でもよい。なお、合焦領域のサイズは、上記に限定されず、例えば、合焦領域の面積(合焦している画素数の合計値)であってもよい。
ここで、所定の閾値Th6は、フォーカスが合っている対象物の位置(例えば奥行)が大きく変わっているか否かを判断するための値である。例えば、表示形態決定部103は、100[ms]あたりのサイズの変化量が7未満か否かによって上記の判断を行うことができる。ここで、60Hzで動作し、10フレーム単位で合焦領域情報を取得可能である場合、最新の入力画像取得前の所定の時間(10×(1/60)×1000[ms])内におけるサイズの変化量の閾値Th6は、11.6である(以下の式4)。
Th6=10×(1/60)×1000×(7/100)
≒11.6 ・・・(4)
Th6=10×(1/60)×1000×(7/100)
≒11.6 ・・・(4)
ステップS403〜S407の処理については、実施形態1と同様であるため説明を省略する。
ステップS903では、表示形態決定部103は、記憶部に保持している回転位置および合焦領域のサイズ(本実施形態では、合焦ブロック数)を、現在の回転位置および現在の合焦領域のサイズに更新して処理を終了する。
図9に示した処理によって、合焦領域の位置やサイズの変化が小さいような場合はズーム画像を単体表示(ズームモード)し、当該変化が大きい場合は入力画像およびズーム画像をマルチ表示(マルチモード)するように制御が実行される。
図10A〜図10Cは、合焦領域の中心位置およびサイズの変化を示す図である。図10Aは、合焦領域情報、合焦領域情報に基づく合焦領域の中心位置、および合焦領域のサイズの例を示す。
図10Bは、図10Aから所定の時間経過後の合焦領域情報、中心位置、および合焦ブロック数の一例を示す。図10Aおよび図10Bを比較すると、合焦領域の中心位置の変
化量は1200画素である。また、合焦ブロック数の変化量は0である。この場合、中心位置の変化量が所定の閾値Th5(167画素)以上であるため、表示装置200は、「マルチモード」で画像を表示する。
化量は1200画素である。また、合焦ブロック数の変化量は0である。この場合、中心位置の変化量が所定の閾値Th5(167画素)以上であるため、表示装置200は、「マルチモード」で画像を表示する。
図10Cは、図10Aから所定の時間経過後の合焦領域情報、中心位置、および合焦ブロック数の一例を示す。図10Aおよび図10Cを比較すると、合焦領域の中心位置の変化量は120である。また、合焦ブロック数の変化量は、14である。この場合、合焦ブロック数の変化量が所定の閾値Th6(11.6)以上であるため、表示装置200は、「マルチモード」で画像を表示する。
<本実施形態の有利な効果>
以上説明したように、本実施形態に係る表示装置200は、フォーカスが合っている場所の位置およびサイズの変化量を参照して表示モードを決定する。位置またはサイズの変化量が小さい場合は、表示装置200はズーム画像を単一で画面全体に表示する。また、位置またはサイズの変化量が大きい場合は、表示装置200は全体画像とズーム画像とを左右に並べて表示する。このようにすることで、フォーカスを調整する際に、フォーカスが合っている場所の位置や大きさの変化が小さい場合にはズーム画像のみを確認することができ、変化が大きい場合にはズーム画像を確認しつつ入力画像の全体も同時に確認することが可能となる。
以上説明したように、本実施形態に係る表示装置200は、フォーカスが合っている場所の位置およびサイズの変化量を参照して表示モードを決定する。位置またはサイズの変化量が小さい場合は、表示装置200はズーム画像を単一で画面全体に表示する。また、位置またはサイズの変化量が大きい場合は、表示装置200は全体画像とズーム画像とを左右に並べて表示する。このようにすることで、フォーカスを調整する際に、フォーカスが合っている場所の位置や大きさの変化が小さい場合にはズーム画像のみを確認することができ、変化が大きい場合にはズーム画像を確認しつつ入力画像の全体も同時に確認することが可能となる。
<実施形態2の変形例>
上述の実施形態2では、表示装置は、フォーカスリングの回転位置が変化した場合に、表示モードを「ズームモード」または「マルチモード」に設定する例について説明したが、フォーカスリングの回転位置を用いなくてもよい。例えば、表示装置は、合焦領域の位置(中心位置)またはサイズが変化した場合に表示モードを「ズームモード」または「マルチモード」に設定し、変化しない場合に表示モードを「全体モード」に設定してもよい。ここで、フォーカスリングの回転位置が変化せずに合焦領域の位置またはサイズが変化する場合とは、例えば、対象物が移動した場合等が挙げられる。
上述の実施形態2では、表示装置は、フォーカスリングの回転位置が変化した場合に、表示モードを「ズームモード」または「マルチモード」に設定する例について説明したが、フォーカスリングの回転位置を用いなくてもよい。例えば、表示装置は、合焦領域の位置(中心位置)またはサイズが変化した場合に表示モードを「ズームモード」または「マルチモード」に設定し、変化しない場合に表示モードを「全体モード」に設定してもよい。ここで、フォーカスリングの回転位置が変化せずに合焦領域の位置またはサイズが変化する場合とは、例えば、対象物が移動した場合等が挙げられる。
なお、表示装置は、合焦領域の位置またはサイズのいずれか一方のみを用いて表示モードの設定を行ってもよい。この場合、表示装置は、合焦領域の位置(またはサイズ)が変化した場合にその変化量に応じて表示モードを「ズームモード」または「マルチモード」に設定する。また、表示装置は、合焦領域の位置(またはサイズ)が変化しない場合に表示モードを「全体モード」に設定する。
(実施形態3)
<概要>
上述の実施形態では、マルチモードにおいてズーム画像を1つだけ生成する例について説明したが、本実施形態では、複数のフォーカス対象のそれぞれに対して複数のズーム画像を生成する例について説明する。以下、実施形態1と同様の機能を有する機能部については、同じ番号を付し説明を省略する。
<概要>
上述の実施形態では、マルチモードにおいてズーム画像を1つだけ生成する例について説明したが、本実施形態では、複数のフォーカス対象のそれぞれに対して複数のズーム画像を生成する例について説明する。以下、実施形態1と同様の機能を有する機能部については、同じ番号を付し説明を省略する。
<全体構成>
本実施形態に係る表示装置100は、実施形態1の表示装置100と同様の構成であるが、付加情報取得部102、表示形態決定部103およびズーム画像生成部104の機能が異なる。
本実施形態に係る表示装置100は、実施形態1の表示装置100と同様の構成であるが、付加情報取得部102、表示形態決定部103およびズーム画像生成部104の機能が異なる。
付加情報取得部102は、画像信号に付加された付加情報を取得する機能部である。本実施形態において、付加情報にはフォーカスリングの回転位置情報およびフォーカス対象情報が含まれる。本実施形態では、付加情報取得部102は、取得した回転位置情報およ
びフォーカス対象情報を表示形態決定部103へ出力する。また、付加情報取得部102は、取得したフォーカス対象情報をズーム画像生成部104へ出力する。
びフォーカス対象情報を表示形態決定部103へ出力する。また、付加情報取得部102は、取得したフォーカス対象情報をズーム画像生成部104へ出力する。
フォーカス対象情報は、「フォーカス対象数」および「(各フォーカス対象の)領域情報」を含む情報である。「フォーカス対象数」は、合焦領域の数を示す。本実施形態では、フォーカス対象数は、合焦している領域のうち所定のサイズ未満である領域である。すなわち、入力画像全体が合焦している場合はフォーカス対象数は0である。「領域情報」は、各フォーカス対象に対応する合焦領域情報を示す情報である。本実施形態では、領域情報は、フォーカス対象における始点の座標値(x,y)と、フォーカス対象領域の幅(w)および高さ(h)で示される。
なお、領域情報は上記に限定されず、例えば、フォーカス対象における始点の座標値の代わりに中心位置の座標値を用いてもよい。また、本実施形態では、フォーカス対象領域は矩形である例について説明するが、対象領域の形状は特に限定されず、例えば、上述の実施形態1と同様に合焦領域情報を領域情報として用いてもよい。この場合、表示装置300は、連続しない合焦領域が複数ある場合にフォーカス対象が複数存在すると判断することができる。
図11Aは、フォーカス対象数が3である場合のフォーカス対象情報を示す。図11Aに示すように、3つのフォーカス対象のそれぞれに対して、フォーカス対象の領域情報(x,y,w,h)が決定される。図11Bは、3つのフォーカス対象のそれぞれに対応するフォーカス対象領域の例を示す。
表示形態決定部103は、回転位置情報およびフォーカス対象情報に基づいて、表示モード(表示形態)を決定する機能部である。本実施形態に係る表示モードには、実施形態1の「全体モード」、「ズームモード」、「マルチモード」に加えて、「複数マルチモード」が含まれる。「複数マルチモード」は、入力画像と複数のズーム画像とを表示部106に表示するモードである。表示形態を決定する処理の詳細については、図12を用いて後述する。表示形態決定部103は、決定した表示形態をするズーム画像生成部104および合成部105へ出力する。
ズーム画像生成部104は、フォーカス対象情報および表示形態情報に基づいて、ズーム画像を生成する機能部である。本実施形態では、ズーム画像生成部104は、フォーカス対象が複数存在する場合(表示モードが複数マルチモードである場合)は、少なくとも2つの合焦領域についてそれぞれズーム画像を生成する。
<処理内容>
≪表示形態決定処理≫
図12は、表示形態決定部103における表示モード(表示形態)を決定する処理(表示形態決定処理)を示すフローチャートである。ステップS401の処理は、実施形態と同様であるため説明を省略する。
≪表示形態決定処理≫
図12は、表示形態決定部103における表示モード(表示形態)を決定する処理(表示形態決定処理)を示すフローチャートである。ステップS401の処理は、実施形態と同様であるため説明を省略する。
ステップS1201では、表示形態決定部103は、付加情報取得部102よりフォーカス対象情報を取得する。
ステップS1202では、表示形態決定部103は、フォーカス対象情報に含まれるフォーカス対象数が1以上であるか否かを判断する。1以上である場合はステップS402へ移行し、そうでない場合(対象数が0である場合)はステップS405へ移行する。ここで、フォーカス対象数が0である場合の例として、風景画像等であって画像全体に合焦するよう調整された画像(パンフォーカス画像)や、いずれの対象物にも合焦していない
画像(ボケ画像)等が挙げられる。ステップS402は実施形態1と同様であるため説明を省略する。
画像(ボケ画像)等が挙げられる。ステップS402は実施形態1と同様であるため説明を省略する。
ステップS1203では、ステップS402において、フォーカスリングの回転位置の変化量が所定の閾値未満ではない(S402−No)と判断されると、表示形態決定部103は、フォーカス対象数が1であるか否かを判断する。フォーカス対象数が1である場合はステップS404へ移行し、そうでない場合はステップS1204へ移行する。フォーカス対象数が1ではない場合とは、複数の対象物(例えば複数人の顔など)にフォーカスが当たっている場合である。
ステップS1204では、表示形態決定部103は、「複数マルチモード」を表示形態として決定する。ステップS403〜S407の処理は、実施形態1と同様であるため説明を省略する。
図12に示した処理によって、複数のフォーカス対象が存在する場合に、入力画像と複数のズーム画像とを並べて表示することで、当該複数の大まかにフォーカスを調整することができる。
≪ズーム画像生成処理≫
図13は、ズーム画像生成部104におけるズーム画像を生成する処理(ズーム画像生成処理)を示すフローチャートである。本実施形態では、ズーム画像生成部104が、表示形態決定部103から表示形態情報を入力すると本処理を開始する。
図13は、ズーム画像生成部104におけるズーム画像を生成する処理(ズーム画像生成処理)を示すフローチャートである。本実施形態では、ズーム画像生成部104が、表示形態決定部103から表示形態情報を入力すると本処理を開始する。
ステップS1301では、ズーム画像生成部104は、表示モードがズーム画像を含む画像を表示するモードであるか否かを判断する。本実施形態では、ズーム画像を含む画像を表示するモードは、「ズームモード」、「マルチモード」または「複数マルチモード」である。また、ズーム画像を含む画像を表示するモードではない場合は、「全体モード」である。ズーム画像を含む画像を表示するモードである場合はステップS1302へ移行し、そうでない場合はステップS1310へ移行する。
ステップS1302では、ズーム画像生成部104は、付加情報取得部102よりフォーカス対象情報を取得する。
ステップS1303では、ズーム画像生成部104は、表示モードが「ズームモード」であるか否かを判断する。表示モードが「ズームモード」である場合はステップS1305へ移行し、そうでない場合はステップS1304へ移行する。
ステップS1304では、ズーム画像生成部104は、表示モードが「マルチモード」であるか否かを判断する。表示モードが「マルチモード」である場合はステップS1306へ移行し、そうでない場合はステップS1307へ移行する。
ステップS1305では、ズーム画像生成部104は、入力画像のうち「ズームモード」用のズーム画像として切り出す領域を決定する。本実施形態では、上述の実施形態1と同様に入力画像の解像度および表示部106の画面解像度は3840×2160であって、ズーム可能な最低倍率は1.5倍とする。本実施形態では、ズーム画像を3840×2160画素の表示領域を有する画面全体に表示する。そのため、ズーム画像生成部104は、フォーカス対象領域を含む領域であって、アスペクト比が16:9、且つ解像度が2560×1440以下となるような領域を切り出し領域として決定する。なお、切り出し領域がズーム可能な解像度を超えている場合は、ズーム画像生成部104は、フォーカス対象領域の中心を含むような2560×1440の領域を切り出し領域として決定すると
よい。
よい。
ステップS1306では、ズーム画像生成部104は、入力画像のうち「マルチモード」用のズーム画像として切り出す領域を決定する。本実施形態では、上述の実施形態1と同様に、ズーム画像を画面右半分(1920×2160の表示領域)に表示し、ズーム可能な最低倍率は1.5倍とする。そのため、フォーカス対象領域を含む領域であって、アスペクト比が8:9、且つ解像度が1280×1440以下となるような領域を切り出し領域として決定する。なお、切り出し領域がズーム可能な解像度を超えている場合は、ズーム画像生成部104は、フォーカス対象領域の中心を含むような1280×1440の領域を切り出し領域として決定するとよい。
ステップS1307では、ズーム画像生成部104は、入力画像のうち「複数マルチモード」用のズーム画像として切り出す複数の領域を決定する。本実施形態において、複数のズーム画像を表示する領域の解像度は、画面を上下左右に4分割した際の1つの領域に対応する解像度(1920×1080)とする。ズーム可能な最低倍率を1.5倍とすると、ズーム画像生成部104は、フォーカス対象領域を含む領域であって、アスペクト比が16:9、且つ解像度が1280×720以下となるような領域を切り出し領域として決定する。なお、切り出し領域がズーム可能な解像度を超えている場合は、ズーム画像生成部104は、フォーカス対象領域の中心を含むような1280×720の領域を切り出し領域として決定するとよい。
ここで、本実施形態では、ズーム画像を表示するフォーカス対象数の上限が3つである例について説明する。なお、ズーム画像を表示するフォーカス対象数が4つ以上存在する場合は、フォーカス対象領域のうち合焦度合が高い領域を切り出し領域として決定するとよい。なお、フォーカス対象数が4つ以上ある場合は、フォーカス対象の領域情報のうち先頭の3つの領域を切り出し領域として決定してもよい。
ステップS1308では、ズーム画像生成部104は、上述の1つまたは複数の切り出し領域内の画像を各々の表示領域のサイズに一致するように拡大したズーム画像を生成する。
ステップS1309では、ズーム画像生成部104は、ステップS1308において生成したズーム画像を合成部105へ出力する。
ステップS1310では、表示モードが「全体モード」である場合(S1301−No)は、ズーム画像生成部104は、ズーム画像の生成を行わずに本処理を終了する。
図5に示した処理によって、ズーム画像の表示を伴う各種表示形態に応じて、画像全体に対してフォーカス対象情報に含まれるフォーカス対象の位置が拡大されたズーム画像を生成するような制御が実行される。
<表示例>
本実施形態に係る各表示モードにおける切り出し領域および表示画像について説明する。図14A〜図14Cは、フォーカス対象数が1つであって、表示モードが「ズーム画像表示」である場合の例を示す図である。図14Aは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス対象数は1、フォーカス対象領域情報は以下の通りである。図14Bは、入力画像における切り出し領域を示す図である。ここでは、フォーカス対象領域を含むアスペクト比16:9の以下に示す領域がズーム画像用の切り出し領域として決定される。図14Cは、合成部105にて合成された表示画像の例を示す図である。図14Bで示した切り出し領域が、画面全体の表示領域に拡大されて表示され
る。
フォーカス対象領域情報1:(1600,480,720,720)
切り出し領域1:(1320,480,1280,720)
本実施形態に係る各表示モードにおける切り出し領域および表示画像について説明する。図14A〜図14Cは、フォーカス対象数が1つであって、表示モードが「ズーム画像表示」である場合の例を示す図である。図14Aは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス対象数は1、フォーカス対象領域情報は以下の通りである。図14Bは、入力画像における切り出し領域を示す図である。ここでは、フォーカス対象領域を含むアスペクト比16:9の以下に示す領域がズーム画像用の切り出し領域として決定される。図14Cは、合成部105にて合成された表示画像の例を示す図である。図14Bで示した切り出し領域が、画面全体の表示領域に拡大されて表示され
る。
フォーカス対象領域情報1:(1600,480,720,720)
切り出し領域1:(1320,480,1280,720)
図15A〜図15Cは、フォーカス対象数が1つであって、表示モードが「マルチモード」である場合の例を示す図である。図15Aは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス対象数は1、フォーカス対象領域情報は以下の通りである。図15Bは、入力画像における切り出し領域を示す図である。ここでは、フォーカス対象領域を含むアスペクト比8:9の以下に示す領域がズーム画像用の切り出し領域として決定される。図15Cは、合成部105にて合成された表示画像の例を示す図である。入力画像が画面左側の表示領域に表示され、図15Bで示した切り出し領域が、画面右側の表示領域に拡大されて表示される。
フォーカス対象領域情報1:(1600,480,720,720)
切り出し領域1:(1600,435,720,810)
フォーカス対象領域情報1:(1600,480,720,720)
切り出し領域1:(1600,435,720,810)
図16A〜図16Bは、フォーカス対象数が2つであって、表示モードが「複数マルチモード」である場合の例を示す図である。図16Aは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス数は2、フォーカス対象領域情報1,2は以下の通りである。図16Bは、入力画像における切り出し領域を示す図である。ここでは、各フォーカス対象領域を含むアスペクト比16:9の以下に示す領域が、ズーム画像用の切り出し領域として決定される。図16Cは、合成部105にて合成された表示画像の例を示す図である。入力画像が、画面左側中央の表示領域に表示され、図16Bで示した2つの切り出し領域が、画面右上および右下の各表示領域に拡大されて表示される。
フォーカス対象領域情報1:(560,640,720,720)
フォーカス対象領域情報2:(1600,480,720,720)
切り出し領域1:(280,640,1280,720)
切り出し領域2:(1320,480,1280,720)
フォーカス対象領域情報1:(560,640,720,720)
フォーカス対象領域情報2:(1600,480,720,720)
切り出し領域1:(280,640,1280,720)
切り出し領域2:(1320,480,1280,720)
図17A〜図17Cは、フォーカス対象数が3つであって、表示モードが「複数マルチモード」である場合の例を示す図である。図17Aは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス数は3、フォーカス対象領域情報1〜3は以下の通りである。図17Bは、入力画像における切り出し領域を示す図である。ここでは、各フォーカス対象領域を含むアスペクト比16:9の以下に示す領域が、ズーム画像用の複数の切り出し領域として決定される。図17Cは、合成部105にて合成された表示画像の例を示す図である。入力画像が、画面左上の表示領域に表示され、図17Bで示した3つの切り出し領域が、画面左下、右上および右下の各表示領域に拡大されて表示される。
フォーカス対象領域情報1:(560,640,720,720)
フォーカス対象領域情報2:(1600,480,720,720)
フォーカス対象領域情報3:(2480,320,720,720)
切り出し領域1:(280,640,1280,720)
切り出し領域2:(1320,480,1280,720)
切り出し領域3:(2200,320,1280,720)
フォーカス対象領域情報1:(560,640,720,720)
フォーカス対象領域情報2:(1600,480,720,720)
フォーカス対象領域情報3:(2480,320,720,720)
切り出し領域1:(280,640,1280,720)
切り出し領域2:(1320,480,1280,720)
切り出し領域3:(2200,320,1280,720)
<本実施形態の有利な効果>
以上説明したように、本実施形態に係る表示装置300は、フォーカスリングの回転位置の変化量およびフォーカス対象数に基づいて、表示モードを決定する。フォーカス対象が2つ以上ある場合には、入力画像と各フォーカス対象に対応する複数のズーム画像とを並べて表示する。このようにすることで、着目するフォーカス対象が複数ある場合においても、フォーカスを微調整する場合には、複数のフォーカス対象のズーム画像をそれぞれ確認しつつ入力画像の全体も同時に確認することが可能となる。
以上説明したように、本実施形態に係る表示装置300は、フォーカスリングの回転位置の変化量およびフォーカス対象数に基づいて、表示モードを決定する。フォーカス対象が2つ以上ある場合には、入力画像と各フォーカス対象に対応する複数のズーム画像とを並べて表示する。このようにすることで、着目するフォーカス対象が複数ある場合においても、フォーカスを微調整する場合には、複数のフォーカス対象のズーム画像をそれぞれ確認しつつ入力画像の全体も同時に確認することが可能となる。
(変形例)
上述の実施形態において、「マルチモード」または「複数マルチモード」における入力画像およびズーム画像は左右または上下にそれぞれ配置する例について説明したが、各画像の配置は特に限定されない。例えば、ズーム画像を全体に表示して、そのうち一部の領域に縮小した入力画像を重畳表示してもよい。この場合、ズーム画像における合焦領域と重ならない位置に入力画像を重畳表示することが好ましい。なお、入力画像を全体に表示して、そのうち一部の領域にズーム画像を表示してもよい。
上述の実施形態において、「マルチモード」または「複数マルチモード」における入力画像およびズーム画像は左右または上下にそれぞれ配置する例について説明したが、各画像の配置は特に限定されない。例えば、ズーム画像を全体に表示して、そのうち一部の領域に縮小した入力画像を重畳表示してもよい。この場合、ズーム画像における合焦領域と重ならない位置に入力画像を重畳表示することが好ましい。なお、入力画像を全体に表示して、そのうち一部の領域にズーム画像を表示してもよい。
上述の例では、切り出し領域は、アスペクト比を固定してサイズを可変としたが、切り出し領域の最大サイズをあらかじめ設定してもよい。
上述の実施形態では、各画像は矩形である例について説明したが、画像のサイズや形状は特に限定されない。例えば、入力画像やズーム画像は円形、楕円形等で表示されてもよい。
上述の実施形態では、マニュアルモード時の動作例について説明したが、オートモード(AF:オートフォーカス)時に上述の処理を行ってもよい。
上述の実施形態では、回転位置や合焦領域の位置またはサイズに基づいて表示モードを決定する例について説明したが、単位時間あたりのピント位置の変化量、入力画像の変化量(例えばヒストグラムの変化量)に基づいて表示モードを決定してもよい。また、ピント位置を操作する対象(表示装置、撮像装置など)によって、表示モードを決定してもよい。また、単位時間あたりのピント位置の変化量や入力画像の変化量に基づいて拡大する領域(切り出し領域)を決定してもよい。
上述の実施形態では、表示装置単体で処理を行う例について説明したが、表示装置とは別体の表示制御装置を用いて上記処理を行ってもよい。この場合、光学系と、光学系により形成された被写体像を撮像する撮像手段と、当該表示制御装置と、を含む撮像装置によって上述の処理が実行されてもよい。
(その他)
以上、本発明の実施の形態、及びいくつかの実施の形態をもとに説明した。これらの任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。また本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
以上、本発明の実施の形態、及びいくつかの実施の形態をもとに説明した。これらの任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。また本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また
、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:表示装置 101:入力部 102:付加情報取得部
103:表示形態決定部 104:ズーム画像生成部 105:合成部
103:表示形態決定部 104:ズーム画像生成部 105:合成部
Claims (14)
- 撮像装置によって撮像される画像である入力画像を取得する入力手段と、
前記入力画像のうち一部の領域を拡大した画像である1つ以上のズーム画像を生成する生成手段と、
前記撮像装置のフォーカス情報を取得する取得手段と、
前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定手段と、
を有することを特徴とする表示制御装置。 - 前記決定手段は、前記入力画像を取得する前の所定の時間内における前記フォーカス情報の変化量に基づいて、
前記変化量が0である場合は前記入力画像を、
前記変化量が所定の値より小さい場合は前記ズーム画像を、
前記変化量が所定の値より大きい場合は前記入力画像および前記ズーム画像を、前記表示手段に表示する画像として決定する、
ことを特徴とする請求項1に記載の表示制御装置。 - 前記決定手段は、前記変化量が所定の値より大きい場合、かつ複数の前記ズーム画像が生成された場合は、前記入力画像と複数の前記ズーム画像とを並べた画像を、前記表示手段に表示する画像として決定する、
ことを特徴とする請求項2に記載の表示制御装置。 - 前記フォーカス情報は、前記撮像装置がマニュアルフォーカスモードである場合のフォーカスに関する情報である、
ことを特徴とする請求項1から3のいずれか一項に記載の表示制御装置。 - 前記フォーカス情報は、光学系の焦点距離を含む、
ことを特徴とする請求項1から4のいずれか一項に記載の表示制御装置。 - 前記フォーカス情報は、光学系の絞りを含む、
ことを特徴とする請求項1から5のいずれか一項に記載の表示制御装置。 - 前記フォーカス情報は、前記入力画像における合焦領域の位置を含む、
ことを特徴とする請求項1から6のいずれか一項に記載の表示制御装置。 - 前記フォーカス情報は、前記入力画像における合焦領域のサイズを含む、
ことを特徴とする請求項1から7のいずれか一項に記載の表示制御装置。 - 前記生成手段は、合焦領域を含むように前記ズーム画像を生成する、
ことを特徴とする請求項1から8のいずれか一項に記載の表示制御装置。 - 前記生成手段は、前記合焦領域が複数存在する場合、少なくとも2つの合焦領域についてそれぞれ前記ズーム画像を生成する、
ことを特徴とする請求項9に記載の表示制御装置。 - 光学系と、
前記光学系により形成された被写体像を撮像する撮像手段と、
請求項1から10のいずれか一項に記載の表示制御装置と、
を含むことを特徴とする撮像装置。 - 撮像装置によって撮像される画像である入力画像を取得する入力ステップと、
前記入力画像のうち一部の領域を拡大した画像である1つ以上のズーム画像を生成する生成ステップと、
前記撮像装置のフォーカス情報を取得する取得ステップと、
前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定ステップと、
を有することを特徴とする表示装置の制御方法。 - コンピュータを、請求項1から10のいずれか一項に記載された表示制御装置の各手段として機能させるためのプログラム。
- 請求項13に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227505A JP2020092315A (ja) | 2018-12-04 | 2018-12-04 | 表示制御装置、撮像装置、表示装置の制御方法、プログラム、および記憶媒体 |
US16/700,665 US11184545B2 (en) | 2018-12-04 | 2019-12-02 | Display control apparatus, imaging apparatus, control method for display apparatus, and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227505A JP2020092315A (ja) | 2018-12-04 | 2018-12-04 | 表示制御装置、撮像装置、表示装置の制御方法、プログラム、および記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020092315A true JP2020092315A (ja) | 2020-06-11 |
Family
ID=70850959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018227505A Pending JP2020092315A (ja) | 2018-12-04 | 2018-12-04 | 表示制御装置、撮像装置、表示装置の制御方法、プログラム、および記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11184545B2 (ja) |
JP (1) | JP2020092315A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022071271A1 (ja) * | 2020-09-30 | 2022-04-07 | 富士フイルム株式会社 | 撮像装置、画像処理方法及び画像処理プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7210388B2 (ja) * | 2019-06-25 | 2023-01-23 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
US11632601B1 (en) | 2021-11-11 | 2023-04-18 | Qualcomm Incorporated | User interface for camera focus |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1531619B1 (en) | 1997-01-20 | 2008-03-26 | Matsushita Electric Industrial Co., Ltd. | Digital camera with interchangeable displays |
JP4717766B2 (ja) * | 2006-09-14 | 2011-07-06 | キヤノン株式会社 | 画像表示装置、撮像装置、画像表示方法、記憶媒体、及び、プログラム |
JP2008116844A (ja) * | 2006-11-07 | 2008-05-22 | Olympus Corp | 撮像装置 |
JP4959535B2 (ja) * | 2007-12-13 | 2012-06-27 | 株式会社日立製作所 | 撮像装置 |
JP5223644B2 (ja) * | 2008-12-15 | 2013-06-26 | パナソニック株式会社 | 撮像装置 |
JP5363157B2 (ja) | 2009-03-24 | 2013-12-11 | オリンパスイメージング株式会社 | 撮影装置およびライブビュー表示方法 |
JP5218388B2 (ja) * | 2009-12-25 | 2013-06-26 | カシオ計算機株式会社 | 撮像装置、撮像装置の制御方法、およびプログラム |
JP2018006995A (ja) | 2016-06-30 | 2018-01-11 | 株式会社ニコン | 撮像装置、表示装置、画像処理プログラム |
-
2018
- 2018-12-04 JP JP2018227505A patent/JP2020092315A/ja active Pending
-
2019
- 2019-12-02 US US16/700,665 patent/US11184545B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022071271A1 (ja) * | 2020-09-30 | 2022-04-07 | 富士フイルム株式会社 | 撮像装置、画像処理方法及び画像処理プログラム |
JPWO2022071271A1 (ja) * | 2020-09-30 | 2022-04-07 | ||
JP7305060B2 (ja) | 2020-09-30 | 2023-07-07 | 富士フイルム株式会社 | 撮像装置、画像処理方法及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200177818A1 (en) | 2020-06-04 |
US11184545B2 (en) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101915369B1 (ko) | 표시 제어 장치 및 컴퓨터 판독가능 기록 매체 | |
US10389946B2 (en) | Image display device displaying partial areas and positional relationship therebetween | |
US9443335B2 (en) | Using narrow field of view monochrome camera for producing a zoomed image | |
JP2016208307A (ja) | 画像処理装置、その制御方法及びプログラム | |
CN112367459B (zh) | 图像处理方法、电子装置及非易失性计算机可读存储介质 | |
JPWO2011162227A1 (ja) | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム | |
JP6562773B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
CN113875220B (zh) | 拍摄防抖方法、装置、终端及存储介质 | |
JP2020092315A (ja) | 表示制御装置、撮像装置、表示装置の制御方法、プログラム、および記憶媒体 | |
JP2010050502A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2019176249A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 | |
JP2015012481A (ja) | 画像処理装置 | |
JP6116436B2 (ja) | 画像処理装置および画像処理方法 | |
JP5889022B2 (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
JP2018006995A (ja) | 撮像装置、表示装置、画像処理プログラム | |
WO2014034137A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2017212550A (ja) | 画像再生装置及びその制御方法、プログラム、記憶媒体 | |
JP2019047145A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
KR100579135B1 (ko) | 수렴형 3차원 다시점 영상 획득 방법 | |
JP5718502B2 (ja) | 画像作成装置及び画像作成方法 | |
JP6443505B2 (ja) | プログラム、表示制御装置及び表示制御方法 | |
JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 | |
JP6828069B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2019041188A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |