JP2020092315A - 表示制御装置、撮像装置、表示装置の制御方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】フォーカスの調整に応じて適切な表示切替を行う。【解決手段】本発明の表示制御装置は、撮像装置によって撮像される画像である入力画像を取得する入力手段と、前記入力画像のうち一部の領域を拡大した画像である１つ以上のズーム画像を生成する生成手段と、前記撮像装置のフォーカス情報を取得する取得手段と、前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定手段と、を有する。【選択図】図１

Description

本発明は、表示制御装置、撮像装置、表示システム、表示装置の制御方法、プログラム、および記憶媒体に関する。

近年、映像の高解像度化が進んでおり、高解像度映像（例えば、４Ｋ、８Ｋ映像）の臨場感を表現するために、撮影時における被写体に対する正確なフォーカス合わせは非常に重要な要素になっている。

高解像度映像をマニュアルフォーカスによって微調整する場合、入力画像の全体を表示した状態では目視による調整が難しいため、映像表示装置のズーム機能を使用してズーム画像を表示した状態でフォーカス合わせが行われている。また、自動でズーム表示する機能として、フォーカスの調整操作と連動して、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ
Ｆｉｎｄｅｒ）上に合焦した被写体をズームした画像を表示する機能がある。しかし、フォーカス合わせ時にズーム画面が表示されると、映像の全体像が見られなくなってしまう。そのため、ユーザが合焦した領域以外の合焦度合やボケ具合等、映像全体を同時に確認したいような場合、都度ズーム表示のオン／オフを切り替える必要があった。

ここで、ズーム画像と入力画像の全体とを同時に確認可能な技術が提案されている。特許文献１には、画像内の合焦領域を拡大表示したズーム画像用の子画面を生成し、入力画像内の合焦領域に重ならない位置にズーム画像を表示する技術が開示されている。

特開２０１０−２２６４９６号公報

しかしながら、特許文献１の技術では、入力画像と同時にズーム画像を確認できる一方で、合焦領域におけるフォーカスを微調整する場合には、サイズの小さい子画面では十分な解像度での確認ができない。そのため、確認用途に応じてズーム画像のみを表示させる設定へ切り替える必要があり手間が生じていた。

そこで、本発明では、フォーカスの調整に応じて適切な表示切替を行う技術を提供することを目的とする。

本発明の一態様は、
撮像装置によって撮像される画像である入力画像を取得する入力手段と、
前記入力画像のうち一部の領域を拡大した画像である１つ以上のズーム画像を生成する生成手段と、
前記撮像装置のフォーカス情報を取得する取得手段と、
前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定手段と、
を有することを特徴とする表示制御装置である。

本発明の一態様は、
光学系と、
前記光学系により形成された被写体像を撮像する撮像手段と、
上述の表示制御装置と、
を含むことを特徴とする撮像装置である。

本発明の一態様は、
撮像装置によって撮像される画像である入力画像を取得する入力ステップと、
前記入力画像のうち一部の領域を拡大した画像である１つ以上のズーム画像を生成する生成ステップと、
前記撮像装置のフォーカス情報を取得する取得ステップと、
前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定ステップと、
を有することを特徴とする表示装置の制御方法である。

本発明の一態様は、コンピュータを、上記の表示制御装置の各手段として機能させるためのプログラムである。

本発明の一態様は、上記プログラムを記憶するコンピュータが読み取り可能な記憶媒体である。

本発明によれば、フォーカスの調整に応じて適切な表示切替を行う技術を提供することができる。

実施形態１に係る表示装置の機能ブロック図 実施形態１に係るレンズの一例を示す図 実施形態１に係る合焦領域の一例を示す図 実施形態１に係る表示形態決定処理の一例を示すフローチャート 実施形態１に係るズーム画像生成処理の一例を示すフローチャート 実施形態１に係る切り出し領域の一例を示す図 実施形態１に係る切り出し領域の一例を示す図 実施形態１に係る画像表示の一例を示す図 実施形態２に係る表示形態決定処理の一例を示すフローチャート 実施形態２に係る合焦領域の一例を示す図 実施形態３に係るフォーカス対象の一例を示す図 実施形態３に係る表示形態決定処理の一例を示すフローチャート 実施形態３に係るズーム画像生成処理の一例を示すフローチャート 実施形態３に係る画像表示の一例を示す図 実施形態３に係る画像表示の一例を示す図 実施形態３に係る画像表示の一例を示す図 実施形態３に係る画像表示の一例を示す図

（実施形態１）
＜概要＞
以下、本実施形態に係る表示装置について説明する。本実施形態に係る表示装置は、撮像装置によって撮像された画像（動画を含む）をライブビュー表示（ＬＶ表示）するための表示装置である。また、本実施形態に係る表示装置は、マニュアルフォーカスモードで
フォーカスを合わせる際に、撮像装置のフォーカス情報に基づいて、撮像画像の表示を、ズーム画像、または入力画像＋ズーム画像に切り替える。以下、本実施形態に係る表示装置の全体構成、処理内容について順に説明する。

＜全体構成＞
図１は、本実施形態に係る表示装置１００の機能ブロック図である。表示装置１００は、演算装置（プロセッサ）、メモリ、記憶装置、入出力装置等を含む情報処理装置（コンピュータ）でもある。記憶装置に格納されたプログラムを表示装置１００が実行することで、表示装置１００の後述する機能が提供される。それらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。

入力部１０１は、表示装置１００とケーブルを介して接続される撮像装置（不図示）から画像データ（入力画像、画像信号）を取得する機能部である。本実施形態では、ライブビュー画像（ＬＶ画像）を入力画像として取得するが取得する対象はＬＶ画像に限定されない。表示装置１００は、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格に準じたＳＤＩ入力端子を備えている場合、入力部１０１は、当該規格に準じたＳＤＩ信号を取得する。入力部１０１は、取得した画像データを、後述する付加情報取得部１０２、合成部１０５およびズーム画像生成部１０４に出力する。なお、表示装置１００は、ケーブルを用いずに無線通信等を用いて撮像装置から画像を取得してもよい。

付加情報取得部１０２は、画像信号に付加された付加情報を取得する機能部である。本実施形態において、付加情報には後述するフォーカスリングの回転位置情報および合焦領域情報が含まれる。付加情報取得部１０２は、取得したフォーカスリングの回転位置情報を後述する表示形態決定部１０３へ出力する。また、付加情報取得部１０２は、取得した合焦領域情報を後述するズーム画像生成部１０４へ出力する。

回転位置情報は、フォーカスリングの回転位置を示す情報（フォーカス情報）である。ここで、フォーカスリングとは、撮像装置に装着されるレンズ部（光学系）に設置され、ユーザが焦点距離を調整するために回転させる環である。

図２は、撮像装置用のレンズ部２０１およびフォーカスリング２０２を示す。ユーザはフォーカスリング２０２を回転させることによりフォーカス（焦点距離）を調整する。フォーカスリングの回転位置情報は、フォーカスリング２０２の基準回転位置に対して現在の回転位置を示す情報である。本実施形態では、フォーカスリングの可動範囲は基準回転位置から３６０度とする。そして、回転位置情報は、基準回転位置からの回転角度を表した数値（０〜３５９）で表される。なお、付加情報取得部１０２は、光学系の焦点距離をフォーカス情報として取得してもよい。

合焦領域情報は、入力画像における合焦している箇所（合焦領域）を示す情報である。ここで、合焦しているとは、被写体距離が被写界深度の範囲内である状態である。本実施形態では、合焦領域情報は、入力画像を複数のブロック（小領域）に分割した場合の、各ブロックの合焦率を示すデータで表される。合焦率は、各ブロックに含まれる画素のうち合焦している画素の割合である（以下の式１）。ここで、合焦画素とは、ブロック内における画素のうち、合焦している画素を示す。なお、画素が合焦しているか否かは、上述の通り被写体距離が被写界深度内か否かや、コントラスが大きいか否か等、既存の手法を用いて判断することができる。

合焦率＝（ブロック内の合焦画素数／ブロック内の全画素数）×１００ ・・・（１）

図３Ａ〜図３Ｃは、入力画像と合焦領域情報とを示す図である。図３Ａは入力画像の一例である。図３Ａに示す入力画像は、中央の被写体３０１を撮像して得られた画像であって、その他の被写体は存在しないものとする。図３Ｂは、入力画像と当該入力画像を複数の小領域に分割するブロックとを示す図である。本実施形態では、水平方向に１６分割、垂直方向に９分割する例について説明する。図３Ｃは、ブロック毎の合焦率を示す。図３Ｃでは、被写体３０１のうち入力画像の中心にピントを合わせている。よって、合焦している画素を多く含むブロックの合焦率は大きくなり、合焦している画素が少ないまたは含まれないブロックの合焦率は小さくなっている。

表示形態決定部１０３は、回転位置情報に基づいて、表示モード（表示形態）を決定する機能部である。具体的には、表示形態決定部１０３は、回転位置情報の変化量に応じて表示形態を決定する。表示形態を決定する処理の詳細については後述する。表示形態決定部１０３は、決定した表示形態を表示形態情報として後述するズーム画像生成部１０４および合成部１０５へ出力する。

表示形態情報は、後述する表示部１０６に表示する表示モードを示す情報である。表示モードには、「全体モード」、「ズームモード」、および「マルチモード」が含まれる。「全体モード」は、入力画像のみを表示部１０６に表示するモードである。「ズームモード」は、ズーム画像のみを表示部１０６に表示するモードである。「マルチモード」は、入力画像とズーム画像の両方の画像を表示部１０６に表示するモードである。

ズーム画像生成部１０４は、合焦領域情報および表示形態情報に基づいて、ズーム画像を生成する機能部である。ズーム画像は、入力画像のうち一部の領域を拡大した画像である。ズーム画像生成部１０４は、合焦領域を含むようにズーム画像を生成する。ズーム画像生成部１０４は、生成したズーム画像を合成部１０５へ出力する。ズーム画像を生成する処理の詳細は、後述する。

合成部１０５は、表示部１０６に表示する画像を生成する機能部である。本実施形態では、合成部１０５は、入力画像、ズーム画像、および表示形態情報に基づいて画像（合成画像）を生成する。合成部１０５は、生成した合成画像を表示部１０６へ出力する。

表示部１０６は、合成部１０５から出力される合成画像を表示する液晶パネル（ディスプレイ）である。なお、表示部１０６の構成は特に限定されず、例えば、液晶パネルではなくＯＬＥＤパネル等でもよい。

＜処理内容＞
≪表示形態決定処理≫
図４は、表示形態決定部１０３における表示モード（表示形態）を決定する処理（表示形態決定処理）を示すフローチャートである。本実施形態では、表示形態決定部１０３が、付加情報取得部１０２から表示形態を決定する処理の開始指示および回転位置情報を入力すると本処理を開始する。また、本実施形態では、所定のフレーム毎に本処理が実行される。なお、付加情報取得部１０２は、付加情報に回転位置情報が含まれていない場合においても本処理を開始してもよい。この場合、表示形態決定部１０３は、回転位置情報として基準回転位置を回転位置として用いればよい。

ステップＳ４０１では、表示形態決定部１０３は、記憶部（不図示）に保持される前回の回転位置と回転位置情報に含まれる現在の回転位置とに基づいて、回転位置に変化があるか否かを判断する。変化がある場合はステップＳ４０２へ移行し、そうでない場合はステップＳ４０５へ移行する。本実施形態では、表示形態決定部１０３は、前回の回転位置
情報と現在の回転位置情報との差分が０でない場合に変化があったと判断する。なお、当該差分が所定の値Ｔｈ１以上である場合に変化があったと判断してもよい。所定の値Ｔｈ１は、例えば、上記の回転位置情報の差分が誤操作による誤差であるか否かを判断するための値である。なお、１回目の処理においては、前回の回転位置が取得できないため、差分０の場合と同様にステップＳ４０５へ移行してもよく基準回転位置を前回の回転位置としてもよい。また、記憶部は表示装置１００、撮像装置、および外部装置のいずれの記憶部を用いてもよい。

ステップＳ４０２では、表示形態決定部１０３は、前回の回転位置情報と現在の回転位置情報との変化量が所定の閾値Ｔｈ２（Ｔｈ２＞Ｔｈ１）未満であるか否かを判断する。所定の閾値Ｔｈ２未満である場合はステップＳ４０３へ移行し、そうでない場合はステップＳ４０４へ移行する。

回転位置の変化量は、本実施形態では、前回の回転位置と現在の回転位置との差分の絶対値（すなわち、所定の時間内における回転位置の差分）である。なお、変化量の算出方法は特に限定されず、例えば、所定の位置（例えば、基準回転位置）と現在の回転位置との差分でもよく、所定の時間内における回転位置の移動量の合計でもよい。

ここで、所定の閾値Ｔｈ２は、ユーザによるフォーカスリングの移動が微調整か、大まかな調整かを判断するための値である。例えば、表示形態決定部１０３は、１００［ｍｓ］あたりの回転位置の変化量が５未満か否かによって微調整か大まかな調整かを判断することができる。ここで、６０Ｈｚで動作し、１０フレーム単位でフォーカス回転位置情報を取得可能である場合、最新の入力画像を取得する前の所定の時間（１０×（１／６０）×１０００［ｍｓ］）内における回転位置の移動量の閾値Ｔｈ２は８．３３である（以下の式２）。

Ｔｈ２＝１０×（１／６０）×１０００×（５／１００）
≒８．３３ ・・・（２）

ステップＳ４０３〜ステップＳ４０５では、表示形態決定部１０３は、表示形態を決定する。回転情報の変化量が所定の閾値Ｔｈ２未満である場合（Ｓ４０２−Ｙｅｓ）、表示形態決定部１０３は、「ズームモード」を表示形態として決定する（Ｓ４０３）。また、回転情報の変化量が所定の閾値Ｔｈ２未満でない場合（Ｓ４０２−Ｎｏ）、表示形態決定部１０３は、「マルチモード」を表示形態として決定する（Ｓ４０４）。さらに、回転情報が変化していない場合（Ｓ４０１−Ｎｏ）、表示形態決定部１０３は、「全体モード」を表示形態として決定する（Ｓ４０５）。

ステップＳ４０６では、表示形態決定部１０３は、表示形態情報をズーム画像生成部１０４および合成部１０５へ出力する。

ステップＳ４０７では、表示形態決定部１０３は、記憶部に保持している回転位置を、現在の回転位置に更新する。

図４に示した処理によって、ユーザがフォーカスを微調整する場合はズーム画像を単体表示（ズームモード）し、大まかに調整をする場合は入力画像およびズーム画像をマルチ表示（マルチモード）するように制御が実行される。

≪ズーム画像生成処理≫
図５は、ズーム画像生成部１０４におけるズーム画像を生成する処理（ズーム画像生成
処理）を示すフローチャートである。本実施形態では、ズーム画像生成部１０４は、表示形態決定部１０３から表示形態（表示モード）が入力されると本処理を開始する。

ステップＳ５０１では、ズーム画像生成部１０４は、表示モードがズーム画像を含む画像を表示するモードであるか否かを判断する。本実施形態では、ズーム画像を含む画像を表示するモードは、「ズームモード」または「マルチモード」である。また、ズーム画像を含む画像を表示するモードではない場合は、「全体モード」である。ズーム画像を含む画像を表示するモードである場合はステップＳ５０２へ移行し、そうでない場合はステップＳ５１１へ移行する。

ステップＳ５０２では、ズーム画像生成部１０４は、付加情報取得部１０２より出力される合焦領域情報を取得する。

ステップＳ５０３では、ズーム画像生成部１０４は、合焦率が所定の閾値Ｔｈ３以上であるブロックが存在するか否かを判断する。所定の閾値Ｔｈ３以上のブロックが存在する場合はステップＳ５０４へ移行し、そうでない場合はステップＳ５１１へ移行する。ここで、所定の閾値Ｔｈ３は、ズームすべき領域（対象）が存在するか否かを判断するために用いられる値である。よって、ユーザがフォーカスリングを操作した場合でも合焦領域（ズームすべき領域）が存在しない場合（すべてのブロックの合焦率がＴｈ３未満の場合）はズーム画像を生成および表示しない。本実施形態では、所定の閾値Ｔｈ３を４０とする例について説明する。

ステップＳ５０４では、ズーム画像生成部１０４は、表示モードが「ズームモード」であるか否かを判断する。本実施形態では、表示モードが「ズームモード」でない場合とは、表示モードが「マルチモード」の場合である。表示モードが「ズームモード」である場合はステップＳ５０５へ移行し、そうでない場合はステップＳ５０６へ移行する。

ステップＳ５０５では、ズーム画像生成部１０４は、入力画像のうち「ズームモード」用のズーム画像として切り出す領域を決定する。表示モードが「ズームモード」である場合（Ｓ５０４−Ｙｅｓ）、表示装置１００は、ズーム画像を表示部１０６の全体に表示する。

本実施形態では、入力画像データの解像度および表示部１０６の画面解像度が３８４０×２１６０である例について説明する。この場合、ズーム画像を画面全体（３８４０×２１６０の表示領域）に表示するために、ズーム画像生成部１０４は、合焦率が所定の閾値Ｔｈ３より高いブロックを含み、かつアスペクト比が１６：９となるような領域を切り出し領域として決定する。

図６Ａ〜図６Ｃは、本実施形態における「ズームモード」用のズーム画像を生成する処理の一例を示す図である。図６Ａは、図３Ａで示した入力画像におけるブロック毎の合焦率の一例を示す図である。本実施形態では、ズーム画像生成部１０４は、図６Ａで示すように、合焦率が４０（所定の値Ｔｈ３）以上のブロックのみを切り出し領域としている。図６Ｂは、切り出し領域を示す図である。図６Ｂに示すように、ズーム画像生成部１０４は、合焦率が４０以上のブロック群のうち最も合焦率が高いブロックが中央に配置される領域（アスペクト比１６：９）を切り出し領域として決定する。なお、切り出し領域の決定方法は特に限定されず、合焦率が所定の閾値以上Ｔｈ３であるブロックが切り出し領域内に１つ以上含まれていればよい。図６Ｃは、入力画像のうちズーム画像として切り出された領域を示す。

ステップＳ５０６では、ズーム画像生成部１０４は、入力画像のうち「マルチモード」
用のズーム画像として切り出す領域を決定する。表示モードが「マルチモード」である場合（Ｓ５０４−Ｎｏ）、表示装置１００は、ズーム画像を表示部１０６の一部の領域に表示する。

本実施形態では、ズーム画像生成部１０４は、ズーム画像を表示部１０６における画面の右半分の領域（例えば、１９２０×２１６０の表示領域）に表示する例について説明する。この場合、ズーム画像を当該右半分の領域に表示するために、ズーム画像生成部１０４は、合焦率が所定の閾値Ｔｈ３より高いブロックを含み、かつアスペクト比が８：９となるような領域を切り出し領域として決定する。なお、入力画像は表示部１０６における画面の左半分の領域（例えば、１９２０×１０８０の表示領域）に縮小されて表示される。

図７Ａ〜図７Ｃは、本実施形態における「マルチモード」用のズーム画像を生成する処理の一例を示す図である。図７Ａは、図６Ａと同様に、図３Ａで示した入力画像におけるブロック毎の合焦率の一例を示す図である。図７Ｂは、切り出し領域を示す図である。図７Ｂに示すように、ズーム画像生成部１０４は、合焦率が４０以上のブロック群のうち最も合焦率が高いブロックが中央に配置される領域（アスペクト比８：９）を切り出し領域として決定する。なお、切り出し領域の決定方法は特に限定されず、合焦率が所定の閾値以上Ｔｈ３であるブロックが切り出し領域内に１つ以上含まれていればよい。図７Ｃは、入力画像のうちズーム画像として切り出された領域を示す。

ステップＳ５０７では、ズーム画像生成部１０４は、ズーム画像の拡大率が所定の値Ｔｈ４以上であるか否かを判断する。拡大率は、切り出し領域のサイズに対するズーム画像を表示する領域のサイズの比である。拡大率が所定の値Ｔｈ４以上である場合はステップＳ５０８へ移行し、そうでない場合はステップＳ５０９へ移行する。

ここで、合焦率が所定の閾値Ｔｈ３以上であるブロックが多く存在する場合、切り出し領域が大きくなることにより拡大率が小さくなってしまう。そこで、切り出し領域をズーム表示するか否かを判断するための拡大率の指標値として所定の閾値Ｔｈ４を用いる。そして、上述した合焦率における所定の閾値Ｔｈ３を調整することにより当該切り出し領域のサイズを制限する。所定の閾値Ｔｈ３を調整する処理（ステップＳ５０９）については後述する。例えば、所定の閾値Ｔｈ４は１．５とするとよい。この場合、ズーム画像の表示領域が３８４０×２１６０であれば、切り出し領域が２５６０×１４４０以下でなければズーム処理は行われない。同様に、ズーム画像の表示領域が１９２０×２１６０であれば、切り出し領域が１２８０×１４４０以下でなければズーム処理は行われない。

ステップＳ５０８では、ズーム画像生成部１０４は、上述の切り出し領域内の画像を、各々の表示領域のサイズに一致するように拡大したズーム画像を生成する。本実施形態では、表示領域のサイズは、「ズームモード」の場合は３８４０×２１６０、「マルチモード」の場合は１９２０×２１６０である。

ステップＳ５０９では、ズーム画像生成部１０４は、合焦率における所定の閾値Ｔｈ３を調整する。所定の閾値Ｔｈ３の調整は、拡大率が所定の閾値Ｔｈ４以下の場合（Ｓ５０７−Ｎｏ）、切り出し領域のサイズを制限するために行われる。調整後の所定の閾値Ｔｈ３を用いて、ステップＳ５０７の処理を再度実行する。

本実施形態では、ズーム画像生成部１０４は、現在の合焦率における所定の閾値Ｔｈ３に対して５ポイントずつ増加させる。すなわち、１回目の調整処理（Ｓ５０９）では所定の閾値Ｔｈ３は４５に調整される。また、２回目の調整処理では所定の閾値Ｔｈ３は５０に調整される。このように、合焦率における閾値を増加させることで、より合焦率の高い
領域を切り出し対象とすることになり、切り出し領域のサイズを制限する。なお、合焦率の閾値を増加させたことで対象ブロックが存在しなくなる場合は、例えば、ズーム画像生成部１０４は、前回の切り出し領域において最も合焦率が高いブロックを中心とする上限サイズの領域を切り出し領域として取得してもよい。

ステップＳ５１０では、ズーム画像生成部１０４は、ステップＳ５０９において生成されたズーム画像を合成部１０５へ出力する。

ステップＳ５１１では、ズーム画像生成部１０４は、ズーム画像の生成処理を行わず本処理を終了する。

図５に示した処理によって、ズームモードまたはマルチモード時に、入力画像の全体において、合焦率の高い領域が拡大されたズーム画像が生成される。

＜画像表示例＞
図８Ａ〜図８Ｃは、本実施形態の各表示モードにおける表示例である。図８Ａは、「全体モード」で入力画像（図３Ａと同様）を全体表示した例を示す。図８Ｂは、「ズームモード」でズーム画像を全体表示した例である。図８Ｂに示す画像は、ステップＳ５０５の処理において図６Ｃの実線で囲まれた切り出し領域が拡大されたズーム画像が表示される。図８Ｃは、「マルチモード」で入力画像およびズーム画像をそれぞれ表示した例を示す。表示画面の左側には図３Ａで示した入力画像を縮小した画像が表示される。また、表示画面の右側にはステップＳ５０６の処理において図７Ｃの実線で囲まれた切り出し領域が拡大されたズーム画像が表示される。

＜本実施形態の有利な効果＞
以上説明したように、本実施形態に係る表示装置１００は、フォーカスリングの回転位置の変化量に基づいて画像の表示形態（表示モード）を決定する。そして、変化量が小さい場合は、表示装置１００は、ズーム画像を単一で画面全体に表示するように制御する。また、変化量が大きい場合は、表示装置１００は、入力画像とズーム画像とを画面左右に並べて表示するように制御する。このようにすることで、ユーザがフォーカスを微調整する場合には、ズーム画像のみをじっくりと確認することができる。また、ユーザがフォーカスをおおまかに調整する場合には、ズーム画像を確認しつつ画像の全体も同時に確認することが可能となる。

（実施形態１の変形例）
上述の実施形態において、撮像装置のレンズに設置されたフォーカスリングの回転位置（焦点距離）の変化量から表示形態を判定する例を説明したが、レンズの絞り（被写界深度）に応じて表示形態を決定してもよい。この場合、表示装置は、絞りが変化した場合に当該絞りの変化量に応じて表示モードを「ズームモード」または「マルチモード」に決定する。例えば、絞りが大きく変更された場合に、表示装置は「マルチモード」でズーム画像および入力画像を表示する。このようにすることで、ユーザは当該特定の被写体のズーム画像を見ながら絞りを調整すると同時に、入力画像によって全体のバランスを確認することができる。

上述の実施形態において、合焦領域情報に基づいてブロック単位で合焦率を算出する例について説明したが、合焦領域の算出方法は特に限定されない。例えば、画素単位で合焦領域を求めてもよい。

上述の実施形態において、切り出し領域は合焦率が最も高いブロックを中心とする領域である例について説明したが、合焦率が所定の閾値Ｔｈ３以上であるブロックが含まれる
領域であればよい。また、合焦率が所定のＴｈ３以上であるブロックが１つ以上含まれる領域を切り出し領域としてもよい。

（実施形態２）
＜概要＞
上述の実施形態１では、フォーカスリングの回転位置の変化量に基づいて表示モードを決定したが、本実施形態では、合焦領域の位置やサイズの変化量に基づいて表示モードを決定する例について説明する。合焦領域の位置が変化する場合とは、例えば、奥行の異なる複数の対象物間でフォーカスを切り替えるような場合が挙げられる。また、合焦領域のサイズが変化する場合とは、動いている対象物に対してフォーカスを追尾させるような場合が挙げられる。以下、実施形態１と同様の機能を有する機能部については、同じ番号を付し説明を省略する。

＜全体構成＞
本実施形態に係る表示装置１００は、実施形態１の表示装置１００と同様の構成であるが、付加情報取得部１０２、表示形態決定部１０３の機能が異なる。

付加情報取得部１０２は、画像信号に付加された付加情報を取得する機能部である。本実施形態において、付加情報にはフォーカスリングの回転位置情報および合焦領域情報が含まれる。本実施形態では、付加情報取得部１０２は、取得した回転位置情報および合焦領域情報を後述する表示形態決定部１０３へ出力する。また、上述の実施形態１と同様に、付加情報取得部１０２は、取得した合焦領域情報をズーム画像生成部１０４へ出力する。

表示形態決定部１０３は、回転位置情報および合焦領域情報に基づいて、表示モード（表示形態）を決定する機能部である。具体的には、表示形態決定部１０３は、合焦領域の位置またはサイズの変化量に応じて表示形態を決定する。表示形態を決定する処理の詳細については後述する。表示形態決定部１０３は、決定した表示形態をするズーム画像生成部１０４および合成部１０５へ出力する。

＜処理内容＞
≪表示形態決定処理≫
図９は、表示形態決定部１０３の処理の流れを示すフローチャートである。ステップＳ４０１の処理は、実施形態１と同様のため説明を省略する。

ステップＳ９０１では、表示形態決定部１０３は、合焦領域情報に基づいて合焦領域の位置の変化量が所定の閾値Ｔｈ５未満であるか否かを判断する。所定の閾値Ｔｈ５未満である場合はステップＳ９０２へ移行し、そうでない場合はステップＳ４０４へ移行する。本実施形態では、上記の位置として合焦率が４０以上のブロックを含む領域の中心位置が用いられる。

中心位置の変化量は、本実施形態では、前回の中心位置と現在の中心位置との差分の絶対値（すなわち、所定の時間内における中心位置の差分）である。なお、変化量の算出方法は特に限定されず、例えば、所定の位置（例えば、基準回転位置）と現在の中心位置との差分でもよく、所定の時間内における中心位置の移動量の合計でもよい。なお、合焦領域の位置は、中心位置でなくてもよく、例えば、最も合焦率が高いブロックを合焦領域の位置として用いてもよい。

ここで、所定の閾値Ｔｈ５は、撮像装置のフォーカスが異なる対象物に切り替わったか否かを判断するための値である。例えば、表示形態決定部１０３は、１００［ｍｓ］あた
りの中心位置（座標値）の変化量が１００画素未満か否かによって上記の判断を行うことができる。ここで、６０Ｈｚで動作し、１０フレーム単位で合焦領域情報を取得可能である場合、最新の入力画像取得前の所定の時間（１０×（１／６０）×１０００［ｍｓ］）内における中心位置の移動量の閾値Ｔｈ５は、１６７画素である（以下の式３）。

Ｔｈ５＝１０×（１／６０）×１０００×（５／１００）
≒１６７ ・・・（３）

ステップＳ９０２では、表示形態決定部１０３は、合焦領域情報に基づいて合焦領域のサイズの変化量が所定の閾値Ｔｈ６未満であるか否かを判断する。所定の閾値Ｔｈ６未満である場合はステップＳ４０３へ移行し、そうでない場合はステップＳ４０４へ移行する。本実施形態では、上記のサイズとして合焦率が４０以上であるブロックの個数が用いられる。

サイズの変化量は、本実施形態では、前回のサイズと現在のサイズとの差分の絶対値（すなわち、所定の時間内におけるサイズの差分）である。なお、変化量の算出方法は特に限定されず、例えば、所定のサイズ（例えば、基準サイズ）と現在の中心位置との差分でもよく、所定の時間内におけるサイズの変化量の合計でもよい。なお、合焦領域のサイズは、上記に限定されず、例えば、合焦領域の面積（合焦している画素数の合計値）であってもよい。

ここで、所定の閾値Ｔｈ６は、フォーカスが合っている対象物の位置（例えば奥行）が大きく変わっているか否かを判断するための値である。例えば、表示形態決定部１０３は、１００［ｍｓ］あたりのサイズの変化量が７未満か否かによって上記の判断を行うことができる。ここで、６０Ｈｚで動作し、１０フレーム単位で合焦領域情報を取得可能である場合、最新の入力画像取得前の所定の時間（１０×（１／６０）×１０００［ｍｓ］）内におけるサイズの変化量の閾値Ｔｈ６は、１１．６である（以下の式４）。

Ｔｈ６＝１０×（１／６０）×１０００×（７／１００）
≒１１．６ ・・・（４）

ステップＳ４０３〜Ｓ４０７の処理については、実施形態１と同様であるため説明を省略する。

ステップＳ９０３では、表示形態決定部１０３は、記憶部に保持している回転位置および合焦領域のサイズ（本実施形態では、合焦ブロック数）を、現在の回転位置および現在の合焦領域のサイズに更新して処理を終了する。

図９に示した処理によって、合焦領域の位置やサイズの変化が小さいような場合はズーム画像を単体表示（ズームモード）し、当該変化が大きい場合は入力画像およびズーム画像をマルチ表示（マルチモード）するように制御が実行される。

図１０Ａ〜図１０Ｃは、合焦領域の中心位置およびサイズの変化を示す図である。図１０Ａは、合焦領域情報、合焦領域情報に基づく合焦領域の中心位置、および合焦領域のサイズの例を示す。

図１０Ｂは、図１０Ａから所定の時間経過後の合焦領域情報、中心位置、および合焦ブロック数の一例を示す。図１０Ａおよび図１０Ｂを比較すると、合焦領域の中心位置の変
化量は１２００画素である。また、合焦ブロック数の変化量は０である。この場合、中心位置の変化量が所定の閾値Ｔｈ５（１６７画素）以上であるため、表示装置２００は、「マルチモード」で画像を表示する。

図１０Ｃは、図１０Ａから所定の時間経過後の合焦領域情報、中心位置、および合焦ブロック数の一例を示す。図１０Ａおよび図１０Ｃを比較すると、合焦領域の中心位置の変化量は１２０である。また、合焦ブロック数の変化量は、１４である。この場合、合焦ブロック数の変化量が所定の閾値Ｔｈ６（１１．６）以上であるため、表示装置２００は、「マルチモード」で画像を表示する。

＜本実施形態の有利な効果＞
以上説明したように、本実施形態に係る表示装置２００は、フォーカスが合っている場所の位置およびサイズの変化量を参照して表示モードを決定する。位置またはサイズの変化量が小さい場合は、表示装置２００はズーム画像を単一で画面全体に表示する。また、位置またはサイズの変化量が大きい場合は、表示装置２００は全体画像とズーム画像とを左右に並べて表示する。このようにすることで、フォーカスを調整する際に、フォーカスが合っている場所の位置や大きさの変化が小さい場合にはズーム画像のみを確認することができ、変化が大きい場合にはズーム画像を確認しつつ入力画像の全体も同時に確認することが可能となる。

＜実施形態２の変形例＞
上述の実施形態２では、表示装置は、フォーカスリングの回転位置が変化した場合に、表示モードを「ズームモード」または「マルチモード」に設定する例について説明したが、フォーカスリングの回転位置を用いなくてもよい。例えば、表示装置は、合焦領域の位置（中心位置）またはサイズが変化した場合に表示モードを「ズームモード」または「マルチモード」に設定し、変化しない場合に表示モードを「全体モード」に設定してもよい。ここで、フォーカスリングの回転位置が変化せずに合焦領域の位置またはサイズが変化する場合とは、例えば、対象物が移動した場合等が挙げられる。

なお、表示装置は、合焦領域の位置またはサイズのいずれか一方のみを用いて表示モードの設定を行ってもよい。この場合、表示装置は、合焦領域の位置（またはサイズ）が変化した場合にその変化量に応じて表示モードを「ズームモード」または「マルチモード」に設定する。また、表示装置は、合焦領域の位置（またはサイズ）が変化しない場合に表示モードを「全体モード」に設定する。

（実施形態３）
＜概要＞
上述の実施形態では、マルチモードにおいてズーム画像を１つだけ生成する例について説明したが、本実施形態では、複数のフォーカス対象のそれぞれに対して複数のズーム画像を生成する例について説明する。以下、実施形態１と同様の機能を有する機能部については、同じ番号を付し説明を省略する。

＜全体構成＞
本実施形態に係る表示装置１００は、実施形態１の表示装置１００と同様の構成であるが、付加情報取得部１０２、表示形態決定部１０３およびズーム画像生成部１０４の機能が異なる。

付加情報取得部１０２は、画像信号に付加された付加情報を取得する機能部である。本実施形態において、付加情報にはフォーカスリングの回転位置情報およびフォーカス対象情報が含まれる。本実施形態では、付加情報取得部１０２は、取得した回転位置情報およ
びフォーカス対象情報を表示形態決定部１０３へ出力する。また、付加情報取得部１０２は、取得したフォーカス対象情報をズーム画像生成部１０４へ出力する。

フォーカス対象情報は、「フォーカス対象数」および「（各フォーカス対象の）領域情報」を含む情報である。「フォーカス対象数」は、合焦領域の数を示す。本実施形態では、フォーカス対象数は、合焦している領域のうち所定のサイズ未満である領域である。すなわち、入力画像全体が合焦している場合はフォーカス対象数は０である。「領域情報」は、各フォーカス対象に対応する合焦領域情報を示す情報である。本実施形態では、領域情報は、フォーカス対象における始点の座標値（ｘ，ｙ）と、フォーカス対象領域の幅（ｗ）および高さ（ｈ）で示される。

なお、領域情報は上記に限定されず、例えば、フォーカス対象における始点の座標値の代わりに中心位置の座標値を用いてもよい。また、本実施形態では、フォーカス対象領域は矩形である例について説明するが、対象領域の形状は特に限定されず、例えば、上述の実施形態１と同様に合焦領域情報を領域情報として用いてもよい。この場合、表示装置３００は、連続しない合焦領域が複数ある場合にフォーカス対象が複数存在すると判断することができる。

図１１Ａは、フォーカス対象数が３である場合のフォーカス対象情報を示す。図１１Ａに示すように、３つのフォーカス対象のそれぞれに対して、フォーカス対象の領域情報（ｘ，ｙ，ｗ，ｈ）が決定される。図１１Ｂは、３つのフォーカス対象のそれぞれに対応するフォーカス対象領域の例を示す。

表示形態決定部１０３は、回転位置情報およびフォーカス対象情報に基づいて、表示モード（表示形態）を決定する機能部である。本実施形態に係る表示モードには、実施形態１の「全体モード」、「ズームモード」、「マルチモード」に加えて、「複数マルチモード」が含まれる。「複数マルチモード」は、入力画像と複数のズーム画像とを表示部１０６に表示するモードである。表示形態を決定する処理の詳細については、図１２を用いて後述する。表示形態決定部１０３は、決定した表示形態をするズーム画像生成部１０４および合成部１０５へ出力する。

ズーム画像生成部１０４は、フォーカス対象情報および表示形態情報に基づいて、ズーム画像を生成する機能部である。本実施形態では、ズーム画像生成部１０４は、フォーカス対象が複数存在する場合（表示モードが複数マルチモードである場合）は、少なくとも２つの合焦領域についてそれぞれズーム画像を生成する。

＜処理内容＞
≪表示形態決定処理≫
図１２は、表示形態決定部１０３における表示モード（表示形態）を決定する処理（表示形態決定処理）を示すフローチャートである。ステップＳ４０１の処理は、実施形態と同様であるため説明を省略する。

ステップＳ１２０１では、表示形態決定部１０３は、付加情報取得部１０２よりフォーカス対象情報を取得する。

ステップＳ１２０２では、表示形態決定部１０３は、フォーカス対象情報に含まれるフォーカス対象数が１以上であるか否かを判断する。１以上である場合はステップＳ４０２へ移行し、そうでない場合（対象数が０である場合）はステップＳ４０５へ移行する。ここで、フォーカス対象数が０である場合の例として、風景画像等であって画像全体に合焦するよう調整された画像（パンフォーカス画像）や、いずれの対象物にも合焦していない
画像（ボケ画像）等が挙げられる。ステップＳ４０２は実施形態１と同様であるため説明を省略する。

ステップＳ１２０３では、ステップＳ４０２において、フォーカスリングの回転位置の変化量が所定の閾値未満ではない（Ｓ４０２−Ｎｏ）と判断されると、表示形態決定部１０３は、フォーカス対象数が１であるか否かを判断する。フォーカス対象数が１である場合はステップＳ４０４へ移行し、そうでない場合はステップＳ１２０４へ移行する。フォーカス対象数が１ではない場合とは、複数の対象物（例えば複数人の顔など）にフォーカスが当たっている場合である。

ステップＳ１２０４では、表示形態決定部１０３は、「複数マルチモード」を表示形態として決定する。ステップＳ４０３〜Ｓ４０７の処理は、実施形態１と同様であるため説明を省略する。

図１２に示した処理によって、複数のフォーカス対象が存在する場合に、入力画像と複数のズーム画像とを並べて表示することで、当該複数の大まかにフォーカスを調整することができる。

≪ズーム画像生成処理≫
図１３は、ズーム画像生成部１０４におけるズーム画像を生成する処理（ズーム画像生成処理）を示すフローチャートである。本実施形態では、ズーム画像生成部１０４が、表示形態決定部１０３から表示形態情報を入力すると本処理を開始する。

ステップＳ１３０１では、ズーム画像生成部１０４は、表示モードがズーム画像を含む画像を表示するモードであるか否かを判断する。本実施形態では、ズーム画像を含む画像を表示するモードは、「ズームモード」、「マルチモード」または「複数マルチモード」である。また、ズーム画像を含む画像を表示するモードではない場合は、「全体モード」である。ズーム画像を含む画像を表示するモードである場合はステップＳ１３０２へ移行し、そうでない場合はステップＳ１３１０へ移行する。

ステップＳ１３０２では、ズーム画像生成部１０４は、付加情報取得部１０２よりフォーカス対象情報を取得する。

ステップＳ１３０３では、ズーム画像生成部１０４は、表示モードが「ズームモード」であるか否かを判断する。表示モードが「ズームモード」である場合はステップＳ１３０５へ移行し、そうでない場合はステップＳ１３０４へ移行する。

ステップＳ１３０４では、ズーム画像生成部１０４は、表示モードが「マルチモード」であるか否かを判断する。表示モードが「マルチモード」である場合はステップＳ１３０６へ移行し、そうでない場合はステップＳ１３０７へ移行する。

ステップＳ１３０５では、ズーム画像生成部１０４は、入力画像のうち「ズームモード」用のズーム画像として切り出す領域を決定する。本実施形態では、上述の実施形態１と同様に入力画像の解像度および表示部１０６の画面解像度は３８４０×２１６０であって、ズーム可能な最低倍率は１．５倍とする。本実施形態では、ズーム画像を３８４０×２１６０画素の表示領域を有する画面全体に表示する。そのため、ズーム画像生成部１０４は、フォーカス対象領域を含む領域であって、アスペクト比が１６：９、且つ解像度が２５６０×１４４０以下となるような領域を切り出し領域として決定する。なお、切り出し領域がズーム可能な解像度を超えている場合は、ズーム画像生成部１０４は、フォーカス対象領域の中心を含むような２５６０×１４４０の領域を切り出し領域として決定すると
よい。

ステップＳ１３０６では、ズーム画像生成部１０４は、入力画像のうち「マルチモード」用のズーム画像として切り出す領域を決定する。本実施形態では、上述の実施形態１と同様に、ズーム画像を画面右半分（１９２０×２１６０の表示領域）に表示し、ズーム可能な最低倍率は１．５倍とする。そのため、フォーカス対象領域を含む領域であって、アスペクト比が８：９、且つ解像度が１２８０×１４４０以下となるような領域を切り出し領域として決定する。なお、切り出し領域がズーム可能な解像度を超えている場合は、ズーム画像生成部１０４は、フォーカス対象領域の中心を含むような１２８０×１４４０の領域を切り出し領域として決定するとよい。

ステップＳ１３０７では、ズーム画像生成部１０４は、入力画像のうち「複数マルチモード」用のズーム画像として切り出す複数の領域を決定する。本実施形態において、複数のズーム画像を表示する領域の解像度は、画面を上下左右に４分割した際の１つの領域に対応する解像度（１９２０×１０８０）とする。ズーム可能な最低倍率を１．５倍とすると、ズーム画像生成部１０４は、フォーカス対象領域を含む領域であって、アスペクト比が１６：９、且つ解像度が１２８０×７２０以下となるような領域を切り出し領域として決定する。なお、切り出し領域がズーム可能な解像度を超えている場合は、ズーム画像生成部１０４は、フォーカス対象領域の中心を含むような１２８０×７２０の領域を切り出し領域として決定するとよい。

ここで、本実施形態では、ズーム画像を表示するフォーカス対象数の上限が３つである例について説明する。なお、ズーム画像を表示するフォーカス対象数が４つ以上存在する場合は、フォーカス対象領域のうち合焦度合が高い領域を切り出し領域として決定するとよい。なお、フォーカス対象数が４つ以上ある場合は、フォーカス対象の領域情報のうち先頭の３つの領域を切り出し領域として決定してもよい。

ステップＳ１３０８では、ズーム画像生成部１０４は、上述の１つまたは複数の切り出し領域内の画像を各々の表示領域のサイズに一致するように拡大したズーム画像を生成する。

ステップＳ１３０９では、ズーム画像生成部１０４は、ステップＳ１３０８において生成したズーム画像を合成部１０５へ出力する。

ステップＳ１３１０では、表示モードが「全体モード」である場合（Ｓ１３０１−Ｎｏ）は、ズーム画像生成部１０４は、ズーム画像の生成を行わずに本処理を終了する。

図５に示した処理によって、ズーム画像の表示を伴う各種表示形態に応じて、画像全体に対してフォーカス対象情報に含まれるフォーカス対象の位置が拡大されたズーム画像を生成するような制御が実行される。

＜表示例＞
本実施形態に係る各表示モードにおける切り出し領域および表示画像について説明する。図１４Ａ〜図１４Ｃは、フォーカス対象数が１つであって、表示モードが「ズーム画像表示」である場合の例を示す図である。図１４Ａは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス対象数は１、フォーカス対象領域情報は以下の通りである。図１４Ｂは、入力画像における切り出し領域を示す図である。ここでは、フォーカス対象領域を含むアスペクト比１６：９の以下に示す領域がズーム画像用の切り出し領域として決定される。図１４Ｃは、合成部１０５にて合成された表示画像の例を示す図である。図１４Ｂで示した切り出し領域が、画面全体の表示領域に拡大されて表示され
る。

フォーカス対象領域情報１：（１６００，４８０，７２０，７２０）
切り出し領域１：（１３２０，４８０，１２８０，７２０）

図１５Ａ〜図１５Ｃは、フォーカス対象数が１つであって、表示モードが「マルチモード」である場合の例を示す図である。図１５Ａは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス対象数は１、フォーカス対象領域情報は以下の通りである。図１５Ｂは、入力画像における切り出し領域を示す図である。ここでは、フォーカス対象領域を含むアスペクト比８：９の以下に示す領域がズーム画像用の切り出し領域として決定される。図１５Ｃは、合成部１０５にて合成された表示画像の例を示す図である。入力画像が画面左側の表示領域に表示され、図１５Ｂで示した切り出し領域が、画面右側の表示領域に拡大されて表示される。

フォーカス対象領域情報１：（１６００，４８０，７２０，７２０）
切り出し領域１：（１６００，４３５，７２０，８１０）

図１６Ａ〜図１６Ｂは、フォーカス対象数が２つであって、表示モードが「複数マルチモード」である場合の例を示す図である。図１６Ａは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス数は２、フォーカス対象領域情報１，２は以下の通りである。図１６Ｂは、入力画像における切り出し領域を示す図である。ここでは、各フォーカス対象領域を含むアスペクト比１６：９の以下に示す領域が、ズーム画像用の切り出し領域として決定される。図１６Ｃは、合成部１０５にて合成された表示画像の例を示す図である。入力画像が、画面左側中央の表示領域に表示され、図１６Ｂで示した２つの切り出し領域が、画面右上および右下の各表示領域に拡大されて表示される。

フォーカス対象領域情報１：（５６０，６４０，７２０，７２０）
フォーカス対象領域情報２：（１６００，４８０，７２０，７２０）
切り出し領域１：（２８０，６４０，１２８０，７２０）
切り出し領域２：（１３２０，４８０，１２８０，７２０）

図１７Ａ〜図１７Ｃは、フォーカス対象数が３つであって、表示モードが「複数マルチモード」である場合の例を示す図である。図１７Ａは、入力画像におけるフォーカス対象領域を示す図である。この場合、フォーカス数は３、フォーカス対象領域情報１〜３は以下の通りである。図１７Ｂは、入力画像における切り出し領域を示す図である。ここでは、各フォーカス対象領域を含むアスペクト比１６：９の以下に示す領域が、ズーム画像用の複数の切り出し領域として決定される。図１７Ｃは、合成部１０５にて合成された表示画像の例を示す図である。入力画像が、画面左上の表示領域に表示され、図１７Ｂで示した３つの切り出し領域が、画面左下、右上および右下の各表示領域に拡大されて表示される。

フォーカス対象領域情報１：（５６０，６４０，７２０，７２０）
フォーカス対象領域情報２：（１６００，４８０，７２０，７２０）
フォーカス対象領域情報３：（２４８０，３２０，７２０，７２０）
切り出し領域１：（２８０，６４０，１２８０，７２０）
切り出し領域２：（１３２０，４８０，１２８０，７２０）
切り出し領域３：（２２００，３２０，１２８０，７２０）

＜本実施形態の有利な効果＞
以上説明したように、本実施形態に係る表示装置３００は、フォーカスリングの回転位置の変化量およびフォーカス対象数に基づいて、表示モードを決定する。フォーカス対象が２つ以上ある場合には、入力画像と各フォーカス対象に対応する複数のズーム画像とを並べて表示する。このようにすることで、着目するフォーカス対象が複数ある場合においても、フォーカスを微調整する場合には、複数のフォーカス対象のズーム画像をそれぞれ確認しつつ入力画像の全体も同時に確認することが可能となる。

（変形例）
上述の実施形態において、「マルチモード」または「複数マルチモード」における入力画像およびズーム画像は左右または上下にそれぞれ配置する例について説明したが、各画像の配置は特に限定されない。例えば、ズーム画像を全体に表示して、そのうち一部の領域に縮小した入力画像を重畳表示してもよい。この場合、ズーム画像における合焦領域と重ならない位置に入力画像を重畳表示することが好ましい。なお、入力画像を全体に表示して、そのうち一部の領域にズーム画像を表示してもよい。

上述の例では、切り出し領域は、アスペクト比を固定してサイズを可変としたが、切り出し領域の最大サイズをあらかじめ設定してもよい。

上述の実施形態では、各画像は矩形である例について説明したが、画像のサイズや形状は特に限定されない。例えば、入力画像やズーム画像は円形、楕円形等で表示されてもよい。

上述の実施形態では、マニュアルモード時の動作例について説明したが、オートモード（ＡＦ：オートフォーカス）時に上述の処理を行ってもよい。

上述の実施形態では、回転位置や合焦領域の位置またはサイズに基づいて表示モードを決定する例について説明したが、単位時間あたりのピント位置の変化量、入力画像の変化量（例えばヒストグラムの変化量）に基づいて表示モードを決定してもよい。また、ピント位置を操作する対象（表示装置、撮像装置など）によって、表示モードを決定してもよい。また、単位時間あたりのピント位置の変化量や入力画像の変化量に基づいて拡大する領域（切り出し領域）を決定してもよい。

上述の実施形態では、表示装置単体で処理を行う例について説明したが、表示装置とは別体の表示制御装置を用いて上記処理を行ってもよい。この場合、光学系と、光学系により形成された被写体像を撮像する撮像手段と、当該表示制御装置と、を含む撮像装置によって上述の処理が実行されてもよい。

（その他）
以上、本発明の実施の形態、及びいくつかの実施の形態をもとに説明した。これらの任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。また本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また
、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：表示装置 １０１：入力部 １０２：付加情報取得部
１０３：表示形態決定部 １０４：ズーム画像生成部 １０５：合成部

Claims (14)

1. 撮像装置によって撮像される画像である入力画像を取得する入力手段と、
   前記入力画像のうち一部の領域を拡大した画像である１つ以上のズーム画像を生成する生成手段と、
   前記撮像装置のフォーカス情報を取得する取得手段と、
   前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定手段と、
   を有することを特徴とする表示制御装置。
2. 前記決定手段は、前記入力画像を取得する前の所定の時間内における前記フォーカス情報の変化量に基づいて、
   前記変化量が０である場合は前記入力画像を、
   前記変化量が所定の値より小さい場合は前記ズーム画像を、
   前記変化量が所定の値より大きい場合は前記入力画像および前記ズーム画像を、前記表示手段に表示する画像として決定する、
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記決定手段は、前記変化量が所定の値より大きい場合、かつ複数の前記ズーム画像が生成された場合は、前記入力画像と複数の前記ズーム画像とを並べた画像を、前記表示手段に表示する画像として決定する、
   ことを特徴とする請求項２に記載の表示制御装置。
4. 前記フォーカス情報は、前記撮像装置がマニュアルフォーカスモードである場合のフォーカスに関する情報である、
   ことを特徴とする請求項１から３のいずれか一項に記載の表示制御装置。
5. 前記フォーカス情報は、光学系の焦点距離を含む、
   ことを特徴とする請求項１から４のいずれか一項に記載の表示制御装置。
6. 前記フォーカス情報は、光学系の絞りを含む、
   ことを特徴とする請求項１から５のいずれか一項に記載の表示制御装置。
7. 前記フォーカス情報は、前記入力画像における合焦領域の位置を含む、
   ことを特徴とする請求項１から６のいずれか一項に記載の表示制御装置。
8. 前記フォーカス情報は、前記入力画像における合焦領域のサイズを含む、
   ことを特徴とする請求項１から７のいずれか一項に記載の表示制御装置。
9. 前記生成手段は、合焦領域を含むように前記ズーム画像を生成する、
   ことを特徴とする請求項１から８のいずれか一項に記載の表示制御装置。
10. 前記生成手段は、前記合焦領域が複数存在する場合、少なくとも２つの合焦領域についてそれぞれ前記ズーム画像を生成する、
    ことを特徴とする請求項９に記載の表示制御装置。
11. 光学系と、
    前記光学系により形成された被写体像を撮像する撮像手段と、
    請求項１から１０のいずれか一項に記載の表示制御装置と、
    を含むことを特徴とする撮像装置。
12. 撮像装置によって撮像される画像である入力画像を取得する入力ステップと、
    前記入力画像のうち一部の領域を拡大した画像である１つ以上のズーム画像を生成する生成ステップと、
    前記撮像装置のフォーカス情報を取得する取得ステップと、
    前記フォーカス情報に基づいて、前記入力画像、前記ズーム画像、または両方の画像のいずれを表示手段に表示するかを決定する決定ステップと、
    を有することを特徴とする表示装置の制御方法。
13. コンピュータを、請求項１から１０のいずれか一項に記載された表示制御装置の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。

Images