JP2018078443A - 表示制御装置、表示制御方法、及び表示装置 - Google Patents

Abstract

【課題】入力される撮像画像においてピントが合っている被写体を自動的に拡大表示する機能を有する表示制御装置において、拡大する範囲を設定するためのユーザの手間を軽減することができる技術を提供する。【解決手段】入力画像において合焦度合が所定以上のオブジェクトを検出する検出手段と、前記オブジェクトの検出結果に基づき、前記入力画像の一部に拡大対象領域を設定する設定手段と、前記拡大対象領域の画像を前記拡大対象領域の大きさより大きいサイズに拡大した拡大画像を生成する生成手段と、前記拡大画像を表示画像として出力する出力手段と、を備え、前記設定手段は、前記オブジェクトを略全て含むように前記拡大対象領域を設定することを特徴とする表示制御装置。【選択図】図２

Description

本発明は、表示制御装置、表示制御方法、及び表示装置に関する。

近年、映画などの画像制作分野において、高解像度の大判撮像素子を持つ撮像装置による撮像が行われるようになった。このような撮像装置による撮像において、撮像装置のＥＶＦ（Electronic View Finder、電子ビューファインダ）や、ライブビューモニタでは、その画面サイズ、解像度により被写体のピントを確認しにくい。そこで撮像装置から出力した撮像画像を、撮像装置のＥＶＦやライブビューモニタよりも画面サイズが大きく、高解像度の表示装置へ入力し、表示装置の表示画像でピントの確認や調整を行うことがある。この目的で使用される表示装置には、表示画像のピント確認や調整を容易にするために、入力される撮像画像においてユーザが設定した範囲を拡大表示する機能を有するものもある。このような表示装置では、ユーザは、ピント確認したい被写体が含まれるように、拡大表示する範囲を設定する作業が必要である。このようなユーザが設定する手間を軽減する技術として、特許文献１には、画像を複数の領域に分割し、画像の高周波成分の最大値が存在する分割領域を拡大表示する技術が開示されている。特許文献２には、撮影装置の合焦機構の調整状態に基づき合焦領域を自動で拡大表示する技術が開示されている。

特開２００５−１８４５８５号公報 特開２００８−１１６８４４号公報

特許文献１の技術では、拡大表示される分割領域にピントが合っている被写体の全体が含まれない場合がある。その場合、ピントが合っている被写体の一部分のみ拡大表示され、被写体全体の拡大表示ができない。被写体全体を拡大表示するためには、別途、ユーザが設定する作業が必要であり、利便性が良くない。特許文献２の技術は、カメラ機構を有する装置にしか適用できない。

本発明は、入力される撮像画像においてピントが合っている被写体を自動的に拡大表示する機能を有する表示制御装置において、拡大する範囲を設定するためのユーザの手間を軽減することができる技術を提供することを目的とする。

本発明は、入力画像において合焦度合が所定以上のオブジェクトを検出する検出手段と、
前記オブジェクトの検出結果に基づき、前記入力画像の一部に拡大対象領域を設定する設定手段と、
前記拡大対象領域の画像を前記拡大対象領域の大きさより大きいサイズに拡大した拡大画像を生成する生成手段と、
前記拡大画像を表示画像として出力する出力手段と、
を備え、
前記設定手段は、前記オブジェクトを略全て含むように前記拡大対象領域を設定することを特徴とする表示制御装置である。

本発明は、入力画像において合焦度合が所定以上のオブジェクトを検出する検出工程と、
前記オブジェクトの検出結果に基づき、前記入力画像の一部に拡大対象領域を設定する設定工程と、
前記拡大対象領域の画像を前記拡大対象領域の大きさより大きいサイズに拡大した拡大画像を生成する生成工程と、
前記拡大画像を表示画像として出力する出力工程と、
を有し、
前記設定工程では、前記オブジェクトを略全て含むように前記拡大対象領域を設定することを特徴とする表示制御方法である。

本発明によれば、入力される撮像画像においてピントが合っている被写体を自動的に拡大表示する機能を有する表示制御装置において、拡大する範囲を設定するためのユーザの手間を軽減することができる。

実施例１、２、３、４の概略図 実施例１、２、３、４の表示装置の概略構成図 実施例１の画像信号の表示例 実施例１の拡大範囲４００を説明する図 実施例１の画像拡大処理部２０４の拡大処理の例 実施例１の子画面生成部２０５が重畳する拡大範囲４００を示す情報の例 実施例１の子画面生成部２０５から入力した縮小画像を重畳した例 実施例１の拡大範囲決定部２０２の動作を説明するフローチャート 実施例２の画像信号の表示例 実施例２の拡大範囲を説明する図 実施例２の拡大範囲決定部２０２の動作を説明するフローチャート 実施例３の拡大範囲を説明する図 実施例３の拡大範囲決定部２０２の動作を説明するフローチャート 実施例４の拡大範囲決定部２０２の動作を説明するフローチャート 実施例５の表示装置の概略構成図 実施例５の拡大範囲決定部１８０３の動作を示すフローチャート 実施例６の概略図 実施例６の表示装置の概略構成図 実施例６の拡大範囲決定部２１０１の動作を説明するフローチャート

（実施例１）
以下に、本発明の好ましい実施例を添付の図面に基づいて詳細に説明する。
以下の実施例は、外部機器から入力される画像の一部の領域を拡大して表示する拡大表示機能を持つ表示制御装置を有する表示装置に本発明を適用した例である。実施例１は、表示制御装置において拡大表示機能を有効とした場合に、入力される画像内のピントが合っている被写体（オブジェクト）を識別し、被写体を含む領域を自動的に拡大して表示することを特徴とする。

図１は、実施例１に係る表示装置の概略図である。実施例１では、図１に示すように、撮像装置１０１は、撮像して得られた撮像画像を画像信号として表示装置１００へ出力し、表示装置１００は入力される画像信号を表示するものとする。

（構成の説明）
図２は、本発明の実施例１に係る表示装置１００の概略構成図である。
表示装置１００は、ＩＦ部２００、高周波成分抽出部２０１、拡大範囲決定部２０２、操作部２０３、画像拡大処理部２０４、子画面生成部２０５、画像処理部２０６、表示制御部２０７、表示部２０８を有する。

ＩＦ部２００は、撮像装置１０１が出力した撮像画像の画像信号を入力し、入力画像をデコード処理し、高周波成分抽出部２０１へ出力する。
高周波成分抽出部２０１は、ＩＦ部２００から入力した画像信号の輝度信号からハイパスフィルタにより高周波成分を抽出し、抽出した高周波成分を拡大範囲決定部２０２へ出力する。

ここで、図３に高周波成分抽出部２０１がＩＦ部２００から入力する画像信号の表示例を示す。
図３における画像信号の表示例３００の第１の四角形３０１、円３０２、第２の四角形３０３は、それぞれ手前側から奥側に向かって位置している被写体であり、円３０２にピントが合い、第１の四角形３０２、第２の四角形３０３はボケている状態を示している。ここでピントが合っているとは、合焦度合が所定以上であることを意味する。合焦度合は、実施例１では高周波成分に基づいて判定する。

高周波成分抽出部２０１でハイパスフィルタを用いることにより、ピントが合っている被写体である円３０２のエッジ部分に多く含まれる高周波成分のみ抽出される。
また高周波成分抽出部２０１は、ＩＦ部２００から入力した画像信号を画像拡大処理部２０４、子画面生成部２０５へ出力する。
なお、高周波成分抽出部２０１では、ハイパスフィルタによって高周波成分を抽出しているが、微分フィルタなど、その他のフィルタを用いて高周波成分を抽出するようにしても良い。

拡大範囲決定部２０２は、操作部２０３から入力する拡大表示指示情報にて拡大表示機能オン指示を受けた場合、高周波成分抽出部２０１から入力する高周波成分に基づいて拡大範囲（拡大対象領域）を決定する。拡大範囲決定部２０２は、拡大範囲情報を画像拡大処理部２０４、子画面生成部２０５へ出力する。

ここで図２、図３、図４を用いて拡大範囲決定部２０２における拡大範囲の決定方法について説明する。

図４は、画像信号の表示例３００における拡大範囲４００を示す図である。
拡大範囲決定部２０２は、高周波成分抽出部２０１から入力する高周波成分と、予め設定される第１閾値との比較を行い、高周波成分が第１閾値以上の領域を合焦度合が所定以上のオブジェクトとして検出する。拡大範囲決定部２０２は、合焦度合が所定以上のオブジェクトの検出結果に基づき、入力画像の一部に拡大範囲を設定する。実施例１では、拡大範囲決定部２０２は、検出したオブジェクトを全て含むように拡大範囲４００を決定する。
画像信号の表示例３００では、円３０２のエッジ部分全てが高周波成分が第１閾値以上の部分であるとし、円３０２のエッジ部分を全て含む範囲を拡大範囲４００とする。
拡大範囲決定部２０２は、画像信号の表示例３００における拡大範囲４００の座標情報を拡大範囲情報として出力する。
なお、実施例１では、拡大範囲４００の縦横比を表示部２０８のアスペクト比と同じとするが任意の縦横比に設定しても良い。

操作部２０３は、ユーザが拡大表示機能に関する指示を入力するための操作をすることができる手段であり、ボタンやリモコン、タッチパネル等で構成される。操作部２０３は表示装置１００の外装部材に設置される。
操作部２０３を操作することによって拡大表示機能オン、又はオフの指示、拡大範囲の位置、及び拡大率変更の指示を入力することができる。
また操作部２０３は、ユーザによる操作情報を拡大表示指示情報として、拡大範囲決定部２０２へ出力する。
操作部２０３の具体的な構成は上述の例に限定されない。

画像拡大処理部２０４は、高周波成分抽出部２０１から入力した画像信号を、拡大範囲決定部２０２から入力した拡大範囲情報に基づいて、入力画像における拡大範囲の画像を拡大範囲の大きさより大きいサイズに拡大した拡大画像を生成する。図５に画像拡大処理部２０４により生成された拡大画像の例を示す。
そして画像拡大処理部２０４は、拡大処理を行った画像信号を画像処理部２０６へ出力する。
なお、画像拡大処理部２０４は、拡大範囲決定部２０２から拡大範囲情報を入力しない場合は、高周波成分抽出部２０１から入力した画像信号の拡大処理を行わず画像処理部２０６へ出力する。

子画面生成部２０５は、拡大範囲決定部２０２から入力する拡大範囲情報に基づいて拡大範囲４００を示すマーカ情報６０１を、図６に示すように高周波成分抽出部２０１から入力する画像信号に重畳する。
そして子画面生成部２０５は、拡大範囲を示すマーカ情報６０１を重畳した画像信号に対し、縮小処理を行い、縮小画像信号６００として画像処理部２０６へ出力する。これにより、図７の縮小画像６００において、拡大範囲の情報を示す画像（破線の矩形）が重畳される。
なお、子画面生成部２０５は、拡大範囲決定部２０２から拡大範囲情報を入力しない場合は、画像処理部２０６への出力は行わない。

画像処理部２０６は、画像拡大処理部２０４から入力した画像信号に対し、ガンマ補正、クロマ補正などの各種画像処理を施す。
なお、各種画像処理の詳細は、本発明の趣旨でないので省略する。

また画像処理部２０６は、図７に示すように子画面生成部２０５から入力した縮小画像信号６００を、画像処理を施した画像信号に合成し、表示制御部２０７に出力する。
表示制御部２０７は、画像処理部２０６から入力した画像信号を表示画像として表示部２０８へ出力し、表示部２０８を制御する。
表示部２０８は、表示制御部２０７から出力される表示画像に基づく画像を表示する表示手段であり、例えば液晶パネルである。
なお、実施例１では、表示部２０８に液晶パネルを用いているが、ＯＬＥＤ（Organic Light-Emitting Diode）などその他の表示デバイスを用いても良い。

（拡大範囲決定部２０２の動作の説明）
次に、図２、図８を用いて拡大範囲決定部２０２の動作について説明する。
拡大範囲決定部２０２は、操作部２０３から入力する拡大表示指示情報にて拡大表示機能オン指示を受けたかを判断する。（Ｓ８００）
拡大表示機能オン指示を受けていない場合は、動作を終了する。

拡大表示機能オン指示を受けている場合は、高周波成分抽出部２０１から入力した高周波成分と、予め設定される第１閾値との比較を行う。（Ｓ８０１）

拡大範囲決定部２０２は、高周波成分が第１閾値以上の領域があるか否かを判断する。（Ｓ８０２）

閾値以上の領域がない場合は、予め設定される拡大範囲の拡大範囲情報を画像拡大処理部２０４、子画面生成部２０５へ出力する。（Ｓ８０５）
なお、実施例１では予め設定される拡大範囲として、拡大位置を画像信号の中央部、拡大率を４倍の拡大範囲とするが、任意の拡大位置、拡大率であっても良い。

第１閾値以上の領域がある場合は、第１閾値以上の領域を全て含む拡大範囲を決定する。（Ｓ８０３）

そして拡大範囲決定部２０２は、決定した拡大範囲の画像信号における座標情報を拡大範囲情報として画像拡大処理部２０４、子画面生成部２０５へ出力する。（Ｓ８０４）

以上で説明した本発明の実施例１によれば、拡大表示機能を有効とした場合、画像信号の輝度信号から高周波成分を抽出し、高周波成分が第１閾値以上の領域を全て含む領域を拡大範囲する。そして拡大範囲に従って拡大表示することによって、ピントを確認したい被写体の全体を自動で拡大表示することができる。これにより、ピントを確認したい被写体が画像信号の中央部付近に存在しない場合であっても、ユーザが拡大範囲を移動するなどの設定作業を軽減し、利便性を向上することができる。例えば、ユーザがピントを合わせたい被写体が画像の端にあり、ユーザがＥＶＦやカメラモニタを見ながらおおよそのピントを被写体に合わせた後、より正確なピント合わせのためにフォーカスアシスト機能をオンにする状況を想定する。従来技術では、フォーカスアシスト機能をオンにするとまず画像の中央部が拡大されるため、ユーザが拡大範囲を手動で画面端まで移動させる手間がかかっていた。実施例１の技術によれば、フォーカスアシスト機能をオンにすると自動的におおよそのピントが合っていて高周波成分が第１閾値以上である被写体の全体が含まれる拡大範囲が自動的に設定され、その範囲が拡大表示される。よって、ユーザは、フォーカスアシスト機能をオンにしてすぐにピントを追い込む操作に写ることができ、フォーカスアシスト機能の操作のためにユーザの撮影行為のリズムが阻害されることを抑制できる。また、複数の拡大率を切り替え可能なフォーカスアシスト機能は従来公知であるが、拡大率の切り換え操作はユーザが手動で行っていた。実施例１によれば、高周波成分が第１閾値以上である被写体の全体が含まれるように拡大範囲（すなわち拡大率）が自動で設定される。よって、被写体が小さい場合でも、ユーザが拡大率を調整する手間がかからず、好適にユーザのフォーカス調整操作をアシストすることが可能なフォーカスアシスト機能を提供することができる。

（実施例２）
次に、本発明の実施例２について説明する。実施例２の表示装置の構成は図２に示す実施例１の構成と同様である。ただし、拡大範囲決定部２０２の動作が実施例１と異なる。
実施例２では、高周波成分が第１閾値以上の領域を全て含む領域（第１領域）が広範囲で、拡大表示する拡大率が第２閾値より小さい場合の処理に特徴がある。この場合、高周波成分が最大値の領域を含み、かつ拡大率が第２閾値以上になるように決定した領域（第２領域）を拡大範囲として決定する。この点で、実施例１の、画像信号の輝度信号から抽出した高周波成分が第１閾値以上の領域を全て含む領域を拡大範囲とし、拡大表示する処理と異なる。

図２、図９、図１０を用いて拡大範囲決定部２０２における拡大範囲の決定方法について説明する。
図９は、実施例２における高周波成分抽出部２０１がＩＦ部２００から入力する画像信
号の表示例を示す。
図９における画像信号の表示例１０００の第１の四角形１００２、円１００３、三角形１００１、第２の四角形１００３は、それぞれ手前側から奥側に向かって位置している被写体である。
このとき、三角形１００１、円１００３にピントが合い、第１の四角形１００２、第２の四角形１００３はボケている状態を示している。
高周波成分抽出部２０１でハイパスフィルタを用いることにより、ピントが合っている被写体である三角形１００１、円１００３のエッジ部分に多く含まれる高周波成分のみ抽出される。

図１０は、画像信号の表示例１０００における拡大範囲を示す図である。
まず、拡大範囲決定部２０２は、高周波成分抽出部２０１から入力する高周波成分と、予め設定される第１閾値との比較を行い、第１閾値以上の領域を全て含む第１拡大範囲１１００（第１領域）を決定する。
画像信号の表示例１０００では、三角形１００１、円１００３のエッジ部分全てが第１閾値以上とし、三角形１００１、円１００３のエッジ部分を全て含む範囲を第１拡大範囲１１００とする。

次に、拡大範囲決定部２０２は、決定した第１拡大範囲１１００を拡大画像のサイズに拡大した場合の拡大率が第２閾値より小さい場合は、次のようにする。すなわち、高周波成分からなるオブジェクトの一部を含み、かつ拡大率が第２閾値以上になるように第２拡大範囲１１０１（第２領域）を求める。拡大範囲決定部２０２は、第２領域を拡大範囲として決定する。実施例２では、入力画像の高周波成分の最大値の部分を含み、かつ拡大率が第２閾値になるように第２拡大範囲１１０１を決定する。
画像信号の表示例１０００では、三角形１００１のエッジ部分に高周波成分の最大値があるとし、三角形１００１を含む範囲を第２拡大範囲１１０１とする。
そして拡大範囲決定部２０２は、画像信号の表示例１０００における第２拡大範囲１１０１の座標情報を拡大範囲情報として出力する。

ここで実施例２では、拡大率の第２閾値を４倍とする。
なお、実施例２では、拡大率の第２閾値を４倍としたが、その他任意の拡大率に設定しても良い。また、ユーザが任意の拡大率を第２閾値として設定できるようにしても良い。

（拡大範囲決定部２０２の動作の説明）
次に、図２、図１１を用いて拡大範囲決定部２０２の動作について説明する。実施例１で説明した図８と同じ符号を付したステップの処理内容は実施例１と同様である。

拡大範囲決定部２０２は、高周波成分抽出部２０１から入力した高周波成分が、予め設定される第１閾値以上の領域がある場合は、第１閾値以上の領域を全て含む第１拡大範囲を決定する。（Ｓ１２０３）

次に、拡大範囲決定部２０２は、第１拡大範囲が第２閾値より小さい拡大率か否かを判断する。（Ｓ１２０４）

第１拡大範囲が第２閾値以上の拡大率の場合は、画像信号における第１拡大範囲の座標情報を拡大範囲情報として画像拡大処理部２０４、子画面生成部２０５へ出力する。（Ｓ１２０７）

第１拡大範囲が第２閾値より小さい拡大率の場合は、高周波成分の最大値の領域を含み、かつ拡大率が第２閾値以上になるように第２拡大範囲を決定する。（Ｓ１２０５）

そして拡大範囲決定部２０２は、画像信号における第２拡大範囲の座標情報を拡大範囲情報として画像拡大処理部２０４、子画面生成部２０５へ出力する。（Ｓ１２０６）

以上で説明した本発明の実施例２によれば、まず画像信号の輝度信号の高周波成分が第１閾値以上の領域を全て含む領域を第１拡大範囲とする。このとき、第１拡大範囲の拡大率が所定の拡大率（第２閾値）より小さい場合に、高周波成分の最大値の領域を含み、かつ所定の拡大率（第２閾値）以上の第２拡大範囲を決定する。そして第２拡大範囲に従って拡大表示することによって、第１拡大範囲が広範囲で拡大表示の効果が低い場合であっても、第２拡大範囲にて好適な拡大表示の効果が得られるような拡大表示をすることができる。これにより、拡大表示の効果が高く、かつピントが最も合っている被写体を拡大表示でき、ユーザが拡大範囲を設定する作業を軽減し、利便性を向上することができる。

（実施例３）
次に、本発明の実施例３について説明する。実施例３の表示装置の構成は図２に示す実施例１の構成と同様である。ただし、拡大範囲決定部２０２の動作が実施例１と異なる。
実施例３では、拡大表示中にユーザが拡大率を現在より大きい拡大率に変更を行った場合において、画像信号の輝度信号から抽出した高周波成分が最大値の領域を含み、かつユーザが変更した拡大率の拡大範囲を決定する。
拡大範囲決定部２０２は、特に改めて記載しない限り、本発明の実施例１における拡大範囲決定部２０２と同様な機能・動作も行うものとする。

図２、図１２を用いて拡大表示中にユーザが拡大率を大きくする変更を行った場合における拡大範囲決定部２０２の拡大範囲の決定方法について説明する。
図１２は、実施例３における画像信号の表示例３００における拡大範囲を示す図である。
まず、拡大範囲決定部２０２は、画像信号の表示例３００における拡大範囲４００の座標情報を拡大範囲情報として画像拡大処理部２０４、子画面生成部２０５へ出力している。

ここで、操作部２０３から入力する拡大表示指示情報にて拡大率を大きくする変更指示の受けた場合に、合焦度合が所定以上のオブジェクトの一部を含み、かつ拡大率がユーザが変更した拡大率になるように設定した第２領域を拡大範囲１４００として決定する。ここでは、合焦度合が所定以上のオブジェクトの一部とは、高周波成分抽出部２０１から入力する高周波成分の最大値の領域であるとする。
画像信号の表示例３００では、円３０２左上付近のエッジ部分に高周波成分の最大値があるとする。
そして拡大範囲決定部２０２は、画像信号の表示例３００における拡大範囲１４００の座標情報を拡大範囲情報として画像拡大処理部２０４、子画面生成部２０５へ出力する。

なお、操作部２０３から入力する拡大表示情報にて拡大率を小さくする変更指示を受けた場合は、高周波成分が第１閾値以上の領域を全て含み、かつユーザが変更した拡大率の拡大範囲を決定する。

（拡大範囲決定部２０２の動作の説明）
次に、図２、図１３を用いて拡大表示中における拡大範囲決定部２０２の動作について説明する。
拡大範囲決定部２０２は、操作部２０３から入力する拡大表示指示情報に拡大率の変更指示を受けたか判断する。（Ｓ１５００）
拡大率の変更指示を受けていない場合は、動作を終了する。

拡大率の変更指示を受けた場合は、拡大率が大きくしたか否かを判断する。（Ｓ１５０１）

拡大率を大きくした場合は、高周波成分の最大値の領域を含み、かつユーザが変更した拡大率の拡大範囲を決定する。（Ｓ１５０２）

拡大率を小さくした場合は、高周波成分が閾値以上の領域を全て含み、かつユーザが変更した拡大率の拡大範囲を決定する。（Ｓ１５０４）

そして拡大範囲決定部２０２は、決定した拡大範囲の画像信号における座標情報を拡大範囲情報として画像拡大処理部２０４、子画面生成部２０５へ出力する。（Ｓ１５０３）

以上で説明した本発明の実施例３によれば、拡大表示中に拡大率を大きくする変更を行った場合、画像信号の輝度信号から抽出した高周波成分が最大値の領域を含み、かつ変更した拡大率の拡大範囲を決定する。そして拡大範囲にて拡大表示を行うことによって、拡大率を大きくする変更を行った場合であっても、自動で拡大表示中の被写体で最もピントが合っている部分を、ユーザが変更した拡大率で拡大表示することができる。これにより、ユーザが拡大範囲を設定する作業が軽減し、利便性を向上することができる。

（実施例４）
次に、本発明の実施例４について説明する。実施例４の表示装置の構成は図２に示す実施例１の構成と同様である。ただし、拡大範囲決定部２０２の動作が実施例１と異なる。
実施例４では、拡大表示中にユーザが拡大範囲の位置を変更した場合は、ユーザが変更した拡大範囲の位置を固定とする。
拡大範囲決定部２０２は、特に改めて記載しない限り、本発明の実施例１における拡大範囲決定部２０２と同様な機能・動作も行うものとする。

図４、図２を用いて、拡大表示中にユーザが拡大範囲の位置を変更した場合における拡大範囲決定部２０２の拡大範囲の決定方法について説明する。
まず、拡大範囲決定部２０２は、画像信号の表示例３００における拡大範囲４００の座標情報を拡大範囲情報として画像拡大処理部２０４、子画面生成部２０５へ出力している。

ここで、操作部２０３から入力する拡大表示指示情報にて拡大範囲４００の位置を変更する指示を受けた場合、拡大範囲４００をユーザの変更指示に従い移動する。
そして、移動後の拡大範囲４００の画像信号の表示例３００における座標情報を拡大範囲情報として画像拡大処理部２０４、子画面生成部２０５へ出力する。

拡大範囲決定部２０２は、操作部２０３から入力する拡大表示指示情報にて拡大範囲の位置を変更する指示を受けない限り、移動後の拡大範囲４００の位置を固定とする。

（拡大範囲決定部２０２の動作の説明）
次に、図２、図１４を用いて拡大表示中における拡大範囲決定部２０２の動作について説明する。
拡大範囲決定部２０２は、操作部２０３から入力する拡大表示指示情報に拡大範囲の位置の変更指示を受けたかを判断する。（Ｓ１７００）
拡大範囲の位置の変更指示を受けていない場合は、動作を終了する。

拡大範囲の位置の変更指示を受けた場合は、ユーザの変更指示に従い、拡大範囲の位置
を移動する。（Ｓ１７０１）

拡大範囲決定部２０２は、移動後の拡大範囲位置を固定とする。（Ｓ１７０２）

そして拡大範囲決定部２０２は、固定した拡大範囲の画像信号における座標情報を拡大範囲情報として画像処理部２０６、子画面生成部２０５へ出力し、Ｓ１７００へ戻る。（Ｓ１７０３）

以上で説明した本発明の実施例４によれば、拡大表示中に拡大範囲の位置を変更した場合に、変更後の拡大範囲を固定とすることによって、高周波成分が変化しても拡大範囲が変更されない。これにより、例えば、ユーザがピント調整中に高周波成分が変化しても拡大範囲が変更されること防止し、利便性を向上することができる。例えば、ユーザが拡大表示をしながら撮影意図の変化により構図や画角の変更やピント調整等を行うことがあるが、これにより高周波成分が閾値以上の領域を全て含む領域の大きさや位置が変化した場合でも、実施例４では拡大範囲が維持される。ユーザの意図しないタイミングで拡大範囲が変化してしまうことを抑制できる。

（実施例５）
次に、本発明の実施例５について説明する。図１５は、本発明の実施例５における概略構成図である。図１５において、図２に示す実施例１の構成と同様な機能・動作を行う機能ブロックには同じ符号を付し、説明を省略する。

本発明の実施例５では、拡大表示機能と輪郭強調表示機能とを併用する場合において、輪郭強調表示機能有効時に、拡大表示機能を有効にした際、子画面の輪郭強調表示は維持し、拡大範囲の輪郭強調表示を無効とする。
ここで輪郭強調表示機能とは、輝度信号の高周波成分を抽出した輪郭強調信号を画像信号の輝度信号に加算することによって、画像の輪郭部分を強調して表示する輪郭強調画像を画像に重畳する機能であり、ピーキングとも呼ばれる機能である。

輪郭強調信号生成部１８０１は、操作部１８０４から入力する輪郭強調指示情報にて輪郭強調表示オンの指示を受けた場合、高周波成分抽出部２０１から入力した高周波成分より輪郭強調信号を生成する。そして、輪郭強調信号を加算器１８０２、拡大範囲決定部１８０３へ出力する。
また輪郭強調信号生成部１８０１は、高周波成分抽出部２０１から入力した高周波成分を拡大範囲決定部１８０３へ出力する。
加算器１８０２は、輪郭強調信号生成部１８０１から出力される輪郭強調信号を、高周波成分抽出部２０１から入力する画像信号の輝度信号に加算し、加算後の画像信号を子画面生成部２０５へ出力する。

拡大範囲決定部１８０３は、特に改めて記載しない限り、本発明の実施例１における拡大範囲決定部２０２と同様な機能・動作も行うものとする。
拡大範囲決定部１８０３は、操作部１８０４から入力する輪郭強調指示情報にて輪郭強調機能オンの指示を受けた場合、輪郭強調信号生成部１８０１から入力する輪郭強調信号を画像処理部１８０５へ出力する。
また拡大範囲決定部１８０３は、輪郭強調機能オン時に操作部１８０４から入力する拡大表示指示情報にて拡大表示機能オンの指示を受けた場合は、画像処理部１８０５への輪郭強調信号出力を停止する。
その後、操作部１８０４から入力する拡大表示指示情報にて拡大表示機能オフの指示を受けた場合は、画像処理部１８０５への輪郭強調信号出力を再開する。

操作部１８０４は、特に改めて記載しない限り、本発明の実施例１における操作部２０３と同様な機能・動作も行うものとする。
操作部１８０４は、輪郭強調表示機能を操作する操作手段を有し、操作部１８０４への操作情報を輪郭強調指示情報として、輪郭強調信号生成部１８０１、拡大範囲決定部１８０３へ出力する。

画像処理部１８０５は、特に改めて記載しない限り、本発明の実施例１における画像処理部２０６と同様な機能・動作も行うものとする。
画像処理部１８０５は、拡大範囲決定部１８０３から輪郭強調信号を入力した場合、画像拡大処理部２０４から入力する画像信号の輝度信号に輪郭強調信号を加算し、加算後の画像信号を表示制御部２０７へ出力する。

（拡大範囲決定部１８０３の動作の説明）
次に、図１５、図１６を用いて拡大範囲決定部１８０３の動作について説明する。実施例１で説明した図８と同じ符号を付したステップの処理内容は実施例１と同様である。
拡大範囲決定部１８０３は、操作部１８０４から入力する輪郭強調表示情報にて輪郭強調表示機能オン指示を受けたか否かを判断する。（Ｓ１９００）

輪郭強調表示機能オン指示を受けた場合は、拡大範囲決定部１８０３は、輪郭強調信号生成部１８０１から入力する輪郭強調信号を画像処理部１８０５へ出力する。（Ｓ１９０１）

次に拡大範囲決定部１８０３は、操作部１８０４から入力する輪郭強調表示情報にて輪郭強調表示機能オフ指示を受けたか否かを判断する。（Ｓ１９０２）
輪郭強調表示機能オフ指示を受けた場合、動作を終了する。

輪郭強調表示機能オフ指示を受けていない場合、操作部１８０４から入力する拡大表示指示情報にて拡大表示機能オン指示を受けたか否かを判断する。（Ｓ１９０３）
拡大表示機能オン指示を受けていない場合、Ｓ１９０１に戻る。

拡大表示機能オン指示を受けた場合、拡大範囲決定部１８０３は、画像処理部１８０５への輪郭強調信号の出力を停止する。（Ｓ１９０４）

そして拡大範囲決定部１８０３は、操作部１８０４から入力する拡大表示指示情報にて拡大表示機能オフ指示を受けたか否かを判断する。（Ｓ１９１０）
拡大表示機能オフ指示を受けていない場合は、Ｓ１９０５へ戻る。

拡大表示機能オフ指示を受けた場合、画像処理部１８０５への輪郭強調信号出力を再開し、Ｓ１９０２へ戻る。（Ｓ１９１１）

以上で説明した本発明の実施例５では、輪郭強調表示中に拡大表示機能を有効とした場合、拡大範囲決定部１８０３が画像処理部１８０５への輪郭強調信号出力を停止する。つまり子画面の輪郭強調表示を維持し、拡大範囲の輪郭強調表示を無効とすることができる。これにより、子画面にて輪郭強調表示される範囲を把握しながら、拡大範囲のピント確認、調整を輪郭強調表示に阻害されずに行うことができ、利便性が向上する。

なお、実施例５では画像信号の輝度信号の高周波成分を抽出した高周波成分より輪郭強調信号を生成し、画像信号の輝度信号に加算している。これにより画像の輪郭部分を強調する輪郭強調表示を行っていが、ピントが合っている画像の輪郭部分に色を付けて強調するなど、その他の輪郭強調表示を実施しても良い。

（実施例６）
次に、本発明の実施例６について説明する。
図１７は、本発明の実施例６に係る概略図である。
実施例６では、図１７に示すように撮像装置２００１が、画像信号、及びフォーカスリング操作情報を表示装置２０００へ出力し、表示装置２０００は入力した画像信号を表示し、かつフォーカスリング操作情報による処理を行うものとする。

ここで、フォーカスリング操作情報とは、撮像装置２００１のピント調整（合焦位置調整操作）に用いるフォーカスリングの操作情報である。
つまり、撮像装置２００１のピント調整中であるか否かを通知する。

（構成の説明）
図１８は、本発明の実施例６に係る表示装置２０００の概略構成図である。図１８において、図２に示す実施例１の構成と同様な機能・動作を行う機能ブロックには同じ符号を付し、説明を省略する。
実施例６では、拡大表示機能オン時に、撮像装置２００１から入力するフォーカスリング操作情報にてフォーカスリングを操作中である通知を受けている間は、拡大範囲の変更を実施しない。

拡大範囲決定部２１０１は、特に改めて記載しない限り、本発明の実施例１における拡大範囲決定部２０２と同様な機能・動作を行うものとする。
図１７、図１８を用いて実施例６における拡大範囲決定部２１０１の拡大範囲の決定方法について説明する。

拡大範囲決定部２１０１は、カメラ情報取得部２１０２からフォーカスリング操作通知を入力した場合、フォーカスリング操作通知を入力した時点の拡大範囲を維持する。
フォーカスリング操作停止通知を入力した場合、高周波成分抽出部２０１から入力する高周波成分に基づいて拡大範囲を決定する処理を再開する。

カメラ情報取得部２１０２は、撮像装置２００１が出力したフォーカスリング操作情報を入力する。これにより、カメラ情報取得部２１０２はフォーカスリングを操作中であるか否かの操作情報を取得する。
そしてカメラ情報取得部２１０２は、フォーカスリング操作情報にてフォーカスリングを操作中である通知を受けている間、拡大範囲決定部２１０１へフォーカスリング操作通知を出力する。
またカメラ情報取得部２１０２は、フォーカスリング操作情報にてフォーカスリングを操作していない旨の通知を受けている間、拡大範囲決定部２１０１へフォーカスリング操作停止通知を出力する。

（拡大範囲決定部２１０１の動作の説明）
次に、図１８、図１９を用いて拡大範囲決定部２１０１の動作について説明する。
拡大範囲決定部２１０１は、実施例１の図８で説明した高周波成分に基づく拡大範囲決定処理を行う。（Ｓ２２００）

拡大範囲決定部２１０１は、拡大表示機能オン時に、カメラ情報取得部２１０２からフォーカスリング操作通知を入力したか否か判断する。（Ｓ２２０１）
フォーカスリング操作通知を入力していない場合、Ｓ２２００に戻り、高周波成分抽出部２０１から入力する高周波成分に基づいた拡大範囲の決定処理を行う。

フォーカスリング操作通知を入力した場合、フォーカスリング操作通知（ユーザが撮像装置において合焦位置を変更する操作を行っていることを示す情報）を入力した時点の拡大範囲を固定（維持）する。（Ｓ２２０２）

そして、拡大範囲決定部２１０１は、維持している拡大範囲の画像信号における座標情報を拡大範囲情報として画像処理部２０６、子画面生成部２０５へ出力する。（Ｓ２２０３）

次に、拡大範囲決定部２１０１は、カメラ情報取得部２１０２からフォーカスリング操作停止通知を入力したか否かを判断する。（Ｓ２２０４）
フォーカスリング操作停止通知を入力していない場合、拡大範囲決定部２１０１は、維持している拡大範囲の画像信号における座標情報を拡大範囲情報として画像処理部２０６、子画面生成部２０５への出力を続ける。

フォーカスリング操作停止通知を入力した場合、拡大範囲決定部２１０１は、高周波成分抽出部２０１から入力する高周波成分に基づいた拡大範囲の決定処理を再開する。（Ｓ２２０５）

以上で説明した本発明の実施例６では、撮像装置２００１から、フォーカスリングを操作中であるか否かを通知するフォーカスリング操作情報を入力する。そして拡大表示機能オン時において、フォーカスリング操作中は、拡大範囲の変更を実施しないことによって、フォーカスリング操作による高周波成分の変化によって起こる拡大範囲の変更を防止することができる。
これにより、ピント調整時に拡大範囲が変わるのを防止でき、利便性が向上する。

なお、実施例６では、撮像装置２００１のピント調整中であるか否かを判断するために、撮像装置２００１からフォーカスリングを操作中であるか否かを通知するフォーカスリング操作情報を入力している。
しかし、ピント調整中であるか否かを判断できる情報であれば、フォーカスリングの操作情報以外の情報を用いて良い。

なお、上記の各実施例では、拡大範囲決定部２０２は、検出したオブジェクトを全て含むように拡大範囲４００や第１拡大範囲１１００を決定する例を示したが、検出したオブジェクトを略全て（ほとんど）含んでいれば上記の効果を奏する。例えば、上記の表示例３００において円３０２のエッジ部分全てを含む範囲を拡大範囲４００とする例を示したが、必ずしも拡大範囲４００に円３０２の全ての画素が含まれなくても良い。高周波成分が第１閾値以上と判定された円３０２の画素のうちの少ない画素（例えば数画素）が拡大範囲４００に含まれなくても本発明の効果は十分に得られる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：高周波成分抽出部、２０２：拡大範囲決定部、２０４：画像拡大処理部、２０７：表示制御部

Claims (15)

1. 入力画像において合焦度合が所定以上のオブジェクトを検出する検出手段と、
   前記オブジェクトの検出結果に基づき、前記入力画像の一部に拡大対象領域を設定する設定手段と、
   前記拡大対象領域の画像を前記拡大対象領域の大きさより大きいサイズに拡大した拡大画像を生成する生成手段と、
   前記拡大画像を表示画像として出力する出力手段と、
   を備え、
   前記設定手段は、前記オブジェクトを略全て含むように前記拡大対象領域を設定することを特徴とする表示制御装置。
2. 前記検出手段は、入力画像の高周波成分を抽出し、高周波成分が第１閾値以上の部分を前記オブジェクトとして検出する請求項１に記載の表示制御装置。
3. 前記設定手段は、前記オブジェクトを略全て含むように設定した第１領域の画像を前記拡大画像のサイズに拡大した場合の拡大率が第２閾値より小さい場合、前記オブジェクトの一部を含み、かつ、拡大率が前記第２閾値以上になるように設定した第２領域を前記拡大対象領域とする請求項１又は２に記載の表示制御装置。
4. 前記設定手段は、入力画像の高周波成分の最大値の部分を含み、かつ、拡大率が前記第２閾値以上になるように前記第２領域を設定する請求項３に記載の表示制御装置。
5. ユーザから拡大率の指示の入力を受け付ける入力手段をさらに備え、
   前記出力手段が前記拡大画像を出力しているときにユーザにより拡大率を大きくする指示が入力された場合、前記設定手段は、前記オブジェクトの一部を含み、かつ、拡大率が前記ユーザに指示された拡大率になるように設定した第２領域を前記拡大対象領域とする請求項１又は２に記載の表示制御装置。
6. 前記設定手段は、入力画像の高周波成分の最大値の部分を含み、かつ、拡大率が前記ユーザに指示された拡大率になるように前記第２領域を設定する請求項５に記載の表示制御装置。
7. 前記出力手段が前記拡大画像を出力しているときにユーザにより拡大率を小さくする指示が入力された場合、前記設定手段は、前記入力画像の高周波成分が第１閾値以上の部分を略全て含み、かつ、拡大率が前記ユーザに指示された拡大率になるように前記第２領域を設定する請求項５又は６に記載の表示制御装置。
8. ユーザから拡大対象領域の位置の指示の入力を受け付ける入力手段をさらに備え、
   前記出力手段が前記拡大画像を出力しているときにユーザにより拡大対象領域の位置を変更する指示が入力された場合、前記設定手段は、前記指示された位置で前記拡大対象領域を固定する請求項１又は２に記載の表示制御装置。
9. 前記入力画像は撮像装置から出力される撮像画像であり、
   ユーザが前記撮像装置に対して行っている合焦位置調整操作の情報を取得する取得手段をさらに備え、
   前記出力手段が前記拡大画像を出力しているときに前記取得手段によりユーザが前記撮像装置に対して合焦位置を変更する操作を行っていることを示す情報を取得した場合、前記設定手段は、前記拡大対象領域を固定する請求項１又は２に記載の表示制御装置。
10. 画像の輪郭を強調する輪郭強調画像を生成し前記画像に重畳する輪郭強調手段をさらに備え、
    前記輪郭強調手段は、前記出力手段が前記拡大画像を出力している場合、前記輪郭強調画像を前記出力手段が出力する画像に重畳せず、前記出力手段が前記拡大画像を出力していない場合、前記輪郭強調画像を前記出力手段が出力する画像に重畳する請求項１〜９のいずれか１項に記載の表示制御装置。
11. 前記生成手段は、前記入力画像を縮小した縮小画像をさらに生成し、
    前記出力手段は、前記拡大画像に前記縮小画像を合成した画像を表示画像として出力する請求項１〜１０のいずれか１項に記載の表示制御装置。
12. 前記生成手段は、前記縮小画像に前記拡大対象領域の情報を示す画像を重畳する請求項１１に記載の表示制御装置。
13. 画像の輪郭を強調する輪郭強調画像を生成し前記画像に重畳する輪郭強調手段をさらに備え、
    前記生成手段は、前記縮小画像に前記輪郭強調画像を重畳するとともに、前記拡大画像においては前記輪郭強調画像を重畳しない請求項１１又は１２に記載の表示制御装置。
14. 請求項１〜１３のいずれか１項に記載の表示制御装置と、
    前記出力手段が出力する表示画像に基づく画像を表示する表示手段と、
    を備える表示装置。
15. 入力画像において合焦度合が所定以上のオブジェクトを検出する検出工程と、
    前記オブジェクトの検出結果に基づき、前記入力画像の一部に拡大対象領域を設定する設定工程と、
    前記拡大対象領域の画像を前記拡大対象領域の大きさより大きいサイズに拡大した拡大画像を生成する生成工程と、
    前記拡大画像を表示画像として出力する出力工程と、
    を有し、
    前記設定工程では、前記オブジェクトを略全て含むように前記拡大対象領域を設定することを特徴とする表示制御方法。