JP2017083788A - 表示装置及び表示装置の制御方法 - Google Patents

Abstract

【課題】表示画像における同一フレーム内の各サブフィールドに対応する画像を、グローバルシャッタ方式とは異なる方式で撮像する撮像部を用いて取得する方法を提供する。【解決手段】表示装置１００は、各々が複数のサブフィールドに時分割された複数のフレームの画像を表示するＰＷＭ駆動表示パネル１０１と、ＰＷＭ駆動表示パネル１０１により表示された画像をライン単位で順次撮像するラインスキャン方式撮像センサ１０２とを有す。撮像画像解析部１１７は、ラインスキャン方式撮像センサ１０２により撮像された画像を取得し、蓄積部１１６から取得した撮像結果データ１１５の画像解析を行い、画像処理制御に反映するパラメータ生成に必要な画像制御情報１１８を生成し、画像制御情報１１８をパラメータ生成部１１９に出力する。【選択図】図１

Description

本発明は、表示装置及び表示装置の制御方法に関する。

表示装置の画像調整のユースケースとして、視聴者の嗜好に合わせた色や明るさ、コントラストの調整の他、周辺の光等の環境光を検出して自律的に調整を行うというユースケースが存在する。特に、プロジェクタのような投射型表示装置においては、環境光の他、投影面の形状調整やフォーカス調整、さらに複数台のプロジェクタ連携時のプロジェクタ間位置調整等の調整を自律的に調整する機構を有するものもある。このような画像処理の自動調整を行う表示装置は、センサを有し、センサからの取得情報に基づいて画像処理パラメータ等を生成することで、自動調整を実現している。プロジェクタ等で表示形状調整や位置調整を行う場合、表示面を撮像し、撮像結果を解析することで、形状調整や位置調整を実現する。また、撮像結果は、表示色の検出や環境光の影響を検出することにも使用され、色調整等にも使用することが可能である。特許文献１は、プロジェクタの投影面を撮像し、撮像結果に基づき出力画像の色再現性を自律的に調整する技術を開示している。

特開２０１０−１１９０１７号公報

撮像センサにより画像を撮像する方式として撮像対象の画素を同時に露光するグローバルシャッタ方式、撮像対象をブロック（ライン）毎に分割して順次露光するローリングシャッタ方式などがある。グローバルシャッタ方式とは異なる方式（例えば、ローリングシャッタ方式）により撮像センサ（ラインセンサ）がＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）駆動表示パネルの表示画像を撮像する場合、次の問題が生ずることがある。即ち、撮像センサのラインによっては露光期間が複数のフレームに跨って取得されてしまうケースが存在する。その場合、表示装置は、表示パネルの表示画像を適切に調整することが困難である。

本発明の目的は、表示画像における同一フレーム内の各サブフィールドに対応する画像をグローバルシャッタ方式とは異なる方式で撮像する撮像部を用いて取得する方法を提供することである。

本発明の表示装置は、各々が複数のサブフィールドに時分割された複数のフレームの画像を表示する表示部と、前記表示部により表示された画像をライン単位で順次撮像する撮像部と、前記撮像部により撮像された画像を取得する取得部とを有し、前記撮像部は、前記表示部により表示される第１のフレームの画像に対して第１の開始ラインからライン単位で順次撮像し、その後、前記表示部により表示される第２のフレームの画像に対して前記第１の開始ラインとは異なる第２の開始ラインからライン単位で順次撮像し、前記取得部は、前記撮像部により撮像された前記第１のフレームの画像のうちの第１のライン領域を取得し、前記撮像部により撮像された前記第２のフレームの画像のうちの前記第１のライン領域に続く第２のライン領域を取得し、前記第１のライン領域のラインは、前記第１のフレーム内の各サブフィールドを含み、前記第２のライン領域のラインは、前記第２のフレーム内の各サブフィールドを含むことを特徴とする。

本発明によれば、表示画像における同一フレーム内の各サブフィールドに対応する画像をグローバルシャッタ方式とは異なる方式で撮像する撮像部を用いて取得できる。

第１の実施形態による表示装置の構成例を示す図である。 第１の実施形態による撮像領域制御を示すフローチャートである。 第１の実施形態による撮像領域制御を示すシーケンス図である。 第１の実施形態による撮像領域制御を示すシーケンス図である。 第２の実施形態による表示装置の構成例を示す図である。 表示パネルをラインスキャン方式で撮像するタイミングチャートである。

（第１の実施形態）
図１は、本発明の第１の実施形態による表示装置１００の構成例を示す図である。表示装置１００は、入力した画像を表示パネル１０１に出力することにより画像表示すると共に、表示画像を撮像し、撮像された画像を解析し、画像処理に反映させる。表示装置１００は、モニタのようなディスプレイであっても、プロジェクタのような投射型表示装置であってもよい。表示装置１００は、画像を表示するための表示パネル１０１を有する。表示パネル１０１は、表示部であり、各々が複数のサブフィールドに時分割された複数のフレームの画像を表示する。すなわち、表示パネル１０１は、１フレームの画像を複数のサブフィールドに時分割し、輝度を時間分散させて駆動する。また、表示装置１００は、撮像するためのＣＭＯＳセンサ等の撮像センサ１０２を有する。

表示装置１００は、ＰＷＭ駆動表示パネル１０１（以下、表示パネル１０１）、ラインスキャン方式撮像センサ１０２（以下、撮像センサ１０２）、及びパネル出力インターフェース１０３（以下、出力ＩＦ１０３）を有する。さらに、表示装置１００は、パネル同期タイミング制御部１０４（以下、同期制御部１０４）、撮像領域決定機構１１０、撮像センサ制御部１１３、蓄積部１１６、及び撮像画像解析部１１７を有する。さらに、表示装置１００は、画像処理制御パラメータ生成部１１９（以下、パラメータ生成部１１９）、画像処理部１２０、画像入力インターフェース１２１（以下、入力ＩＦ１２１）、及び撮像領域制御システム１２２（以下、制御システム１２２）を有する。なお、本実施形態では、表示装置１００が表示パネル１０１や撮像センサ１０２を備える構成を中心に説明するが、表示パネル１０１や撮像センサ１０２が表示装置１００とは別の装置として構成されても良い。

入力ＩＦ１２１は、画像を受信し、その受信した画像を画像処理部１２０に出力する。画像処理部１２０は、入力ＩＦ１２１から入力した画像に対して、表示するための画像処理を施し、画像処理が施された画像を出力ＩＦ１０３を介して表示パネル１０１に出力する。表示パネル１０１は、画像を表示する。

入力ＩＦ１２１は、画像の受信に同期して、入力画像垂直同期信号タイミング情報１０８を同期制御部１０４に出力する。同期制御部１０４は、入力画像垂直同期信号タイミング情報１０８を基に、適切なフレームレートの画像出力のタイミングで、画像同期信号タイミング情報１０５を出力ＩＦ１０３に出力する。同期制御部１０４は、画像入力と画像出力の同期を実現するために、入力画像垂直同期タイミング情報１０８に従って、表示パネル１０１への出力の同期タイミングの調整を行い、画像同期信号タイミング情報１０５を出力する。表示パネル１０１への出力の同期タイミングの調整は、垂直ブランキング期間又は水平ブランキング期間を調整することによって実現される。出力ＩＦ１０３は、画像同期信号タイミング情報１０５に基づき、表示パネル１０１の駆動に必要なタイミング信号を生成し、そのタイミング信号を画像と共に表示パネル１０１に出力する。

同期制御部１０４は、撮像センサ制御部１１３に対して、露光及びシャッタのトリガタイミング情報１０６を出力する。同期制御部１０４は、露光及びシャッタのトリガタイミング情報１０６として、垂直ブランキング開始タイミング情報を出力する。なお、同期制御部１０４は、トリガタイミング情報１０６から実際の露光及びシャッタ制御に遅延が生じる場合はその遅延を考慮したタイミングで、トリガタイミング情報１０６を出力してもよい。また、同期制御部１０４は、撮像領域決定機構１１０に対して、当該フレームの垂直ブランキング期間情報１０７を出力する。垂直ブランキング期間情報１０７は、先に示した画像同期信号タイミング情報１０５の生成過程での調整を含めた当該フレームの垂直ブランキング期間の情報であり、例えば垂直ブランキング期間のライン数情報として生成される。

撮像領域決定機構１１０は、垂直ブランキング期間情報１０７を基に、垂直ブランキング期間に露光及びシャッタ制御可能なセンサスキャンライン数を算出する。さらに、撮像領域決定機構１１０は、垂直ブランキング期間に撮像するセンサ位置を決定し、センサラインアドレス情報１０９を撮像センサ制御部１１３に出力する。垂直ブランキング期間に撮像するセンサ位置の決定については、後述する。撮像領域決定機構１１０は、センサラインアドレス情報１０９として、同期制御部１０４が出力するトリガタイミング情報１０６に、撮像センサ１０２内のどのラインより読み出しを行うかのアドレス情報を出力する。また、撮像領域決定機構１１０は、撮像画像解析部１１７に対して、撮像された画像のうちのどの領域が垂直ブランキング期間に露光及びシャッタ制御された領域であるかを示す有効撮像領域情報１１１を出力する。

撮像センサ制御部１１３は、トリガタイミング情報１０６とセンサラインアドレス情報１０９を入力し、撮像センサ１０２の露光及びシャッタ制御を行う。ＣＭＯＳセンサ等の撮像センサ１０２では、露光及びシャッタ制御は、センサデータの読み出し指示により行われる。したがって、撮像センサ制御部１１３は、トリガタイミング情報１０６に基づき、撮像センサ１０２に対して、センサラインアドレス情報１０９に示されるラインアドレスからのセンサデータ読み出しを制御する。本実施形態では、撮像センサ制御部１１３は、撮像センサ１０２に対して、指定されたラインアドレスから順次ラインアドレスを加算して読み出しを継続するものとして説明する。撮像センサ１０２は、撮像部であり、表示パネル１０１が表示する画像を、光電変換により撮像し、撮像した画像をセンサデータとして生成する。撮像センサ１０２は、センサラインアドレス情報１０９に示されるラインアドレスからのセンサデータを読み出し、そのセンサデータをセンサ撮像結果データ１１４として蓄積部１１６に出力する。蓄積部１１６は、センサ撮像結果データ１１４を撮像センサ１０２から取得して蓄積する。その際、蓄積部１１６は、撮像センサ制御部１１３から入力される読み出しライン情報とセンサ撮像結果データ１１４とを対応付けて蓄積する。

撮像画像解析部（取得部）１１７は、撮像領域決定機構１１０から入力される有効撮像領域情報１１１に基づき、蓄積部１１６から撮像結果データ１１５を取得する。すなわち、撮像画像解析部１１７は、撮像センサ１０２により撮像された画像を取得する。そして、撮像画像解析部１１７は、取得した撮像結果データ１１５の画像解析を行い、画像処理制御に反映するパラメータ生成に必要な画像制御情報１１８を生成し、画像制御情報１１８をパラメータ生成部１１９に出力する。具体的には、撮像画像解析部１１７は、画像解析として、撮像結果データ１１５から撮像画像の色情報を取得し、撮像画像の色情報と表示画像の色情報との比較を行い、周辺光や環境光の情報を抽出する処理等を行う。また、表示パネル１０１であるプロジェクタの位置合わせのために撮像画像を使用する場合には、例えば、表示パネル１０１は、画像にウォーターマーク画像を重畳して表示する。その場合、撮像画像解析部１１７は、撮像結果データ１１５からウォーターマーク画像を検出し、表示位置情報を抽出する処理を行う。撮像画像解析部１１７は、周辺光や環境光の情報、及び表示位置情報等を画像制御情報１１８として、パラメータ生成部１１９に出力する。パラメータ生成部１１９は、撮像画像解析部１１７から入力される画像制御情報１１８に基づいて、画像処理制御のパラメータを生成し、画像処理部１２０に対して画像処理の制御や動作設定を行う。具体的には、パラメータ生成部１１９は、画像処理部１２０に対して、周辺光や環境光に適応するための色補正設定や、表示パネル１０１であるプロジェクタの位置合わせのための変形制御及び重畳制御等を行う。

以上のように、表示装置１００は、周辺の光等の環境光を検出して、自律的に画像調整を行う。表示パネル１０１がプロジェクタの場合、表示措置１００は、環境光の他、投影面の形状調整やフォーカス調整、さらに複数台のプロジェクタ連携時のプロジェクタ間位置調整等の調整を自律的に調整することができる。プロジェクタで表示形状調整や位置調整を行う場合、撮像センサ１０２がプロジェクタの表示面を撮像し、撮像画像解析部１１７が撮像画像を解析することで、形状調整や位置調整を実現する。また、表示装置１００は、表示色の検出や環境光の影響を検出し、色調整等を行うことができる。

表示パネル１０１は、デジタル方式のパネル駆動を行う。表示パネル１０１は、フレームレートに基づく１フレーム画像のフレーム信号を複数のサブフィールドに時分割し、１フレーム画像の輝度を複数のサブフィールドに分散させて表示する。表示パネル１０１では、単一のサブフィールド期間では分散された各色の輝度値のみが表示され、１フレームの積分でフレームの輝度値が表現される。

撮像方式には、グローバルシャッタ方式とローリングシャッタ方式がある。グローバルシャッタ方式は、主にＣＣＤセンサを用いて、ＣＣＤセンサの撮像面全体の露光及びシャッタのタイミングを一括に行う方式である。これに対して、ローリングシャッタ方式は、主にＣＭＯＳセンサを用いて、ＣＭＯＳセンサの水平スキャン毎に露光及びシャッタのタイミングを制御する方式である。このため、ローリングシャッタ方式は、ラインスキャン方式の撮像系としても表現可能である。撮像センサ１０２は、ローリングシャッタ方式である。グローバルシャッタ方式の場合、ＣＣＤセンサの撮像面全面を同タイミングで撮像することができるのに対して、ローリングシャッタ方式では、ＣＭＯＳセンサの水平スキャンライン毎に撮像のタイミングが異なる。しかし、ローリングシャッタ方式は、グローバルシャッタ方式に対して、センサの小型化や省電力化が可能であり、かつ低コストでの実現が可能である。したがって、表示パネル１０１の表示画像を撮像し、表示画像の画像制御に反映する撮像装置１００には、ローリングシャッタ方式を用いた撮像センサ１０２の使用が好ましい。

撮像センサ１０２は、光電変換を行う行列状に配置された複数の画素を有し、ラインスキャンを行い、ライン単位で画素の信号を順に読み出す。表示パネル１０１の表示画像を撮像センサ１０２で撮像する場合、撮像センサ１０２のラインスキャンによっては露光期間が複数のフレームに跨って取得されてしまうケースが存在する。以下、図６を参照しながら説明する。

図６は、表示パネル１０１の表示画像の垂直同期タイミング２０１２と表示パネル１０１での１フレームの画像を複数のサブフィールドに時分割して出力するタイミングを示すタイミングチャートである。有効画像期間２０１１は、垂直ブランキング期間２０１０に挟まれた期間である。例えば、表示パネル１０１は、垂直同期期間内のフレーム信号の有効画像期間２０１１を８つのサブフィールドＳｆ１〜Ｓｆ８に分割して駆動する。フレーム信号は、垂直同期期間内のサブフィールドＳｆ１〜Ｓｆ８を時間で輝度積分したものとして表現される。すなわち、表示パネル１０１は、各々が複数のサブフィールドＳｆ１〜Ｓｆ８に時分割された複数のフレームの画像を表示する。

さらに、図６では、撮像センサ１０２の１０個のラインの露光及びシャッタタイミング２０００〜２００９の関係を合わせて示している。図６で示す矢印の端部がシャッタタイミングであり、矢印内の期間が露光期間を示している。撮像センサ１０２は、表示パネル１０１により表示された画像をライン単位で順次撮像する。撮像センサ１０２では、各ラインの露光及びシャッタタイミング２０００〜２００９が相互にずれている。撮像センサ１０２が表示パネル１０１の表示画像を撮像する場合、少なくとも露光期間は、表示画像の有効画像期間２０１１をカバーする期間である必要がある。図６では、撮像センサ１０２の露光及びシャッタのフレームレートと表示パネル１０１の表示画像のフレームレートが同一であるケースを例示している。その場合、撮像センサ１０２の露光及びシャッタタイミング２０００〜２００９の中で単一の有効画像期間２０１１をカバーするラインは、タイミング２０００、２００１、２００２のラインである。タイミング２０００、２００１、２００２のラインの撮像結果は、特定のフレーム信号に対して分割されたサブフィールドＳｆ１〜Ｓｆ８の積分結果として得られる。これに対して、露光及びシャッタタイミング２０００〜２００９の中で単一の有効画像期間２０１１をカバーしていないラインは、タイミング２００３〜２００９のラインである。タイミング２００３〜２００９のラインの撮像結果は、複数のフレーム信号に跨って分割されたサブフィールドの積分結果として得られてしまう。例えば、露光及びシャッタタイミング２００５では、前フレーム信号の一部のサブフィールドＳｆ４〜Ｓｆ８と後フレーム信号の一部のサブフィールドＳｆ１〜Ｓｆ３の積分結果が撮像結果として得られる。その結果、露光及びシャッタタイミング２０００〜２００２のラインの撮像結果は、同一のフレーム信号内のサブフレームＳｆ１〜Ｓｆ８の積分結果として取得される。これに対し、タイミング２００３〜２００９のラインの撮像結果は、複数のフレーム信号に跨ったサブフレームの積分結果として取得される。表示装置１００は、撮像センサ１０２が表示パネル１０１の表示画像を撮像し、その撮像結果を画像処理のパラメータに反映させる。その場合、表示装置１００は、撮像結果にしたがって画像の補正を行う処理では、複数フレームに跨って積分された領域の撮像結果を補正処理の元データとして使用できない。例えば、撮像結果を色補正のパラメータ生成に使用するケースでは、複数フレームに跨って積分された結果は表示色と異なる色として撮像され得るため、その撮像結果に基づいて色補正が行われると、誤った色補正を施すことになりかねない。また、表示パネル１０１が位置合わせのためにフレーム毎に異なるウォーターマークを付加する場合、撮像された画像の１フレームには、表示画像の複数のフレームに跨るウォーターマークが検出され、撮像結果を位置合わせパラメータに使用できない。したがって、撮像センサ１０２が表示パネル１０１の表示画像を撮像する場合、撮像センサ１０２は、表示パネル１０１の１フレーム内の全ラインを撮像することができない課題がある。以下、この課題を解決するための実施形態を説明する。

図２は、本実施形態による表示装置１００の制御方法を示すフローチャートであり、撮像領域決定機構１１０及び撮像センサ制御部１１３の制御により実現される撮像領域制御を示す。ステップＳ２００では、制御システム１２２は、画像制御のユースケース指定に従って、撮像結果解析モード及び撮像領域を決定する。例えば、パラメータ生成部１１９が色補正パラメータを算出する場合、撮像画像解析部１１７は、同一領域については１フレームのデータを取得できればよい。また、パラメータ生成部１１９が２フレーム連続の特定パターンで挿入されるウォーターマークを抽出した位置調整を行う場合、撮像画像解析部１１７は、２フレーム連続で同一領域の撮像画像が必要となる。撮像結果解析モードは、このようなユースケースに応じて、撮像制御のモードを決定するためのモードである。撮像領域は、ユースケースに応じて、撮像センサ１０２の特定ライン領域のデータが必要か、又は撮像センサ１０２の全ライン領域のデータが必要かを決定するための領域である。例えば、撮像領域決定機構１１０は、位置合わせのために上下端部の撮像画像が必要である場合には、上下端部領域を撮像領域として決定し、全ラインの撮像画像が必要である場合には全ラインを撮像領域として決定する。

次に、ステップＳ２０１では、撮像領域決定機構１１０は、同期制御部１０４から垂直ブランキング期間情報１０７を取得する。取得のタイミングは、同期制御部１０４の機能に依存する。例えば、同期制御部１０４は、当該フレームの有効画像期間に、当該フレームの有効画像期間２０１１と次フレームの有効画像期間２０１１との間の垂直ブランキング期間情報１０７を撮像領域決定機構１１０に出力する。垂直ブランキング期間情報１０７は、垂直ブランキング期間２０１０の情報である。

次に、ステップＳ２０２では、撮像領域決定機構１１０は、垂直ブランキング期間情報１０７を基に、垂直ブランキング期間２０１０内で露光期間が開始し、その次の垂直ブランキング期間２０１０内でその露光期間が終了するライン数を決定する。図６では、露光及びシャッタタイミング２０００〜２００９は、矢印の左端が露光期間開始を示し、矢印の右端が露光期間終了を示し、矢印の期間が露光期間を示す。露光及びシャッタタイミング２０００〜２００２の３ラインは、その矢印の左端が示すように、垂直ブランキング期間２０１０内で露光期間が開始し、その矢印の右端が示すように、その次の垂直ブランキング期間２０１０内で露光期間が終了する。この場合、撮像領域決定機構１１０は、垂直ブランキング期間２０１０内で露光期間が開始し、その次の垂直ブランキング期間２０１０内でその露光期間が終了するライン数として３ラインを決定する。すなわち、撮像領域決定機構１１０は、表示パネル１０１が表示する同一フレーム内のすべてのサブフィールドＳｆ１〜Ｓｆ８を撮像センサ１０２が撮像可能なライン数として３ラインを決定する。この３ラインは、同一フレーム内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含むので、画像解析可能な有効ライン数である。なお、決定されるライン数は、３ラインの例を説明したが、撮像センサ１０２及び垂直ブランキング期間２０１０に応じて、実際には３ラインより多くなる。

次に、ステップＳ２０３では、撮像領域決定機構１１０は、ステップＳ２００で決定された撮像領域に基づき、撮像領域のラインスキャン開始アドレスを生成する。例えば、ステップＳ２００で決定された撮像領域が全ライン領域である場合、撮像領域決定機構１１０は、先頭ラインの開始アドレスを生成する。撮像画像解析部１１７は、ステップＳ２０３で決定されたラインスキャン開始アドレスから、ステップＳ２０２で決定されたライン数分、撮像センサ１０２より有効画像を取得可能になる。撮像領域決定機構１１０は、その生成したラインスキャン開始アドレスをセンサラインアドレス情報１０９として撮像センサ制御部１１３に出力する。

次に、ステップＳ２０４では、撮像センサ制御部１１３は、同期制御部１０４から入力される垂直ブランキング期間タイミングをトリガタイミング情報１０６として検出する。すなわち、図６の場合、撮像センサ制御部１１３は、垂直ブランキング期間２０１０の開始を検出するまで待機する。

ステップＳ２０５では、撮像センサ制御部１１３は、垂直ブランキング期間２０１０の開始を示すトリガタイミング情報１０６をトリガにして、撮像センサ１０２に対して、シャッタ及び露光制御により読み出し制御を行う。具体的には、撮像センサ制御部１１３は、撮像センサ１０２に対して、センサラインアドレス情報１０９を開始ラインアドレスとして、撮像領域の開始ラインから撮像センサ１０２の最終ラインまで読み出しを行う。撮像センサ制御部１１３は、撮像センサ１０２に対して、各ラインの露光期間に基づき、順次読み出しラインを変更し、撮像領域の開始ラインから撮像センサ１０２の最終ラインまで読み出しを行う。この読み出しは、図６に示すように、現在のフレームに対して、露光及びシャッタタイミング２０００〜２００９の矢印の左端が示す露光期間の開始を示す。

次に、ステップＳ２０６では、撮像センサ制御部１１３は、ステップＳ２０４と同様に、同期制御部１０４から入力される次の垂直ブランキング期間タイミングをトリガタイミング情報１０６として検出する。すなわち、撮像センサ制御部１１３は、次の垂直ブランキング期間２０１０の開始を検出するまで待機する。

次に、ステップＳ２０７では、撮像センサ制御部１１３は、垂直ブランキング期間２０１０の開始を示すトリガタイミング情報１０６をトリガにして、撮像センサ１０２に対して、シャッタ及び露光制御により読み出し制御を行う。具体的には、撮像センサ制御部１１３は、撮像センサ１０２に対して、センサラインアドレス情報１０９を開始ラインアドレスとして、撮像領域の開始ラインから撮像センサ１０２の最終ラインまで読み出しを行う。撮像センサ制御部１１３は、撮像センサ１０２に対して、各ラインの露光期間に基づき、順次読み出しラインを変更し、撮像領域の開始ラインから撮像センサ１０２の最終ラインまで読み出しを行う。この読み出しは、図６に示すように、現在のフレームに対して、露光及びシャッタタイミング２０００〜２００９の矢印の右端が示す露光期間の終了を示す。それと同時に、この読み出しは、次のフレームに対して、露光及びシャッタタイミング２０００〜２００９の矢印の左端が示す露光期間の開始をも示す。

次に、ステップＳ２０９では、蓄積部１１６は、ステップＳ２０７で撮像センサ１０２から読み出されたラインの撮像画像を取得して蓄積する。なお、蓄積された撮像画像は、先頭ラインから、ステップＳ２０２で決定されたライン数分のラインが同一フレーム内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含む有効画像のラインである。その他のラインは、２つのフレームに跨るサブフィールドＳｆ１〜Ｓｆ８を含む無効画像のラインである。そこで、後に、撮像画像解析部１１７は、蓄積部１１６に蓄積された撮像画像に対して、先頭ラインから、ステップＳ２０２で決定されたライン数分のラインのみを有効画像として取得して解析する。これにより、撮像画像解析部１１７は、ステップＳ２０３で指定されたラインからステップＳ２０２で決定されたライン数分の撮像画像を、有効画像として取得することができる。

次に、ステップＳ２１０では、制御システム１２２は、ステップＳ２００で決定されたすべての撮像領域についての有効画像の取得が完了したか否かを判定する。撮像領域決定機構１１０は、すべての撮像領域についての有効画像の取得が完了した場合には処理を終了し、すべての撮像領域についての有効画像の取得が完了していない場合には次のフレームの処理のためにステップＳ２１１に処理を進める。例えば、ステップＳ２００で決定された撮像領域の一部のラインの有効画像しか取得できていない場合には、制御システム１２２は、ステップＳ２１１に処理を進める。また、２フレーム連続のウォーターマークのうちの１フレームのウォーターマークしか取得できていない場合には、制御システム１２２は、ステップＳ２１１に処理を進める。

ステップＳ２１１では、制御システム１２２は、ステップＳ２００で決定された撮像結果解析モードを基に、後続フレームの撮像領域が現在のフレームの撮像領域と同一の領域であるか否かを判定する。制御システム１２２は、同一の領域であると判定した場合には、ステップＳ２０６からの処理を次のフレームについて繰り返し行う。例えば、２フレーム連続してウォーターマークを撮像する場合には、最初のステップＳ２０６〜Ｓ２０９の処理により、１フレーム目のウォーターマークを撮像し、次のステップＳ２０６〜Ｓ２０９の処理により、２フレーム目のウォーターマークを撮像する。２フレームのウォーターマークの撮像が終了すると、ステップＳ２１０では、制御システム１２２は、処理を終了する。

また、ステップＳ２１１において、制御システム１２２は、同一の領域でないと判定した場合には、ステップＳ２１２に処理を進める。例えば、ステップＳ２００で決定された撮像領域の一部のラインの有効画像しか取得できていない場合には、制御システム１２２は、ステップＳ２１２に処理を進める。ステップＳ２００で決定された撮像領域が全ライン領域であり、ステップＳ２０２で決定されたライン数が３ラインである場合、上記のステップＳ２０６〜Ｓ２０９の処理により、１ライン目〜３ライン目の有効画像を取得する。そして、後述のステップＳ２１２以降の処理により、４ライン目〜６ライン目の有効画像を取得する。

ステップＳ２１２では、撮像領域決定機構１１０は、ステップＳ２０１と同様に、同期制御部１０４から垂直ブランキング期間情報１０７を取得する。次に、ステップＳ２１３では、撮像領域決定機構１１０は、ステップＳ２０２と同様に、垂直ブランキング期間２０１０内で露光期間が開始し、その次の垂直ブランキング期間２０１０内でその露光期間が終了するライン数を決定する。

次に、ステップＳ２１４では、撮像領域決定機構１１０は、ステップＳ２０３と同様に、次の撮像領域のラインスキャン開始アドレスを生成して更新する。例えば、ステップＳ２００で決定された撮像領域が全ライン領域であり、上記のステップＳ２０６〜Ｓ２０９で１ライン目〜３ライン目の有効画像を取得した場合、撮像領域決定機構１１０は、４ライン目のスキャン開始アドレスを生成して更新する。

その後、制御システム１２２は、ステップＳ２０４の処理に戻り、次フレームについての処理を繰り返す。例えば、１回目のステップＳ２０６〜Ｓ２０９の処理で１ライン目〜３ライン目の有効画像を取得し、２回目のステップＳ２０６〜Ｓ２０９の処理で４ライン目〜６ライン目の有効画像を取得することができる。制御システム１２２は、この処理を最終ラインまで繰り返すことにより、全ラインの有効画像を取得することができる。

撮像画像解析部１１７は、蓄積部１１６に蓄積された各フレームの撮像画像に対して、先頭ラインから、ステップＳ２０２及びＳ２１３で決定されたライン数分のラインのみを有効画像として取得して解析する。これにより、撮像画像解析部１１７は、全ラインの有効画像を取得することができる。

図３及び図４は、表示装置１００の処理例を示すシーケンス図であり、フレームの時間と処理の関係を示す。図３は、撮像結果解析モードとして、１フレームの撮像画像を解析するモードの場合を例示している。例えば、撮像領域は、全ライン領域である。図３の上部は、表示パネル１０１に対する画像出力と垂直同期タイミングを示す。図３の下部は、表示装置１００の処理シーケンスを示しており、各処理については図２に示した処理ステップを示している。ここで、制御システム１２２は、撮像結果解析モード全体を制御する機構であり、例えばソフトウエア等で実現される。制御システム１２２は、表示パネル１０１の画像表示とその表示画像の撮像連携処理の開始指示に従い、一連の処理を開始し、ステップＳ２００の撮像結果解析モード及び撮像領域決定処理を行う。ステップＳ２００の処理は、表示パネル１００の表示タイミングとは非同期であってもよい。制御システム１２２は、ステップＳ２００の処理結果を撮像領域決定機構１１０に出力する。撮像領域決定機構１１０は、ステップＳ２０１〜Ｓ２０３の処理を行い、その処理結果としてセンサラインアドレス情報１０９を生成する。例えば、撮像領域が全ライン領域である場合、センサラインアドレス情報１０９は、１行目のアドレスをラインスキャン開始アドレスとして示す。撮像センサ制御部１１３は、この時点で、ステップＳ２０４の垂直ブランキング期間（ｂｌａｎｋ）２０１０の開始タイミングを検出し、同期制御部１０４から入力されるトリガタイミング情報１０６を待つ。撮像センサ制御部１１３は、トリガタイミング情報１０６を入力すると、ステップＳ２０５のシャッタ及び露光制御を開始する。すなわち、撮像センサ制御部１１３は、フレーム１の露光期間の開始を指示する。撮像センサ１０２は、フレーム０の読み出しを行うことにより、フレーム１の露光期間を開始する。次に、撮像センサ制御部１１３は、ステップＳ２０６のフレーム１終了後の垂直ブランキング期間２０１０の検出の待ち状態となる。次に、撮像センサ制御部１１３は、後続のトリガタイミング情報１０６を入力すると、ステップＳ２０７のシャッタ及び露光制御を開始する。撮像センサ制御部１１３は、フレーム１の読み出しを行うことにより、フレーム２の露光期間を開始する。ステップＳ２０９では、蓄積部１１６は、撮像センサ１０２から読み出されるフレーム１の画像を蓄積する。ここで、垂直ブランキング期間２０１０に読み出されるデータ３００は、撮像センサ１０２から読み出されるデータのうち、撮像画像解析部１１７が画像解析に使用可能な有効画像として取り扱うデータの期間を示している。すなわち、データ３００は、フレーム１内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含むラインのデータであり、例えばフレーム１の１ライン目〜３ライン目のデータである。

ステップＳ２０７の完了後、撮像領域の一部のライン（例えば１ライン目〜３ライン目）の有効画像しか取得できていないので、制御システム１２２は、ステップＳ２１０ではステップＳ２１１に進み、ステップＳ２１１ではステップＳ２１２に進む。撮像領域決定機構１１０は、ステップＳ２１２〜Ｓ２１４の処理を行い、次の撮像領域のセンサラインアドレス情報１０９を生成する。例えば、撮像領域が全ライン領域である場合、センサラインアドレス情報１０９は、４行目のアドレスをラインスキャン開始アドレスとして示す。次に、ステップＳ２０４では、撮像センサ制御部１１３は、フレーム２後の垂直ブランキング期間２０１０が開始するまで待機する。次に、ステップＳ２０５では、撮像センサ制御部１１３は、読み出し制御を行う。これにより、撮像センサ１０２は、フレーム２の読み出しを行うことにより、フレーム３の露光期間を開始する。次に、ステップＳ２０６では、撮像センサ制御部１１３は、フレーム３終了後の垂直ブランキング期間２０１０の検出の待ち状態となる。次に、ステップＳ２０７では、撮像センサ制御部１１３は、読み出し制御を行う。これにより、撮像センサ１０２は、フレーム３の読み出しを行うことにより、フレーム４の露光期間を開始する。ステップＳ２０９では、蓄積部１１６は、撮像センサ１０２から読み出されるフレーム３の画像を蓄積する。ここで、垂直ブランキング期間２０１０に読み出されるデータ３０１は、撮像センサ１０２から読み出されるデータのうち、撮像画像解析部１１７が画像解析に使用可能な有効画像として取り扱うデータの期間を示している。すなわち、データ３０１は、フレーム３内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含むラインのデータであり、例えばフレーム３の４ライン目〜６ライン目のデータである。以後は、先に示した制御と同様の処理シーケンスで処理が行われる。以上の処理により、１フレーム単位で撮像センサ１０２から取得する撮像領域の制御が可能である。また、垂直ブランキング期間２０１０の検出をトリガーにして各フレームの露光期間が開始されるため、垂直ブランキング期間２０１０の揺らぎの発生にも追従可能である。垂直ブランキング期間２０１０の揺らぎにより、ステップＳ２０２のライン数とステップＳ２１３のライン数が異なる場合がある。

以上のように、撮像センサ１０２は、表示パネル１０１により表示される第１のフレーム（フレーム１）の画像に対して第１の開始ライン（例えば１ライン目）からライン単位で順次撮像する。その後、撮像センサ１０２は、表示パネル１０１により表示される第２のフレーム（フレーム３）の画像に対して第１の開始ラインとは異なる第２の開始ライン（例えば４ライン目）からライン単位で順次撮像する。撮像画像解析部１１７は、撮像センサ１０２により撮像された第１のフレームの画像（フレーム１）のうちの第１のライン領域（例えば１ライン目〜３ライン目）を取得する。また、撮像画像解析部１１７は、撮像センサ１０２により撮像された第２のフレーム（フレーム３）の画像のうちの第１のライン領域に続く第２のライン領域（例えば４ライン目〜６ライン目）を取得する。第１のライン領域のラインは、第１のフレーム内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含む。第２のライン領域のラインは、第２のフレーム内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含む。第２の開始ラインは、第１の開始ラインに対して、第１のライン領域のライン数を加算したラインである。

撮像センサ１０２は、ライン単位で順次露光期間を制御する。第１のライン領域のラインは、第１のフレーム（フレーム１）の前の垂直ブランキング期間２０１０内に露光期間が開始し、第１のフレーム（フレーム１）の後の垂直ブランキング期間２０１０内に露光期間が終了する。第２のライン領域のラインは、第２のフレーム（フレーム３）の前の垂直ブランキング期間２０１０内に露光期間が開始し、第２のフレーム（フレーム３）の後の垂直ブランキング期間２０１０内に露光期間が終了する。

撮像センサ１０２は、第１のフレーム（フレーム１）の前の垂直ブランキング期間２０１０内に第１のフレームの前のフレーム（フレーム０）の第１のライン領域のラインを読み出す。そして、撮像センサ１０２は、第１のフレーム（フレーム１）の後の垂直ブランキング期間２０１０内に第１のフレーム（フレーム１）の第１のライン領域のラインを読み出す。

また、撮像センサ１０２は、第２のフレーム（フレーム３）の前の垂直ブランキング期間２０１０内に第２のフレームの前のフレーム（フレーム２）の第２のライン領域のラインを読み出す。そして、撮像センサ１０２は、第２のフレーム（フレーム３）の後の垂直ブランキング期間２０１０内に第２のフレーム（フレーム３）の第２のライン領域のラインを読み出す。

ステップＳ２００では、制御システム１２２は、領域決定部であり、撮像領域を決定する。第１の開始ラインは、その決定された撮像領域の先頭ラインである。第１のライン領域及び第２のライン領域は、その決定された撮像領域に含まれる。

ステップＳ２０２では、撮像領域決定機構１１０は、第１のフレーム（フレーム１）の前の垂直ブランキング期間情報１０７を基に第１のフレームの前の垂直ブランキング期間２０１０内に読み出し可能な第１の最大ライン数（例えば３ライン）を決定する。ここで、撮像領域決定機構１１０は、ライン数決定部である。ステップＳ２１３では、撮像領域決定機構１１０は、第２のフレーム（フレーム３）の前の垂直ブランキング期間情報１０７を基に第２のフレームの前の垂直ブランキング期間２０１０内に読み出し可能な第２の最大ライン数（例えば３ライン）を決定する。第１のライン領域のライン数は、第１の最大ライン数である。第２のライン領域のライン数は、第２の最大ライン数である。

画像処理部１２０は、撮像画像解析部１１７により取得された画像を基に、入力画像に対して画像処理する。表示パネル１０１は、画像処理部１２０により画像処理された画像を表示する。

図４は、撮像結果解析モードとして、２フレーム連続のウォーターマークを解析するモードの場合を例示している。ステップＳ２００〜Ｓ２０４の処理は、図３のものと同様である。撮像領域は、ウォーターマークの領域である。ステップＳ２０５では、撮像センサ１０２は、ウォーターマークの撮像領域に対して、フレーム０の読み出しを行うことにより、フレーム１の露光期間を開始する。次に、ステップＳ２０６では、撮像センサ制御部１１３は、フレーム１後の垂直ブランキング期間２０１０の待ち状態となる。次に、ステップＳ２０７では、撮像センサ１０２は、ウォーターマークの撮像領域に対して、フレーム１の読み出しを行うことにより、フレーム２の露光期間を開始する。ステップＳ２０９では、蓄積部１１６は、撮像センサ１０２から読み出されるフレーム１の画像を蓄積する。ここで、垂直ブランキング期間２０１０に読み出されるデータは、フレーム１内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含むラインのデータであり、例えばフレーム１の１ライン目〜３ライン目のデータである。

ステップＳ２０７の完了後、２フレーム連続の同一撮像領域のウォーターマークを撮像するため、制御システム１２２は、ステップＳ２１０ではステップＳ２１１に処理を進め、ステップＳ２１１ではステップＳ２０６に処理を進める。ステップＳ２０６では、撮像センサ制御部１１３は、フレーム２後の垂直ブランキング期間２０１０の待ち状態となる。次に、ステップＳ２０７では、撮像センサ１０２は、ウォーターマークの撮像領域に対して、フレーム２の読み出しを行うことにより、フレーム３の露光期間を開始する。ステップＳ２０９では、蓄積部１１６は、撮像センサ１０２から読み出されるフレーム２の画像を蓄積する。ここで、垂直ブランキング期間２０１０に読み出されるデータは、フレーム２内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含むラインのデータであり、例えばフレーム２の１ライン目〜３ライン目のデータである。

ステップＳ２０７の完了後、２フレーム連続の撮像領域の残りのラインの有効画像を撮像するため、制御システム１２２は、ステップＳ２１０ではステップＳ２１１に処理を進め、ステップＳ２１１ではステップＳ２１２に処理を進める。撮像領域決定機構１１０は、ステップＳ２１２〜Ｓ２１４の処理を行い、次の撮像領域のセンサラインアドレス情報１０９を生成する。例えば、センサラインアドレス情報１０９は、４行目のアドレスをラインスキャン開始アドレスとして示す。次に、ステップＳ２０４では、撮像センサ制御部１１３は、フレーム３後の垂直ブランキング期間２０１０の待ち状態となる。次に、ステップＳ２０５では、撮像センサ１０２は、ウォーターマークの撮像領域に対して、フレーム３の読み出しを行うことにより、フレーム４の露光期間を開始する。次に、ステップＳ２０６では、撮像センサ制御部１１３は、フレーム４後の垂直ブランキング期間２０１０の待ち状態となる。次に、ステップＳ２０７では、撮像センサ１０２は、ウォーターマークの撮像領域に対して、フレーム４の読み出しを行うことにより、フレーム５の露光期間を開始する。ステップＳ２０９では、蓄積部１１６は、撮像センサ１０２から読み出されるフレーム４の画像を蓄積する。ここで、垂直ブランキング期間２０１０に読み出されるデータは、フレーム４内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含むラインのデータであり、例えばフレーム４の４ライン目〜６ライン目のデータである。その後、同様の処理を繰り返し、例えばフレーム５の４ライン目〜６ライン目の有効画像を取得する。以後、同様に、２フレーム連続の有効画像取得処理が、撮像領域の最終ラインまで繰り返される。以上の処理により、撮像センサ１０２から２フレーム連続で同一撮像領域の解析可能な有効画像を取得することができる。

以上のように、撮像センサ１０２は、表示パネル１０１により表示される第１のフレーム（フレーム１）の画像に対して第１の開始ライン（例えば１ライン目）からライン単位で順次撮像する。その後、撮像センサ１０２は、表示パネル１０１により表示される第１のフレームの直後のフレーム（フレーム２）の画像に対して第１の開始ライン（例えば１ライン目）からライン単位で順次撮像する。その後、撮像センサ１０２は、表示パネル１０１により表示される第２のフレーム（フレーム４）の画像に対して第１の開始ラインとは異なる第２の開始ライン（例えば４ライン目）からライン単位で順次撮像する。撮像画像解析部１１７は、撮像センサ１０２により撮像された第１のフレームの画像（フレーム１）のうちの第１のライン領域（例えば１ライン目〜３ライン目）を取得する。また、撮像画像解析部１１７は、撮像センサ１０２により撮像された第１のフレームの直後のフレーム（フレーム２）の画像のうちの第１のライン領域（例えば１ライン目〜３ライン目）を取得する。また、撮像画像解析部１１７は、撮像センサ１０２により撮像された第２のフレーム（フレーム４）の画像のうちの第１のライン領域に続く第２のライン領域（例えば４ライン目〜６ライン目）を取得する。

（第２の実施形態）
図５は、本発明の第２の実施形態による表示装置１００の構成例を示す図である。本実施形態（図５）の表示装置１００は、第１の実施形態の表示装置１００に対して、静止画像判定部５０１を追加したものである。以下、本実施形態が第１の実施形態と異なる点を説明する。静止画像判定部５０１は、画像処理部１２０内に設けられ、表示画像のフレーム間の差分を基に、表示画像が静止画像であるか動画像であるかを判定し、静止画像判定結果情報５０２を撮像領域決定機構１１０に出力する。フレーム間に差分がなければ静止画像であると判定され、フレーム間に差分があれば動画像であると判定される。撮像領域決定機構１１０は、静止画像判定結果情報５０２が動画像である場合には、第１の実施形態と同様の処理を行う。これに対し、静止画像判定結果情報５０２が静止画像である場合には、ステップＳ２０２及びＳ２１３では、撮像領域決定機構１１０は、撮像センサ１０２の全ライン数を、ステップＳ２０１及びＳ２０２のライン数として決定する。

また、撮像領域決定機構１１０は、静止画像判定結果情報５０２が動画像である場合には、撮像画像解析部１１７に対して、撮像センサ１０２により撮像された画像のうちのどの領域が有効画像であるかを示す有効撮像領域情報１１１を出力する。この処理は、第１の実施形態と同様である。また、静止画像判定結果情報５０２が静止画像である場合には、撮像領域決定機構１１０は、撮像画像解析部１１７に対して、撮像センサ１０２により撮像された画像のすべての領域が有効画像であるかを示す有効撮像領域情報１１１を出力する。

静止画像は、表示画像のフレーム間に差分がない。そのため、表示画像が静止画像である場合には、撮像センサ１０２により撮像された画像のすべての領域を有効画像にする。これに対し、表示画像が動画像である場合には、第１の実施形態と同様に、同一フレーム内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含むラインのみを有効画像にする。

静止画像判定部５０１は、表示パネル１０１により表示される画像が動画像及び静止画像のいずれであるのかを判定する。表示装置１００は、静止画像判定部５０１により動画像であると判定された場合には、第１の実施形態と同様の動作を行う。次に、静止画像であると判定された場合を説明する。撮像センサ１０２は、静止画像判定部５０１により静止画像であると判定された場合には、表示パネル１０１により表示される第１のフレームの画像に対してライン単位で順次撮像する。撮像画像解析部１１７は、静止画像判定部５０１により静止画像であると判定された場合には、撮像センサ１０２により撮像された第１のフレームの画像の全ライン領域を取得する。

第１及び第２の実施形態によれば、表示パネル１０１により表示される画像を撮像センサ１０２により撮像することができる。撮像センサ１０２は、ローリングシャッタ方式のＣＭＯＳセンサ等であり、グローバルシャッタ方式のＣＣＤセンサに比べて安価である。撮像画像解析部１１７は、同一フレーム内のすべてのサブフィールドＳｆ１〜Ｓｆ８を含むラインの画像を取得することができる。これにより、画像処理部１２０は、撮像画像解析部１１７により取得された画像を基に、適切な画像処理を行い、適切な画像を表示パネル１０１に表示させることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 表示装置、１０１ 表示パネル、１０２ 撮像センサ、１０３ 出力ＩＦ、１０４ 同期制御部、１１０ 撮像領域決定機構、１１３ 撮像センサ制御部、１１６ 蓄積部、１１７ 撮像画像解析部、１１９ パラメータ生成部、１２１ 入力ＩＦ、１２２ 制御システム

Claims (11)

1. 各々が複数のサブフィールドに時分割された複数のフレームの画像を表示する表示部と、
   前記表示部により表示された画像をライン単位で順次撮像する撮像部と、
   前記撮像部により撮像された画像を取得する取得部とを有し、
   前記撮像部は、前記表示部により表示される第１のフレームの画像に対して第１の開始ラインからライン単位で順次撮像し、その後、前記表示部により表示される第２のフレームの画像に対して前記第１の開始ラインとは異なる第２の開始ラインからライン単位で順次撮像し、
   前記取得部は、前記撮像部により撮像された前記第１のフレームの画像のうちの第１のライン領域を取得し、前記撮像部により撮像された前記第２のフレームの画像のうちの前記第１のライン領域に続く第２のライン領域を取得し、
   前記第１のライン領域のラインは、前記第１のフレーム内の各サブフィールドを含み、
   前記第２のライン領域のラインは、前記第２のフレーム内の各サブフィールドを含むことを特徴とする表示装置。
2. 前記第２の開始ラインは、前記第１の開始ラインに対して、前記第１のライン領域のライン数を加算したラインであることを特徴とする請求項１記載の表示装置。
3. 前記撮像部は、ライン単位で順次露光期間を制御し、
   前記第１のライン領域のラインは、前記第１のフレームの前の垂直ブランキング期間内に露光期間が開始し、前記第１のフレームの後の垂直ブランキング期間内に露光期間が終了し、
   前記第２のライン領域のラインは、前記第２のフレームの前の垂直ブランキング期間内に露光期間が開始し、前記第２のフレームの後の垂直ブランキング期間内に露光期間が終了することを特徴とする請求項１又は２記載の表示装置。
4. 前記撮像部は、
   前記第１のフレームの前の垂直ブランキング期間内に前記第１のフレームの前のフレームの前記第１のライン領域のラインを読み出し、前記第１のフレームの後の垂直ブランキング期間内に前記第１のフレームの前記第１のライン領域のラインを読み出し、
   前記第２のフレームの前の垂直ブランキング期間内に前記第２のフレームの前のフレームの前記第２のライン領域のラインを読み出し、前記第２のフレームの後の垂直ブランキング期間内に前記第２のフレームの前記第２のライン領域のラインを読み出すことを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
5. さらに、前記第１のフレームの前の垂直ブランキング期間情報を基に前記第１のフレームの前の垂直ブランキング期間内に読み出し可能な第１の最大ライン数を決定するライン数決定部を有し、
   前記第１のライン領域のライン数は、前記第１の最大ライン数であることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
6. さらに、前記第１のフレームの前の垂直ブランキング期間情報を基に前記第１のフレームの前の垂直ブランキング期間内に読み出し可能な第１の最大ライン数を決定し、前記第２のフレームの前の垂直ブランキング期間情報を基に前記第２のフレームの前の垂直ブランキング期間内に読み出し可能な第２の最大ライン数を決定するライン数決定部を有し、
   前記第１のライン領域のライン数は、前記第１の最大ライン数であり、
   前記第２のライン領域のライン数は、前記第２の最大ライン数であることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
7. さらに、撮像領域を決定する領域決定部を有し、
   前記第１の開始ラインは、前記撮像領域の先頭ラインであり、
   前記第１のライン領域及び前記第２のライン領域は、前記撮像領域に含まれることを特徴とする請求項１〜６のいずれか１項に記載の表示装置。
8. 前記撮像部は、前記表示部により表示される前記第１のフレームの直後のフレームの画像に対して前記第１の開始ラインからライン単位で順次撮像し、
   前記取得部は、前記撮像部により撮像された前記第１のフレームの直後のフレームの画像のうちの前記第１のライン領域を取得することを特徴とする請求項１〜７のいずれか１項に記載の表示装置。
9. さらに、前記表示部により表示される画像が動画像及び静止画像のいずれであるのかを判定する画像判定部を有し、
   前記撮像部は、前記画像判定部により動画像であると判定された場合には、前記表示部により表示される第１のフレームの画像に対して第１の開始ラインからライン単位で順次撮像し、その後、前記表示部により表示される第２のフレームの画像に対して前記第１の開始ラインとは異なる第２の開始ラインからライン単位で順次撮像し、
   前記取得部は、前記画像判定部により動画像であると判定された場合には、前記撮像部により撮像された前記第１のフレームの画像のうちの第１のライン領域を取得し、前記撮像部により撮像された前記第２のフレームの画像のうちの前記第１のライン領域に続く第２のライン領域を取得し、
   前記撮像部は、前記画像判定部により静止画像であると判定された場合には、前記表示部により表示される第１のフレームの画像に対してライン単位で順次撮像し、
   前記取得部は、前記画像判定部により静止画像であると判定された場合には、前記撮像部により撮像された前記第１のフレームの画像の全ライン領域を取得することを特徴とする請求項１〜８のいずれか１項に記載の表示装置。
10. さらに、前記取得部により取得された画像を基に、入力画像に対して画像処理する画像処理部を有し、
    前記表示部は、前記画像処理部により画像処理された画像を表示することを特徴とする請求項１〜９のいずれか１項に記載の表示装置。
11. 各々が複数のサブフィールドに時分割された複数のフレームの画像を表示する表示部と、
    前記表示部により表示された画像をライン単位で順次撮像する撮像部とを有する表示装置の制御方法であって、
    前記撮像部により、前記表示部により表示される第１のフレームの画像に対して第１の開始ラインからライン単位で順次撮像する第１の撮像ステップと、
    前記撮像部により、前記第１の撮像ステップの後、前記表示部により表示される第２のフレームの画像に対して前記第１の開始ラインとは異なる第２の開始ラインからライン単位で順次撮像する第２の撮像ステップと、
    取得部により、前記撮像部により撮像された前記第１のフレームの画像のうちの第１のライン領域を取得し、前記撮像部により撮像された前記第２のフレームの画像のうちの前記第１のライン領域に続く第２のライン領域を取得する取得ステップとを有し、
    前記第１のライン領域のラインは、前記第１のフレーム内の各サブフィールドを含み、
    前記第２のライン領域のラインは、前記第２のフレーム内の各サブフィールドを含むことを特徴とする表示装置の制御方法。

Images