JP2012008522A - 制御装置および投写型映像表示装置 - Google Patents

制御装置および投写型映像表示装置 Download PDF

Info

Publication number
JP2012008522A
JP2012008522A JP2011016140A JP2011016140A JP2012008522A JP 2012008522 A JP2012008522 A JP 2012008522A JP 2011016140 A JP2011016140 A JP 2011016140A JP 2011016140 A JP2011016140 A JP 2011016140A JP 2012008522 A JP2012008522 A JP 2012008522A
Authority
JP
Japan
Prior art keywords
focus
unit
evaluation value
screen
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011016140A
Other languages
English (en)
Inventor
Fuminori Mizuno
史教 水野
Naoyuki Nimura
直幸 二村
Toshiaki Nakakuki
俊朗 中莖
Yoshimitsu Noguchi
善光 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2011016140A priority Critical patent/JP2012008522A/ja
Priority to PCT/JP2011/052913 priority patent/WO2011102299A1/ja
Publication of JP2012008522A publication Critical patent/JP2012008522A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/53Means for automatic focusing, e.g. to compensate thermal effects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Automatic Focus Adjustment (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】ユーザによるマニュアルフォーカス調整動作の開始時に、自動的にフォーカス合焦情報をスクリーンに投写表示させる。
【解決手段】投写部10は、スクリーン300にレンズを介して映像を投写する。撮像部30は、スクリーンを撮像する。投写部10には、手動で操作されるフォーカスリング15が備えられる。フォーカス評価値算出部42は、撮像部30により撮像された撮像画像を取得し、スクリーンに投写された映像のフォーカス状態に応じて変化する特性値をフォーカス評価値として算出する。評価値変化検出部44は、フォーカス評価値が変化しているとき、ユーザによりフォーカスリング15が操作されていると判定する。フォーカス調整アシスト部70は、フォーカスリング15が操作されていると判定されると、フォーカス調整を補助するためのフォーカス合焦情報を映像と合わせて投写表示させる。
【選択図】図2

Description

本発明は、投写型映像表示装置におけるフォーカス調整技術に関する。
スクリーンに映像を投写する投写型映像表示装置(以下適宜、プロジェクタと表記する)の中には、ユーザがフォーカスリングを操作するマニュアルフォーカス調整を補助するための情報を投写するものがある。例えば、特許文献1には、スクリーン上にフォーカス調整パターンの映像信号を出力させる液晶プロジェクタが開示されている。
特開平04−051227号公報
フォーカス合焦情報をスクリーンに表示させようとする場合、上述の特許文献1では、ユーザが調整スイッチを操作してフォーカス調節パターンを投写させる必要がある。このようなユーザによる専用ボタンの操作や、または所定のメニューからの選択などの特別な動作なしに、ユーザのマニュアルフォーカス調整の意図を察知して、スクリーン上にフォーカス合焦情報を投写表示することができれば、便利である。
本発明はこうした状況に鑑みなされたものであり、その目的は、ユーザがマニュアルによるフォーカス調整動作を開始したときに、フォーカス合焦情報を自動的にスクリーン上に投写表示する技術を提供することにある。
本発明のある態様は、スクリーンにレンズを介して映像を投写する投写部と、スクリーンを撮像するための撮像部と、投写部に設けられ手動で操作されるフォーカス調整部と、備える投写型映像表示装置に搭載される制御装置である。この装置は、撮像部により撮像された撮像画像を取得し、スクリーンに投写された映像のフォーカス状態に応じて変化する特性値をフォーカス評価値として算出するフォーカス評価値算出部と、フォーカス評価値が変化しているとき、ユーザによりフォーカス調整部が操作されていると判定する評価値変化検出部と、フォーカス調整部が操作されていると判定されると、フォーカス調整を補助するためのフォーカス合焦情報を映像と合わせて投写表示させるフォーカス調整アシスト部と、を備える。
本発明の別の態様は、投写型映像表示装置である。この装置は、スクリーンにレンズを介して映像を投写する投写部と、スクリーンを撮像するための撮像部と、上述した制御部と、を備える。
本発明によれば、ユーザによるマニュアルフォーカス調整動作の開始時に、フォーカス合焦情報をスクリーンに投写表示することができる。
本発明の一実施形態に係る投写型映像表示装置とスクリーンとの位置関係を示す図である。 一実施形態に係る投写型映像表示装置の構成を示す図である。 映像信号評価部の動作を説明するフローチャートである。 入力信号評価値の変化とフォーカスアシスト機能の状態との関係を説明する図である。 フォーカス評価部の動作を説明するフローチャートである。 フォーカス評価値の変化とフォーカスアシスト機能の状態との関係を説明する図である。 本発明の第2実施形態に係る投写型映像表示装置の機能構成を模式的に示す図である。 図8(a)は、スクリーンに投写されたズーム操作検出用の映像と撮像部の撮像範囲との関係の一例を示す図である。図8(b)は、スクリーンに投写されたズーム操作検出用の映像と撮像部の撮像範囲との関係を示す別の例を示す図である。 フォーカス調整時におけるフォーカス評価値の変動の一例を示す図である。 図10(a)は、フォーカス調整開始時のグラフの一例を示す図である。図10(b)は、フォーカス評価値の取るべき目標値が未検出の期間において、フォーカス評価値がそれまでの最大値よりも小さな値となる場合のグラフの一例を示す図である。図10(c)は、フォーカス評価値の取るべき目標値が検出された後の期間において、フォーカス評価値が下降する場合のグラフの一例を示す図である。図10(d)は、フォーカス評価値の取るべき目標値が検出された後の期間において、フォーカス評価値が上昇する場合のグラフの一例を示す図である。 フォーカス評価値および目標値の組み合わせとフォーカス状態情報の表示色とが対応づけられたテーブルを示す図である。 フォーカス状態情報の表示色の状態遷移を示す図である。 第2実施形態に係る、主に制御部の処理の流れを示すフローチャートである。 図14(a)は、主にフォーカス調整に利用されるパターン画像を示す図である。図14(b)は、フォーカス調整に利用されるパターン画像とズーム操作検出に利用されるパターン画像との組み合わせの例を示す図である。 本発明の第3実施形態に係る投写型映像表示装置と、スクリーンとの位置関係を示す図である。 図15に示した位置関係において、撮像部により撮像された撮像画像の一例を示す図である。 第3実施形態に係る投写型映像表示装置の構成を示す図である。 第3実施形態に係る撮像画像内のスクリーン領域内に、検出領域が設定される様子を示す図である。 第3実施形態に係る検出領域の設定方法の一例を説明するための図である。 フォーカスレンズの合焦位置の決定処理について説明するための図である。 本発明の第4実施形態に係る投写型映像表示装置の構成を示す図である。 第4実施形態に係る撮像画像内のスクリーン領域内に、検出領域が設定される様子を示す図である。 スクリーン領域のいずれかの角を含む領域に検出領域を移動させる様子を示す図である。 本発明の第5実施形態に係る投写型映像表示装置の構成を示す図である。 台形歪み補正を説明するための図である。図25(a)は、垂直台形歪み補正を示し、図25(b)は、水平台形歪み補正を示す。 第5実施形態に係る撮像画像内のスクリーン領域内に、台形歪み検出用のテストパターンが写っている様子を示す図である。 四点補正を説明するための図である。
第1実施形態
図1は、本発明の第1実施形態に係る投写型映像表示装置200とスクリーン300との位置関係を示す図である。第1実施形態に係る投写型映像表示装置200は、スクリーン300方向を撮影するための撮像部30を備える。撮像部30は、その光軸中心と、投写型映像表示装置200から投写される投写光の光軸中心とが例えば平行な関係になるよう、設置される。図1では、スクリーン300が投写型映像表示装置200に対して正対している。
投写型映像表示装置200は、レンズの前に設けられたフォーカスリングを手動で動かしてフォーカス調節を実施する。このフォーカス調節を補助するために、投写型映像表示装置200は、フォーカス合焦情報をスクリーン300上に投写表示する。ユーザは、このフォーカス合焦情報を参照しながらフォーカスリングを動かして、適切なフォーカス調節をすることができる。
図2は、投写型映像表示装置200の構成を示す図である。投写型映像表示装置200は、投写部10、撮像部30および制御部100を備える。制御部100は、フォーカス評価部40、映像信号評価部50、フォーカス目標算出部60、フォーカス調整アシスト部70、映像信号設定部82および画像メモリ84を備える。
制御部100の構成は、ハードウェア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
投写部10は、スクリーン300に映像を投写する。投写部10は、光源11、光変調部12およびフォーカスレンズ13を含む。光源11には、フィラメント型の電極構造を有するハロゲンランプ、アーク放電を発生させる電極構造を有するメタルハライドランプ、キセノンショートアークランプ、高圧型の水銀ランプ、LEDランプなどを採用することができる。
光変調部12は、映像信号設定部82から設定される映像信号に応じて、光源11から入射される光を変調する。光変調部12には、例えばDMD(Digital Micromirror Device)を採用することができる。DMDは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各画素信号に応じて制御されることにより、所望の映像光を生成する。
フォーカスレンズ13は、光変調部12から入射される光の焦点位置を調整する。フォーカスレンズ13にはフォーカスリング15が設けられており、このフォーカスリングを手動で回転させることによりそのレンズ位置が光軸上で移動される。光変調部12により生成された映像光は、フォーカスレンズ13を介してスクリーン300に投写される。なお、レンズ位置を光軸上で移動させるものであれば、フォーカスリング以外の任意の装置でよい。
撮像部30は、スクリーン300およびスクリーン300に投影された投影画像を主な被写体として撮像する。撮像部30は、固体撮像素子31および信号処理回路32を含む。固体撮像素子31には、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Devices)イメージセンサなどを採用することができる。信号処理回路32は、固体撮像素子31から出力される信号に対して、A/D変換や、RGBフォーマットからYUVフォーマットへの変換などの各種信号処理を施し、制御部100に出力する。
フォーカス目標算出部60は、映像信号設定部82から、スクリーンに投写表示中の映像信号を取得する。そして、後述するフォーカス評価値算出部42と同様の演算を行って、入力映像信号の評価値を算出する。フォーカス評価値算出部42と同様に、画像全体に対して演算を行ってもよいし、または画像内の分割された領域毎に演算を行ってもよい。
算出された入力映像信号の評価値は、フォーカス度合いの目標値として利用される。したがって、入力映像信号の評価値は、フォーカス調整アシスト部70に送られる。そして、後述するフォーカスアシスト機能がオンであるときに、フォーカス合焦情報として撮像画像に対するフォーカス評価値とともにスクリーン上に重畳表示される。ユーザは、フォーカス合焦情報として表示された、入力信号の評価値と、撮像画像に対するフォーカス評価値とを比較することで、フォーカスの合焦度合いの目安を得ることができる。
なお、入力信号の評価値と、撮像画像に対するフォーカス評価値とを表示する代わりに、またはこれとともに、両評価値を用いてフォーカスの合焦度合いを表す評価値を算出し、これを表示するようにしてもよい。
フォーカス調整アシスト部70は、映像信号評価部50からの指示に応じて、フォーカスアシスト機能をスタンバイ状態にする。そして、フォーカス評価部40からの指示に応じて、フォーカスアシスト機能をオンまたはオフにする。
ここで「フォーカスアシスト機能」とは、フォーカスリングのマニュアル操作によるフォーカス調整を補助するためのフォーカス合焦情報を、スクリーン上の投影画面の少なくとも一部として重畳表示する機能である。本実施形態では、ユーザによるマニュアルフォーカス調整の開始を検出してフォーカス合焦情報を重畳表示するとともに、マニュアルフォーカス調整の終了を検出してフォーカス合焦情報の表示を終了する。また、フォーカス合焦情報とともに表示される映像は、映像信号をそのまま使用してもよいし、またはフォーカス専用のパターンを表示してもよい。
フォーカス合焦情報は、撮像画像のフォーカス評価値およびフォーカス目標値(すなわち、入力映像信号の評価値)である。これにより、フォーカスリングのマニュアル調節を補助することができる。
映像信号評価部50は、映像信号設定部82からスクリーンに投写表示中の映像信号を取得する。映像信号評価部50は、入力信号評価値算出部52および入力信号評価値判定部54を含む。
入力信号評価値算出部52は、フォーカスアシスト機能をスタンバイ状態にするか否かを判定するための入力信号評価値を算出する。入力信号評価値としては、映像信号の高周波成分、コントラスト情報、輝度情報などの、映像内での動きの有無に応じて変化する任意の特性値を用いることができる。映像信号から高周波成分またはコントラストを算出するには、任意の手法を用いることができる。入力信号評価値は、画面の全体から算出してもよいし、画面を複数の領域に分割して領域毎に算出してもよい。入力信号評価値は、所定の時間間隔で、または所定数のフレーム毎に算出されることが好ましい。
入力信号評価値判定部54は、入力信号評価値の変化に基づき、フォーカスアシスト機能をスタンバイするか否かを判定する。入力信号評価値に基づき、スクリーンに投写表示中の映像信号が動画であるか、または静止画が切り替わっていると判定された場合、マニュアルフォーカス調整は困難であるから、フォーカスアシスト機能をオフのままとする。入力信号評価値に基づき、スクリーンに投写表示中の映像信号が静止画であると判定された場合、フォーカスアシスト機能をスタンバイ状態にするようにフォーカス調整アシスト部70に指示する。
フォーカス評価部40は、信号処理回路32から撮像画像を取得する。フォーカス評価部40は、フォーカス評価値算出部42および評価値変化検出部44を含む。
フォーカス評価値算出部42は、ユーザによるマニュアルフォーカス調整の開始および終了を検出するためのフォーカス評価値を算出する。フォーカス評価値としては、撮像画像の高周波成分、コントラスト情報、輝度情報など、スクリーンに投写された映像のフォーカス状態に応じて変化する任意の特性値を用いることができる。撮像画像から高周波成分またはコントラストを算出するには、任意の手法を用いることができる。フォーカス評価値は、撮像画像全体から、または撮像画像を複数の領域に分割して領域毎に算出される。フォーカス評価値は、所定の時間間隔で、または所定数のフレーム毎に算出されることが好ましい。
評価値変化検出部44は、フォーカスアシスト機能がスタンバイ状態にあるとき、フォーカス評価値に基づきユーザによるマニュアルフォーカス調整の開始を検出する。具体的には、フォーカス評価値の変化がない場合は、フォーカスリングが動かされていないものとしてフォーカスアシスト機能のスタンバイ状態を維持する。複数の領域のうち一部の領域のフォーカス評価値のみが変化した場合は、プロジェクタの前方を人や手が横切ったものと判断して、フォーカスアシスト機能のスタンバイ状態を維持する。全ての領域でフォーカス評価値が同じ増減方向に変化した場合は、フォーカスリングが動かされているものと判断して、フォーカスアシスト機能をオンにするようにフォーカス調整アシスト部70に指示する。
さらに、評価値変化検出部44は、フォーカス評価値に基づきユーザによるマニュアルフォーカス調整の終了を検出する。すなわち、フォーカスアシスト機能がオンにされた後、所定の期間(例えば5〜10秒)フォーカス評価値に変化が見られない場合、フォーカスリングによる調整が終了したと判断して、フォーカスアシスト機能をオフにするようにフォーカス調整アシスト部70に指示する。
なお、フォーカスリング15が動かされた場合、投影画像の画角はわずかではあるが変化する。したがって、フォーカス評価値にはある程度の許容変化量を設定しておくことが好ましい。
また、投写表示されている映像が、その一部にのみパターンがありその他はベタ画像である場合には、フォーカスリングによるマニュアル調整の最中に、一部の領域のフォーカス評価値の変化度合いが、その他の領域のフォーカス評価値の変化度合いよりも大きくなる現象が起こることがある。このようなときでも、全ての領域におけるフォーカス評価値の増減方向は等しい(すなわち、全ての領域で増加するか、または全ての領域で減少する)ので、フォーカスリングによるマニュアル調整の開始を検出できることに変わりはない。
画像メモリ84は、スクリーン300に投写すべき画像データを保持する。当該画像データは、図示しない外部インタフェースを介して、パーソナルコンピュータやDVDプレーヤ等の映像再生装置から供給される。映像信号設定部82は、画像メモリ84に保持される画像データにもとづく映像信号を光変調部12に設定する。
本実施形態に係る投写型映像表示装置200では、ユーザによるフォーカスリング15を用いたマニュアルフォーカス調整の開始および終了を、以下のような特性に基づいて検出している。
すなわち、フォーカスリングを動かした場合、画面全体のフォーカス状態が変化することが多く、画面の一部のみのフォーカス状態が大きく変化することは少ない。また、フォーカス状態は比較的緩やかに変化し、フォーカスが合っている付近でのみ急峻な変化がある。これに対し、プロジェクタの前を人や手が横切った場合は、画面の一部のみでフォーカス状態は大きく変化する。また、映像信号が切り替わった場合には、フォーカス状態は急峻に変化する。
このような特性に基づき、投写型映像表示装置200は、スクリーンに投写表示される映像をカメラにより撮像し、撮像画像から算出されたフォーカス評価値の変化の様子から、フォーカスリングが動かされているか否か、すなわちマニュアルフォーカス調整の開始および終了を判断する。
図3は、主に映像信号評価部50の動作を説明するフローチャートである。まず、入力信号評価値算出部52は、映像信号設定部82から投写表示中の映像信号を取得し(S10)、画面全体または分割された領域毎に入力信号評価値を算出する(S12)。所定の期間(例えば数秒)内に入力信号評価値に変化がない場合(S14のN)、映像信号が静止画であると判定し、フォーカスアシスト機能をスタンバイ状態にするようにフォーカス調整アシスト部70に指示する(S20)。入力信号評価値に変化がある場合(S14のY)、映像信号が動画であるか、または静止画が切り替わっているものと判定し、フォーカスアシスト機能をオフのままにする(S16)。その後、所定の期間内に入力信号評価値に変化が見られない場合は(S18のY)、映像信号が静止画に切り替わったと判定し、フォーカスアシスト機能をスタンバイ状態にするようにフォーカス調整アシスト部70に指示する(S20)。
図4は、入力信号評価値の変化とフォーカスアシスト機能の状態とを説明する図である。図4(a)は入力信号評価値の時間変化を示し、図4(b)はフォーカスアシスト機能の状態を示している。
図4(a)において、期間t1、t3、t5では、入力信号評価値の変化がない。したがって、この期間は映像信号が静止画であると判断され、フォーカスアシスト機能はスタンバイ状態にされる。期間t2では、入力信号評価値が急激に変化する。この期間は静止画が切り替わったものと判断され、フォーカスアシスト機能はオフにされる。期間t4では、各領域の入力信号評価値がランダムに変動している。この期間は映像信号が動画であると判断され、フォーカスアシスト機能はオフにされる。
図5は、主にフォーカス評価部40の動作を説明するフローチャートである。まず、フォーカスアシスト機能がスタンバイ状態にあるか否かを判定する(S50)。スタンバイ状態のとき(S50のY)、フォーカス評価値算出部42は撮像画像を取得し、分割された領域毎にフォーカス評価値を算出する(S52)。評価値変化検出部44は、所定の期間(例えば数秒)内でのフォーカス評価値を観測する(S54)。そして、全ての領域でフォーカス評価値に変化が見られないか、または所定の割合以下の領域でフォーカス評価値に変化がある場合(S54のY)、フォーカスアシスト機能のスタンバイ状態を維持する(S56)。所定の割合以上の領域でフォーカス評価値に変化が見られる場合(S54のN)、マニュアルフォーカス調整が開始されていると判定し、フォーカスアシスト機能をオンにするようにフォーカス調整アシスト部70に指示する(S58)。これに応じて、フォーカス合焦情報が投写画面の少なくとも一部に投写表示される。
評価値変化検出部44は、フォーカス評価値が変化している間は(S60のN)、フォーカスリングが動かされていると判断する。所定の期間、フォーカス評価値に変化が見られなくなると(S60のY)、ユーザによるマニュアルフォーカス調整が終了したと判定し、フォーカスアシスト機能をオフにするようにフォーカス調整アシスト部70に指示する(S62)。これに応じて、フォーカス合焦情報が投写画面から消える。
なお、上述のS52〜54において、分割された領域毎にフォーカス評価値を算出し、全ての領域でフォーカス評価値に変化がみられないか、または一部の領域のみでフォーカス評価値に変化があるかを判定する際に、評価値変化検出部44は、画面を複数の領域に分割して領域毎に算出された入力信号評価値も合わせて参照するようにしてもよい。こうすると、入力信号の局所的な特徴を参照しながら撮像画像のフォーカス評価値を判定することができるので、判定精度を向上させることができる。
図6は、フォーカス評価値の変化とフォーカスアシスト機能の状態とを説明する図である。図6(a)はフォーカス評価値の時間変化を示し、図6(b)はフォーカスアシスト機能の状態を示している。
以下の説明では、フォーカスアシスト機能がスタンバイ状態にあるものとする。図6(a)において、期間t6では、フォーカス評価値の変化がないのでスタンバイ状態が維持される。期間t7では、一部の領域のみのフォーカス評価値が変動しているので、フォーカスリングの動作とはみなされず、フォーカスアシスト機能のスタンバイ状態が維持される。期間t8では、全ての領域のフォーカス評価値が変動しているので、フォーカスリングが動かされていると判断され、フォーカスアシスト機能がオンにされる。これに応じて、フォーカス合焦情報が投写画面の少なくとも一部に投写表示される。その後、所定の期間Dにわたり、フォーカス変化値に変化がなかったため、フォーカスリングの操作が終わったと判断され、期間t9ではフォーカスアシスト機能がオフにされる。これに応じて、フォーカス合焦情報が投写画面から消える。
以上説明したように、第1実施形態に係る投写型映像表示装置によれば、ユーザがフォーカスリングを手動で動かしているか否かを判断することができる。ユーザによりフォーカスリングが動かされると、フォーカス合焦情報が自動的に投写画面に重畳表示され、フォーカスリングの操作が止まると、フォーカス合焦情報が投写画面から消える。したがって、ユーザは、フォーカス合焦情報を表示させるために、専用のボタンを操作したり、メニュー画面から機能を選択したりする必要がない。
上記で説明した第1実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
第1実施形態では、撮像画像の全体または分割された領域毎に、フォーカス評価値を算出することを述べた。この代わりに、フォーカス評価値算出部は、周知の手法により撮像画像の中からスクリーン領域を検出し、このスクリーン領域内についてのみフォーカス評価値を算出するようにしてもよい。これにより、フォーカスリングの操作によるフォーカスが変化するスクリーン内でのみフォーカス評価値が算出されるので、フォーカスリング操作の検出がより正確に行える。
撮像画像に基づき、スクリーン300が傾斜しているか否かを判定する傾斜判定部を設けてもよい。スクリーンが傾斜していると判定された場合、フォーカスリングが操作されたときの合焦ポイントは、スクリーン内の位置によって異なる。この場合、フォーカス評価値算出部は、スクリーン内の後ろピント寄りの領域でのみ、フォーカス評価値を算出することが好ましい。
第2実施形態.
投写型映像表示装置において、表示に必要な各種調整を自動的に行うためにはモータやその制御機器等が必要となり、装置のコストが高くなりうる。一方で、フォーカスリングを手動で操作してフォーカスを調整するのは、ユーザにとって繁雑な作業となりうる。そこで、ユーザが手動でフォーカスを調整する際にスクリーン上に現在のフォーカス状態を投写表示することができれば、装置のコストを抑えつつ、フォーカス調整時の利便性を向上させることができる。
本発明の第2実施形態では、ユーザが手動によるフォーカス調整動作をする際の補助手段を提供することを目的とする。
第2実施形態の概要を述べる。第2実施形態に係る投写型映像表示装置は、ユーザによるズーム操作を検出することを契機として、ユーザに提示するフォーカス調整の補助情報を刷新する。
図7は、第2実施形態に係る投写型映像表示装置1200の機能構成を模式的に示す図である。投写型映像表示装置1200は、投写部10、撮像部30および制御部1100を含む。制御部1100は、フォーカス評価値算出部142、ズーム操作検出部144、フォーカス状態情報設定部150、映像信号設定部82および画像メモリ84を含む。投写部10、撮像部30、映像信号設定部82および画像メモリ84については、図1で説明したものと同様の構成を備えるので、一部説明を省略する。
投写部10は、光源11、光変調部12、レンズ13、ズームリング14、およびフォーカスリング15を含む。レンズ13は、光変調部12から入射される光の焦点距離の調整および焦点調整をする。図示はしないが、レンズ13は焦点距離を移動するためのズームレンズと、焦点調整をするためのフォーカシングレンズとを含む。レンズ13にはズームリング14とフォーカスリング15とが設けられている。ユーザがズームリング14やフォーカスリング15を手動で回転させると、そのレンズ位置が光軸上で移動する。光変調部12により生成された映像光は、レンズ13を介してスクリーン300に投写される。なお、レンズ位置を光軸上で移動させるものであれば、ズームリング14やフォーカスリング15以外の任意の装置でよい。
フォーカス評価値算出部142は、撮像部30により撮像された撮像画像を取得して画像解析することにより、フォーカスリング15によって調整された映像のフォーカス状態に応じて変化する特性値をフォーカス評価値として算出する。フォーカス評価値は、フォーカスアシスト機能に利用される。
「フォーカスアシスト機能」とは、フォーカスリング15のマニュアル操作によるフォーカス調整を補助するためのフォーカス状態情報を、スクリーン300上の投影画面の少なくとも一部として重畳表示する機能である。フォーカス状態情報の詳細については後述する。第2実施形態では、ユーザによるマニュアルフォーカス調整時にフォーカス状態情報を重畳表示する。また、フォーカス状態情報とともに表示される映像は、映像信号をそのまま使用してもよいし、またはフォーカス専用のパターンを表示してもよい。
フォーカス評価値としては、撮像画像の高周波成分、コントラスト情報、輝度情報など、スクリーンに投写された映像のフォーカス状態に応じて変化する任意の特性値を用いることができる。撮像画像から高周波成分またはコントラストを算出するには、例えばフーリエ変換や多重解像度解析、エッジ抽出等、任意の画像解析手法を用いることができる。フォーカス評価値は、撮像画像全体から、または撮像画像を複数の領域に分割して領域毎に算出される。フォーカス評価値は、所定の時間間隔で、または所定数のフレーム毎に算出されることが好ましい。
ズーム操作検出部144は、撮像部30により撮像された撮像画像を取得して画像解析することにより、ユーザによりズームリング14が操作されているか否かを判定する。これは例えば画像中のエッジ成分を抽出し、エッジ成分の増減を検出することで実現できる。
図8は、ズーム操作の有無を検出する原理の一例を説明するための図である。図8に示す例は、ユーザによるズーム操作を検出するために、ズーム操作検出用の映像をスクリーン300に投写し、その映像を取得して解析する場合の例である。図8(a)は、スクリーン300に投写されたズーム操作検出用の映像と撮像部30の撮像範囲との関係の一例を示す図である。図8(a)は、スクリーン300に縦縞状のパターン500が投写され、撮像範囲400を撮像部30が撮像することを示している。
図8(b)は、スクリーン300に投写されたズーム操作検出用の映像と撮像部30の撮像範囲との関係を示す別の例を示す図である。図8(b)は図8(a)と比較すると、ユーザによるズーム操作の影響により、パターン500が縮小されて投写されている。なお、スクリーン300の大きさと撮像部30の撮像範囲400とは図8(a)と変わらない。
ズーム操作検出部144は、スクリーン300に投写されている縦縞の本数をカウントしてその変動を調べることにより、ズーム操作の有無を検出する。例えば図8(a)に示す例では、スクリーン300上に7本の黒い縦縞が投写されている。ユーザがズームリング14を操作してパターン500を縮小し、図8(b)に示す例の状態となったとする。図8(b)に示す例では、スクリーン300上に投写される黒い縦縞の本数が、7本から9本に変動している。このように、ズーム操作検出部144はスクリーン300上に投写される縦縞の本数をカウントしてその変動を調べることで、ズーム操作の有無を検出することが可能となる。黒い縦縞の本数のカウントは、例えば一般的なエッジ抽出処理と閾値処理とを用いることで実現できる。
フォーカス状態情報設定部150は、上述のフォーカスアシスト機能としてスクリーン300に表示されるフォーカス状態情報を設定する。フォーカス状態情報設定部150は、フォーカス評価値格納部152、フォーカス状態決定部154、およびグラフデータベース156を含む。以下、図9、図10、図11、および図12を参照してフォーカス状態情報設定部150の構成を説明する。
図9は、フォーカス調整時におけるフォーカス評価値の変動の一例を示す図である。以下に示す例では、フォーカスの状態がよいほどフォーカス評価値の値が大きくなることを前提としている。
時刻tにおいて、投写型映像表示装置1200の電源が投入され、スクリーン300に映像が表示されたとする。この状態では通常フォーカスが合っておらず、撮像部30により撮像された撮像画像は高周波成分の少ないぼけた画像となっている。時刻tからtの間はフォーカスの調整がなされず、フォーカス評価値は変動しない。フォーカス評価値格納部152は、フォーカス評価値算出部142から取得したfをフォーカス評価値の初期値として格納する。フォーカス評価値格納部152はまた、fをフォーカス評価値の暫定最大値fとして格納する。「暫定最大値f」とは、フォーカス評価値算出部142が過去に算出したフォーカス評価値の最大値である。
時刻tにおいてユーザはフォーカスの調整を開始する。時刻tからtの間、ユーザは誤った方向、すなわちフォーカスがより合わなくなる方向に調整をしたため、フォーカス評価値fが初期値fよりも低くなる。以下、添字を付さず単にfと表記するときは、フォーカス評価値の現在の値を表す。フォーカス評価値格納部152は、フォーカス評価値の初期値fとは別に、フォーカス評価値の現在値fも計算する毎に格納する。
時刻tにおいて、ユーザは正しい方向にフォーカスの調整を開始する。時刻tにおいてフォーカス評価値の現在値fは初期値fとなるまで上昇する。時刻t以降、フォーカス評価値fは上昇を続けるので、フォーカス評価値格納部152は、暫定最大値fをフォーカス評価値fの値で都度更新する。
ユーザが正しい方向にフォーカスの調整を続けた結果、時刻tにおいてフォーカス評価値fはピーク値fを取り、以後減少する。これはフォーカスが合ったにも関わらずさらにフォーカスの調整を続けると、かえってフォーカスが合わなくなって映像がぼけるからである。その後時刻tにおいてユーザはフォーカス調整を戻し、時刻tにおいて再度フォーカス評価値fはピーク値fとなる。時刻tの時点でフォーカスの調整は終了する。
フォーカス状態決定部154は、過去に算出されたフォーカス評価値の平均値fを計算して、その結果をフォーカス評価値格納部152に格納する。フォーカス状態決定部154はまた、前述のフォーカス評価値のピーク値fを検出して、フォーカス評価値の最大値fとしてフォーカス評価値格納部152に格納する。具体的には、フォーカス状態決定部154は、フォーカス評価値の変化量を追跡し、その変化量が増加から減少に転じる場合のフォーカス評価値fを、フォーカス評価値の最大値fとする。フォーカス評価値の最大値fはフォーカスが合った状態におけるフォーカス評価値であるから、フォーカス評価値の取るべき目標値となる。
このフォーカス評価値の現在値fとフォーカス評価値の目標値との大小関係が、前述のフォーカス状態情報となる。そこでフォーカス状態決定部154は、フォーカス状態情報をフォーカスの度合いを示す色彩を持ったグラフとして表現するため、そのグラフの表示態様を決定する。
図10は、フォーカス状態情報をあらわすグラフの一例を示す図である。図10(a)はフォーカス調整開始時のグラフの一例を示す図であり、図9におけるtからtの期間のグラフである。グラフはスクリーンに投写される映像に上書きされて投写される。映像に対して水平方向を長手方向とする長方形がグラフであり、フォーカス評価値とグラフのメモリとが対応づけられており、フォーカス評価値の変化に応じてグラフの色彩および色彩のついた領域の面積が増減する。図10(a)の例では、グラフの4分の3の領域に色彩がついている。以下図10において斜めの斜線で表す領域は黄色の領域を表し、斜めの格子で表す領域は赤色の領域を表すものとする。また、図10においてグラフの左端部は右端部と比較してグラフのメモリ幅が大きく、色彩のついた領域が大きく増減する。反対にグラフの右端部では色彩のついた領域が細かく増減する。これにより、フォーカスが正しい状態に近づくにつれ、ユーザは詳細なフォーカス状態を把握することができ、利便性が向上する点で有利である。
図10(b)は、前述のフォーカス評価値の最大値f、すなわちフォーカス評価値の取るべき目標値が未検出の期間において、フォーカス評価値fが暫定最大値fよりも小さな値となる場合のグラフの一例を示す図であり、図9におけるtからtの期間のグラフである。フォーカス評価値fの値に応じて、グラフ中の黄色の色彩の領域の長さが変化する。図示はしないが、前述のフォーカス評価値の最大値fの最大値、すなわちフォーカス評価値の取るべき目標値が未検出の期間において、フォーカス評価値fが上昇を続ける期間(図9におけるtからtの期間)は、図10(a)の例と同じグラフとなる。
図10(c)は、フォーカス評価値fの取るべき目標値が検出された後の期間において、フォーカス評価値fが下降する場合のグラフの一例を示す図であり、図9におけるtからtの期間のグラフである。グラフの4分の3の領域をしめる色彩のついた領域の表示色が黄色から赤色に変化する。
図10(d)は、フォーカス評価値fの取るべき目標値が検出された後の期間において、フォーカス評価値fが上昇する場合のグラフの一例を示す図であり、図9におけるtからtの期間のグラフである。グラフのほぼ全域が黄色の色彩となる。なお図示はしないが、フォーカス評価値fが目標値である最大値fと等しくなった時点で、グラフの全域が青色の色彩となり、ユーザにフォーカス調整が完了したことを通知する。このように、フォーカス状態情報は、ユーザがマニュアルによるフォーカス調整動作をする際の補助手段となる。
図11は、フォーカス評価値および目標値の組み合わせと、フォーカス状態情報の表示色およびその表示量とが対応づけられたテーブルを示す図である。図11に示すテーブルは、グラフデータベース156に格納されており、フォーカス状態決定部154はこのテーブルを参照して表示すべきフォーカス状態情報を決定する。
具体的に、フォーカス状態決定部154は、フォーカス評価値格納部152に格納されたフォーカス評価値を取得してその変化を算出する。まず、フォーカス評価値の現在値fと平均値fとの大小関係を調べ、図11に示すテーブルの上昇、定常、下降のいずれの状態にあるかを判断する。次にフォーカス状態決定部154は、フォーカス評価値の目標値である最大値fが検出されているか否かを判断する。最大値fが未検出の場合、フォーカス状態決定部154は暫定最大値fとフォーカス評価値の現在値fとの大小関係、およびフォーカス評価値の初期値fと暫定最大値fとの大小関係を調べる。
最大値fが検出されている場合、フォーカス状態決定部154は最大値fとフォーカス評価値の現在値fとの大小関係、およびフォーカス評価値の初期値fと最大値fとの大小関係を調べる。以上を調べることにより、フォーカス状態決定部154は、グラフデータベース156に格納されているテーブルから表示すべきフォーカス状態情報を決定することができる。なお、最大値fが検出されているか否かは、図示しないワークメモリ内に確保されている、最大値fが検出されているか否かを示すフラグ(MaxFlag)の値を調べることで実現できる。このフラグは0で初期化されており、フォーカス状態決定部154が最大値fを検出したときに1に設定する。
図12は、フォーカス状態情報の表示色の状態遷移を示す図である。図12において、フォーカス状態情報の表示色の取り得る状態を、状態を意味するST(Stateの略)と数字との組み合わせで表示している。制御部1100が起動し、フォーカス評価値算出部142がフォーカス評価値fを算出すると、評価値初期化状態ST10となる。評価値初期化状態ST10において、フォーカス評価値算出部142が最初に算出した評価値が暫定最大値fおよび初期値fとしてフォーカス評価値格納部152に格納される。
暫定最大値fおよび初期値fがフォーカス評価値格納部152に格納されると、黄色の表示状態ST12に移行する。黄色の表示状態ST12からは黄色の表示状態ST12自身、赤色の表示状態ST16、青色の表示状態ST14、グラフ消去状態ST20、およびズーム変化検出状態ST18に移行可能である。
図12において丸で囲まれた数字は、図11のテーブルにおける丸で囲まれた数字と対応する。例えば黄色の表示状態ST12から青色の表示状態ST14に移行するのは、次のふたつの場合である。すなわち、フォーカスの評価値の現在値fが平均値fよりも大きく、最大値fが検出されており、現在値fと最大値fとが等しくなった場合か、あるいはフォーカスの評価値の現在値fと平均値fとが等しく、最大値fが検出されており、現在値fと最大値fとが等しくなった場合である。
ユーザがズームリング14を操作すると、スクリーン300に投写される映像の大きさが変化するためフォーカス評価値が変動する。そのため、それまでに求めた暫定最大値fや最大値fが意味をなさなくなる。そこで、ズーム操作検出部144がユーザによってズームリング14が操作されたことを検出すると、それを契機として、黄色の表示状態ST12、青色の表示状態ST14、および赤色の表示状態ST16からズーム変化検出状態ST18に移行する。この結果、フォーカス評価値fの初期化等の操作がやり直される。フォーカス評価値の信頼性を担保できる点で有利である。
なお、黄色の表示状態ST12、青色の表示状態ST14、および赤色の表示状態ST16において、ユーザがフォーカス調整を強制的に終了すると、グラフ消去状態ST20に移行してフォーカス調整は終了する。
図13は、第2実施形態に係る、主に制御部1100の処理の流れを示すフローチャートである。本フローチャートにおける処理は、例えば投写型映像表示装置1200の電源が投入されて撮像部30がスクリーン300に投写された映像を撮像したときに開始する。
フォーカス評価値算出部142は、撮像部30により撮像された撮像画像を取得して画像解析することにより、フォーカスリング15によって調整された映像のフォーカス状態に応じて変化する特性値をフォーカス評価値として算出し、フォーカス評価値格納部152に格納する(S110)。フォーカス状態決定部154は、フォーカス評価値格納部152に格納されたフォーカス評価値を取得してその変化を算出する(S112)。
フォーカス状態決定部154は、フォーカス状態情報の表示色と、現在のフォーカス評価値fと平均値fとの大小関係、最大値fまたは暫定最大値fと現在のフォーカス評価値fとの大小関係、および最大値fまたは暫定最大値fと初期値fとの大小関係の組み合わせとが対応づけられたテーブルを参照することにより、表示すべきフォーカス状態情報を決定する(S114)。映像信号設定部82は、フォーカス状態決定部154からフォーカス状態情報をフォーカスの度合いを示す色彩を持ったグラフとして取得し、投写部10に送信してスクリーン300に表示されているグラフを更新させる(S116)。
現在のフォーカス評価値fと最大値fとが一致せずフォーカス調整が終了していない場合(S118のN)、上述のステップS10からS16の処理を繰り返す。現在のフォーカス評価値fと最大値fとが一致してフォーカス調整が終了すると(S118のY)、フォーカス状態決定部154は、グラフを消去する旨を映像信号設定部82に通知してグラフを消去させる(S120)。ステップS20においてグラフが消去されると、本フローチャートにおける処理は終了する。
以上の構成による動作は以下のとおりである。ユーザは第2実施形態に係る投写型映像表示装置1200を用いて映像をスクリーン300に投影し、そのフォーカスリング15を操作してフォーカスを調整する。フォーカス評価値算出部142が算出しフォーカス評価値格納部152に格納されるフォーカスの評価値をフォーカス状態決定部154が解析し、現在のフォーカスの状態を色彩を持ったグラフとしてスクリーン300に投影する。ユーザはそのグラフをフォーカス調整の補助手段として参照する。
以上説明したように、第2実施形態に係る投写型映像表示装置1200によれば、ユーザが手動によるフォーカス調整動作をする際の補助手段を提供することができる。現在のフォーカス状態を色彩を持ったグラフとして表示されるので、ユーザはフォーカス状態を直感的に理解することが可能となる。
上記の説明では、フォーカス状態決定部が、フォーカス評価値の変化量を追跡し、その変化量が増加から減少に転じる場合のフォーカス評価値を、フォーカス評価値の取るべき目標値として算出する場合について説明したが、フォーカス評価値の取るべき目標値は、スクリーン300に投写される映像の入力信号を取得して画像解析することにより算出してもよい。これはフォーカス評価値算出部142が、映像信号設定部82を介して画像メモリ84から入力信号を取得し、取得した入力信号を直接解析して目標値を算出することで実現できる。
フォーカス評価値の変化量を追跡し、その変化量が増加から減少に転じる場合のフォーカス評価値を、フォーカス評価値の取るべき目標値として算出する場合、変化量が増加から減少に転じるまで最大値が確定できず、暫定的な最大値しか算出できないこともあり得る。フォーカス評価値の変化量が増加から減少に転じるときを最大値として検出すればよいが、この場合フォーカスが正しい状態になってから一度フォーカスが外れた状態となる必要があり、フォーカス調整が効率的に行えないことになり得る。これらはスクリーン300に投写される映像の入力信号を取得して画像解析することによりフォーカス評価値の取るべき目標値を設定すれば回避することができ、撮像部30により撮像された撮像画像を取得して画像解析する場合と比較して、より精度の高い目標値を設定しうる点で有利である。
上記の説明において、フォーカス状態決定部154がフォーカス評価値の変化量を追跡することを説明したが、フォーカス状態決定部154は、算出したフォーカス評価値の変化量が所定の閾値を超えて変化した場合、フォーカス評価値格納部152から閾値を超えたフォーカス評価値を破棄してもよい。ここで所定の閾値とは、フォーカス評価値としての信頼性を調べるためのフォーカス評価値の変化量の基準値である。例えばフォーカスアシスト時にカメラの前に手をかざしたり、カメラの前を人が通るなどの状況が発生すると、正しいフォーカス評価値を算出することができず、フォーカス評価値の変化量が大きくなる。この結果誤動作することがあり得る。したがってそれらの状況をあらかじめ実験で再現し、所定の閾値を定めておく。上記のような誤動作を未然に防ぐことができる点で有利である。
上記の説明では、フォーカス状態情報を表すグラフとしてスクリーンに投写される映像に対して水平方向を長手方向とする長方形の場合を説明したが、グラフの形は長方形には限られない。例えば、円や三角形等の多角形でもよい。グラフが円の場合フォーカス評価値と角度とを対応づけた円グラフとして実現できる。三角形等の多角形の場合も同様に、フォーカス評価値をグラフを塗りつぶす面積に対応づけることで実現できる。
上記の説明では、ズーム操作検出部144が、撮像部30により撮像された縦縞状のパターンを取得して画像解析することにより、ズーム操作されているか否かを判定する場合について説明したが、解析の対象となる画像は様々な態様が考えられる。以下この態様について説明する。
図14は、画像解析に利用するパターン画像の一例を示す図である。図14(a)は、主にフォーカス調整に利用されるパターン画像を示す図である。図14(a)に示すような市松模様は周期的にエッジ成分が出現するため高周波成分を多く含み、前述のフォーカス評価値の算出に都合がよい。ズーム操作検出部144は、この市松模様のパターンを画像解析することによりズーム操作を検出することができる。これは例えば、パターンに対して水平方向のプロファイルを算出してそのエッジ成分を算出する場合には前述の縦縞模様のパターンを利用する場合と同様になるが、任意の方向のプロファイルが利用可能である。フォーカス評価値の計算とズーム操作の有無の判定とを同時に実行しうる点で有利である。
図14(b)は、フォーカス調整に利用されるパターン画像とズーム操作検出に利用されるパターン画像との組み合わせの例を示す図である。具体的には、フォーカス評価値の算出に利用するための市松模様の画像の周囲が、ズーム操作の決定に利用するための縦縞模様の画像で囲まれた画像である。このように、フォーカス評価値の計算に利用するための画像とズーム操作の決定に利用するための画像とを空間的に分割して配置することにより、フォーカス評価値の計算とズーム操作の有無の判定とを同時に実行しうる点で有利である。
あるいは、フォーカス評価値の算出に利用するための市松模様の画像とズーム操作の決定に利用するための縦縞模様の画像とを、交互に時分割で投写表示してもよい。画像の切換周期はユーザに視覚的な違和感を与えない程度に遅く、かつ、フォーカス評価値の計算の計算およびズーム操作の決定に支障が出ない程度に早くする必要があるため、実験的に定めればよいが、例えば1秒周期である。フォーカス評価値算出部142およびズーム操作検出部144が、それぞれの動作に適した画像を解析することができるため、フォーカス評価値の計算およびズーム操作の有無の判定の精度を向上しうる点で有利である。
ズーム操作検出部144は、図10に示すフォーカス状態情報を表すグラフを取得して解析することにより、ズーム操作の有無を検出するようにしてもよい。図10に示すようにフォーカス状態情報を表すグラフには垂直方向にメモリが付されている。ズーム操作検出部144はこのメモリの間隔を取得してその変動を調べることにより、ズーム操作の有無を検出することができる。ズーム操作の有無を検出するための無味乾燥な画像を投写しなくてよく、フォーカス調整時に感じるユーザの退屈さを軽減しうる点で有利である。
スクリーン300に人の顔を含む画像が投写されている場合には、ズーム操作検出部144は人の顔を検出してその大きさの変動を調べることにより、ズーム操作の有無を検出することができる。これは例えばパターンマッチングや色彩解析等、一般的な画像認識技術を用いて実現できる。あるいは、スクリーン300に文字が投写されている場合には、ズーム操作検出部144は文字を検出してその大きさの変動を調べることにより、ズーム操作の有無を検出することができる。これは例えば汎用の文字認識技術を用いて実現することができる。
第3実施形態.
撮像画像を使用するオートフォーカス調整では、複数のレンズ位置でそれぞれ撮像された画像のコントラストを算出し、コントラストが最大となるレンズ位置を検出することにより、フォーカスを合わせる手法(コントラスト検出法)が、よく使用される。
プロジェクタのオートフォーカス調整では、スクリーン面内にフォーカスを合わせる必要がある。しかしながら、スクリーンがプロジェクタに対して正対していない場合、すなわち、スクリーンが傾斜している場合、スクリーン面内の各位置とプロジェクタとの距離が不均一となる。その場合、スクリーン面内においてプロジェクタとの距離が近い領域にフォーカスが調整されてしまい、プロジェクタとの距離が遠い領域の画像が、ピンぼけてしまうことがあった。また、スクリーンが大きく傾斜している場合、スクリーン面内の中央領域の画像でさえ、ピンぼけてしまうことがあった。
本発明の第3実施形態では、コントラスト検出法を用いたオートフォーカス調整にて、スクリーンが傾斜している場合でも、スクリーン面内の好適な位置にフォーカスを合わせる技術を提供することを目的とする。
図15は、本発明の第3実施形態に係る投写型映像表示装置2200と、スクリーン300との位置関係を示す図である。第3実施形態に係る投写型映像表示装置2200は、スクリーン300方向を撮影するための撮像部30を備える。撮像部30は、その光軸中心と、投写型映像表示装置2200から投写される投写光の光軸中心とが平行な関係になるよう、設置される。図15では、スクリーン300が投写型映像表示装置2200に対して正対せずに、右側が奧に傾いている。
図16は、図15に示した位置関係において、撮像部30により撮像された撮像画像PuIの一例を示す。撮像画像PuI内には、投写型映像表示装置2200から投写された、テストパターンが描かれた投影画像PrIが写っている。また、撮像画像PuI内には、スクリーン300の画像SIも写っている。スクリーン300面内の各位置の投影光量は光源からの距離の二乗に反比例するため、スクリーン300の画像SIの左側から右側にいくにしたがって、輝度レベルが漸次的に低下する。以下、スクリーン300面内の好適な位置にフォーカスを合わせるための、オートフォーカス処理について説明する。
図17は、第3実施形態に係る投写型映像表示装置2200の構成を示す図である。投写型映像表示装置200は、投写部10、レンズ駆動部20、撮像部30および制御装置2100を備える。制御装置2100は、スクリーン位置検出部240、検出領域設定部250、オートフォーカス調整部260、映像信号設定部82、画像メモリ84および駆動信号設定部86を備える。
制御装置2100の構成は、ハードウェア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
投写部10は、スクリーン300に映像を投写する。投写部10は、光源11、光変調部12およびフォーカスレンズ13を含む。光源11には、フィラメント型の電極構造を有するハロゲンランプ、アーク放電を発生させる電極構造を有するメタルハライドランプ、キセノンショートアークランプ、高圧型の水銀ランプ、LEDランプなどを採用することができる。
光変調部12は、映像信号設定部82から設定される映像信号に応じて、光源11から入射される光を変調する。たとえば、光変調部12にはDMD(Digital Micromirror Device)を採用することができる。DMDは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各画素信号に応じて制御されることにより、所望の映像光を生成する。
フォーカスレンズ13は、光変調部12から入射される光の焦点位置を調整する。フォーカスレンズ13は、レンズ駆動部20によりそのレンズ位置が光軸上で移動される。光変調部12により生成された映像光は、フォーカスレンズ13を介して、スクリーン300に投写される。
レンズ駆動部20は、駆動信号設定部86から設定される駆動信号に応じて、フォーカスレンズ13の位置を移動させる。レンズ駆動部20には、ステッピングモータ、ボイスコイルモータ(VCM)、ピエゾ素子などを採用することができる。
撮像部30は、スクリーン300およびスクリーン300に投影された投影画像を、主な被写体として、撮像する。撮像部30は、固体撮像素子31および信号処理回路32を含む。固体撮像素子31には、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Devices)イメージセンサなどを採用することができる。信号処理回路32は、固体撮像素子31から出力される信号に対して、A/D変換や、RGBフォーマットからYUVフォーマットへの変換などの各種信号処理を施し、制御装置2100に出力する。本実施形態では、スクリーン位置検出部240および検出領域設定部250に出力する。
スクリーン位置検出部240は、撮像部30により撮像された画像内に写ったスクリーンの位置を検出する。より具体的には、スクリーン位置検出部240は、撮像画像内のエッジを抽出することにより、当該撮像画像内に写ったスクリーン300の四辺(上辺、下辺、左辺および右辺)の位置を検出する。検出されたスクリーン位置は、検出領域設定部250に設定される。当該スクリーン位置は、たとえば、四隅の頂点座標で特定される。
検出領域設定部250は、スクリーン位置検出部240により検出されたスクリーン領域内の中央領域を検出領域に設定する。
図18は、第3実施形態に係る撮像画像PuI内のスクリーン領域SA内に、検出領域DAが設定される様子を示す図である。図19は、第3実施形態に係る検出領域DAの設定方法の一例を説明するための図である。図18に示すように、検出領域設定部250は、スクリーン位置検出部240からスクリーン領域SAの位置を取得し、その中央領域を検出領域DAに設定する。当該検出領域DAの位置およびサイズは、たとえば、次のように決定する。
図19に示すように、検出領域設定部250は、スクリーン領域SAに内接する最大の長方形IRを設定する。つぎに、その長方形IRを縦方向および横方向にそれぞれ三等分する。これにより形成される九個の長方形のうちの真ん中の長方形を、検出領域DAに設定する。
図19では、スクリーン300が左右方向に傾斜することにより、スクリーン領域SAに水平台形歪みが発生している例を描いているが、スクリーン300が上下方向に傾斜することにより、スクリーン領域SAに垂直台形歪みが発生している場合にも、水平台形歪みおよび垂直台形歪みの両方が発生している場合にも、上記アルゴリズムにより検出領域DAを設定することができる。このアルゴリズムでは、スクリーン領域SAの位置およびサイズに関わらず、簡易な計算で検出領域DAを設定することができる。
なお、スクリーン領域SAの中央領域に設定される検出領域DAのサイズは、上記アルゴリズムにより算出されるサイズに限定されるものではない。検出領域DAのサイズは、設計者が実験やシミュレーションにもとづき導き出した値に設定されてもよい。当該値は、実験やシミュレーションにおいて、後述する台形歪み検出用のテストパターンの検出精度および/または主観画質の評価値が最大となるときの値であってもよい。なお、実際に設定される検出領域DAのサイズは、スクリーン領域SAのサイズに応じて、正規化された値となる。
また、検出領域DAのサイズは、投写型映像表示装置2200に搭載されるカメラのスペック(たとえば、S/N比、解像度)に応じて、調整されてもよい。たとえば、S/N比が低い場合、ノイズの影響が大きくなるため、オートフォーカス調整精度を維持するには、検出領域DAのサイズを比較的大きくする必要がある。一方、S/N比が高い場合、ノイズの影響が小さいため、検出領域DAのサイズを小さくしても、オートフォーカス調整精度が維持される。同様に、解像度が低い場合も、検出領域DAのサイズを比較的大きくする必要がある。設計者は、スペックの異なるカメラごとに、上記実験やシミュレーションを行ってもよい。
図18に戻る。オートフォーカス調整部260は、コントラスト検出法を用いて、フォーカスを合わせる。投写型映像表示装置2200の起動時や、ユーザ操作によりオートフォーカス調整が指示されたとき、映像信号設定部82は、画像メモリ84からオートフォーカス調整用のテストパターンを読み出し、投写部10に投写させる。当該テストパターンは、たとえば、ストライプパターンやチェッカーフラグパターンで形成される。撮像部30は、スクリーン300に投影されたテストパターンを撮像する。
オートフォーカス調整部260は、複数のレンズ位置にて、撮像部30によりそれぞれ撮像された複数の画像内における、スクリーン位置検出部240により設定された検出領域の鮮明度をもとに、レンズの位置を決定する。以下、オートフォーカス調整部260の構成をより具体的に説明する。
オートフォーカス調整部260は、ハイパスフィルタ261、積算部262およびレンズ位置決定部263を含む。ハイパスフィルタ261は、上記検出領域内の画像信号の、所定の閾値を超える高周波成分を抽出して、その抽出した高周波成分を積算部262に供給する。ハイパスフィルタ261は、水平方向に高周波成分を抽出してもよいし、水平方向および垂直方向の両方向に高周波成分を抽出してもよい。
積算部262は、それぞれのレンズ位置にて、ハイパスフィルタ261により抽出された高周波成分を積算し、レンズ位置決定部263に供給する。なお、ハイパスフィルタ261により水平方向および垂直方向の両方向に高周波成分が抽出されている場合、積算部62は、両者の高周波成分を合算する。レンズ位置決定部263は、積算部262から供給される複数の積算値のうち、最大積算値が検出されたフォーカスレンズ13の位置を、合焦位置に決定する。
図20は、フォーカスレンズ13の合焦位置の決定処理について説明するための図である。オートフォーカス機能が有効化されると、オートフォーカス調整部260は、映像信号設定部82にテストパターンの投写を指示するとともに、フォーカスレンズ13をニア側からファー側へまたはファー側からニア側へ、所定のステップ幅で順次、移動させるための制御信号を駆動信号設定部86に設定する。映像信号設定部82は、当該テストパターンの映像信号を光変調部12に設定し、駆動信号設定部86は、上記制御信号に応じた駆動信号をレンズ駆動部20に設定する。
オートフォーカス調整部260は、フォーカスレンズ13の各レンズ位置において撮像された、テストパターンに含まれるシャープネス(上記積算値を用いることができる)を算出する。このシャープネスは、フォーカスレンズ13が合焦位置に近づくにつれ、上昇する。その上昇がピークをうち、下降に転換したとき、オートフォーカス調整部260は、その一つ前のレンズ位置を合焦位置に決定する。
図18に戻る。画像メモリ84は、スクリーン300に投写すべき画像データを保持する。当該画像データは、図示しない外部インタフェースを介して、PCなどから供給される。本実施形態では、オートフォーカス調整時に投写されるテストパターンも保持する。映像信号設定部82は、画像メモリ84に保持される画像データにもとづく映像信号を光変調部12に設定する。駆動信号設定部86は、フォーカスレンズ13を、オートフォーカス調整部260から指示されるレンズ位置に移動させるための駆動信号をレンズ駆動部20に設定する。
以上説明したように第3実施形態によれば、スクリーンの中央領域に検出領域を設定することにより、スクリーンが傾斜している場合でも、スクリーン面内の好適な位置、すなわち、スクリーンの中央領域にフォーカスを合わせることができる。また、撮像画像全体の画像信号ではなく、上記検出領域の画像信号を用いて、各画像のシャープネスを検出することにより、演算量を低減することができる。したがって、オートフォーカス調整時間を短縮することができる。
第4実施形態.
図21は、本発明の第4実施形態に係る投写型映像表示装置3200の構成を示す図である。第4実施形態に係る投写型映像表示装置3200は、第3実施形態に係る投写型映像表示装置2200に、辺長測定部245が追加された構成である。
辺長測定部245は、スクリーン位置検出部240により検出されたスクリーン領域の対向する二辺のそれぞれの長さを測定する。辺長測定部245は、それら二辺の長さからスクリーン300の傾きを検出することができる。より具体的には、当該スクリーン領域の左辺と右辺のそれぞれの長さを測定し、スクリーン300の左右方向の傾きを検出する。なお、左辺と右辺のそれぞれの長さの比率を算出して、その傾きの程度を検出してもよい。当該比率が大きいほど、その傾きが大きいことを示す。同様に、当該スクリーン領域の上辺と下辺のそれぞれの長さを測定し、スクリーン300の上下方向の傾きを検出する。
検出領域設定部250は、辺長測定部245により測定された二辺のうちの短辺の方向に、上記スクリーン領域の中央領域に設定された検出領域を所定の距離、移動させる。
図22は、第4実施形態に係る撮像画像PuI内のスクリーン領域SA内に、検出領域DAが設定される様子を示す図である。図22に示す検出領域DAは、図18に示した検出領域DAに対して、右方向に移動されている。スクリーン領域SAの右辺の長さが、左辺の長さより短いため、検出領域設定部250により、検出領域DAが中央領域から右辺の方向に移動される。図22では、スクリーン領域SAの上辺の長さと下辺の長さが等しい例を描いているため、検出領域DAを上下方向に移動されていないが、それらの長さが異なる場合、上下方向にも移動される。
検出領域DAを中央領域から短辺の方向に移動させる距離は、設計者が実験やシミュレーションにもとづき導き出した値に設定されてもよい。当該値は、その実験やシミュレーションにおいて、後述する台形歪み検出用のテストパターンの検出精度および/または主観画質の評価値が最大となるときの値であってもよい。上述したように、投写型映像表示装置3200に搭載されるカメラのスペック(たとえば、S/N比、解像度)に応じて、当該距離が調整されてもよい。なお、実際に短辺の方向に移動させる距離は、上記スクリーン領域のサイズに応じて、正規化された値となる。
また、検出領域設定部250は、辺長測定部245により検出されたスクリーン300の傾きの程度に応じて、検出領域DAを移動させる距離を適応的に変化させてもよい。たとえば、検出領域設定部250は、当該傾きが大きいほど、検出領域DAを移動させる距離を大きくする。
以上説明したように第4実施形態によれば、スクリーンの中央領域から、光源からの距離が遠い方向に少しずらした位置に検出領域を設定することにより、スクリーンが傾斜している場合でも、スクリーン面内の好適な位置にフォーカスを合わせることができる。
本発明者の実験では、スクリーンの中央領域から、光源からの距離が遠い方向に少しずらした位置に検出領域を設定したほうが、スクリーンの中央領域に検出領域を設定する場合より、後述する台形歪み検出用のテストパターンの検出精度が高いという結果が得られた。また、主観画質の評価値に大きな違いが発生しないという結果が得られた。このように、スクリーンの中央領域よりも、光源からの距離が遠い方向にずらした位置にフォーカスを合わせる手法は、有効な手法である。
第4実施形態では、スクリーンの中央領域から、光源からの距離が遠い方向に少しずらした位置に検出領域を設定することを述べたが、検出領域をさらに他の位置に設定してもよい。例えば、図23に示すように、スクリーン領域の各辺を三等分して九個の領域に分割したときに、スクリーン領域SAのいずれかの角を含む領域に検出領域DAを移動させてもよい。図23では、スクリーン領域SAにおいて対辺同士を比較したときに短い方の辺が交わる角に検出領域DAが移動されている。このように短辺の方向に検出領域DAを移動させるのは、仮に検出領域が長辺寄りに設定された場合、短辺寄りに設定されるよりも検出領域内での輝度変化が大きくなるため、フォーカスレンズ13の合焦位置が長辺寄りになってしまうので、これを避ける必要があるからである。
なお、検出領域の移動先は、投写型映像表示装置の位置、投写型映像表示装置とスクリーン間の距離などに基づき最適な位置に設定してもよい。
第3および第4実施形態において、オートフォーカス調整部260は、中央の検出領域または移動した後の検出領域の中に、オートフォーカス調整用のテストパターンを投写部10に投写させてもよい。この場合、検出領域以外のスクリーン領域内に、ユーザによるフォーカス調整を支援するためのフォーカス情報を投写部10に投写させてもよい。フォーカス情報には、フォーカス調整用のバー、ボタンや、フォーカス評価値、文字情報などが含まれる。ユーザは、フォーカス評価値等を参照しながらバーやボタンをマウスまたはレーザポインタを用いて操作して、フォーカスを微調整することが可能になる。
第5実施形態.
図24は、本発明の第5実施形態に係る投写型映像表示装置4200の構成を示す図である。第5実施形態に係る投写型映像表示装置4200は、第3実施形態に係る投写型映像表示装置2200に、台形歪み補正部270が追加された構成である。
台形歪み補正部270は、撮像部30により撮像された画像内のエッジを検出することにより、台形歪み検出用のテストパターンの形状の歪みを検出し、その歪みがキャンセルされるよう映像信号を補正する。台形歪みは、スクリーン300と投写型映像表示装置4200とが正対していない場合に発生する。たとえば、投写光の光軸が上向きにずれている場合、スクリーン300には上部が膨らんだ台形歪みが発生する。
投写型映像表示装置4200の起動時や、ユーザ操作により台形歪みの調整が指示されると、映像信号設定部82は、画像メモリ84から台形歪み調整用のテストパターンを読み出し、投写部10に投写させる。当該テストパターンは、たとえば、四角形(正方形、長方形、平行四辺形、菱形など)で形成される。撮像部30は、スクリーン300に投影されたテストパターンを撮像する。台形歪み補正部270は、撮像画像に写ったテストパターンの形状をもとに、台形歪みを検出し、その台形歪みがキャンセルされるよう、映像信号設定部82に設定すべき映像信号を補正する。映像信号設定部82は、台形歪み補正部270による台形歪み補正機能が有効な期間は、台形歪み補正部270から供給される台形歪み補正後の映像信号を光変調部12に設定する。
投写型映像表示装置4200の起動時において、台形歪み補正部270は、オートフォーカス調整部260によるフォーカス調整が終了した後、上述した台形歪み検出処理を実行する。以下、台形歪み補正部270の構成をより具体的に説明する。
台形歪み補正部270は、エッジ抽出部271、歪み検出部272および映像信号補正部273を含む。エッジ抽出部271は、上記テストパターンが写った撮像画像内からエッジを検出する。その際、エッジ抽出部271は、スクリーン位置検出部240から設定されるスクリーン領域の範囲内でエッジを抽出する。エッジは、所定の閾値を超える輝度レベル変化が発生した箇所で抽出される。
歪み検出部272は、エッジ抽出により特定されるテストパターンの頂点座標から、上下左右のどちらの方向に、どの程度膨らんでいるかを特定する。映像信号補正部273は、スクリーン300に投影されたテストパターンの膨らみがキャンセルされるよう、映像信号設定部82に設定すべき映像信号を補正する。
図25は、台形歪み補正を説明するための図である。図25(a)は、垂直台形歪み補正を示し、図25(b)は、水平台形歪み補正を示す。図25(a)では、投影画像PrIの上部が膨らんでいる。映像信号補正部273は、アスペクト比が維持された四角形がスクリーン300に投影されるよう、投影すべき映像の上端から下端に向けて、映像の横幅を徐々にスケールダウンする。図25(b)では、投影画像PrIの左部が膨らんでいる。映像信号補正部732は、アスペクト比が維持された四角形がスクリーン300に投影されるよう、投影すべき映像の左端から右端に向けて、映像の縦幅を徐々にスケールダウンする。
図26は、第5実施形態に係る撮像画像PuI内のスクリーン領域SA内に、台形歪み検出用のテストパターンTPが写っている様子を示す図である。この撮像画像PuIは、スクリーン領域SAの左部領域にフォーカスが合っている。すなわち、第3、第4実施形態で説明した検出領域が設定されずに、撮像画像全体またはスクリーン領域SA全体の画像信号を用いて、オートフォーカス調整が実行された場合を示している。その場合、スクリーン領域SAの中央領域より、光源からの距離が近いスクリーン領域SAの左部領域にフォーカスが合わせられる。
その後、スクリーン300に台形歪み検出用のテストパターンTPが投影され、撮像部30により撮像されると、図26に示すように撮像画像PuI内において、テストパターンTPの左部は鮮明に写るが、その右部はピンぼけしてしまう(図26では、ピンぼけを点線で示している)。この場合、エッジ抽出部271にて、その撮像画像PuI内からテストパターンTPの一部の形状が抽出できない可能性があり、抽出できない場合、台形歪み補正の精度が低下する。
これに対し、第3、第4実施形態で説明した検出領域が設定され、その検出領域の画像信号を用いて、オートフォーカス調整が実行されると、スクリーン領域SAの中央領域か、そこから少し右側にずれた位置にフォーカスが合わせられる。その後、スクリーン300に台形歪み検出用のテストパターンが投影され、撮像部30により撮像されると、その撮像画像内に、テストパターン全体がピンぼけせずに写る。したがって、エッジ抽出部271は、その撮像画像内からテストパターン全体の形状を抽出することができ、台形歪み補正の精度が向上する。
以上説明したように第5実施形態によれば、第3、第4実施形態で説明したオートフォーカス調整が実行された後、台形歪み検出を実行することにより、台形歪み補正の精度を向上させることができる。これに対し、オートフォーカス調整前、または撮像画像全体もしくはスクリーン領域全体の画像信号を用いたオートフォーカス調整後に、台形歪み検出が実行されると、台形歪み補正の精度が低下する可能性がある。撮像画像内からテストパターン全体の形状を抽出できない可能性があるためである。
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
第4実施形態にて、検出領域設定部250は、辺長測定部245により検出されたスクリーン300の傾きの程度に応じて、上記検出領域のサイズを適応的に変化させてもよい。たとえば、検出領域設定部250は、当該傾きが大きいほど、当該検出領域のサイズを小さくする。当該傾きが大きい場合、当該検出領域内において、その中心より光源に近い側にずれてフォーカスが合わせられる。したがって、検出領域のサイズが小さいほど、スクリーン領域全体の中心近くに、フォーカスを合わせることができる。
第5実施形態において、台形歪み補正部270の代わりに形状補正部を設けてもよい。形状補正部は、周知の四点補正(フィッティング補正)などの形状補正を実行する。投写型映像表示装置の起動時などに、映像信号設定部82は、四点補正用のテストパターンを投写部10に投写させる。当該テストパターンは、たとえば白色の長方形である。撮像部30は、スクリーン300に投影されたテストパターンを撮像する。オートフォーカス調整部260によるフォーカス調整が終了した後、形状補正部は撮像画像に写ったテストパターンの四つの頂点をスクリーンの四つの頂点と一致させるように、映像信号設定部82に設定すべき映像信号を補正する。映像信号設定部82は、形状補正部から供給される補正後の映像信号を光変調部12に設定する。
図27は、四点補正を説明するための図である。図27は撮像画像であり、投影画像(たとえば白色のテストパターン)PrIがスクリーン300からずれて投影されている様子を示す。図中に矢印で示すように、投影画像PrIの四つの頂点を、スクリーン300の対応する四つの頂点と一致させるように、映像の形状を調整する。
なお、形状補正部は、投影画像PrIの形状の特徴に基づき、台形歪み補正と四点補正のいずれかを選択して実行するようにしてもよい。
10 投写部、 11 光源、 12 光変調部、 13 フォーカスレンズ、 20 レンズ駆動部、 30 撮像部、 40 フォーカス評価部、 42 フォーカス評価値算出部、 44 評価値変化検出部、50 映像信号評価部、 52 入力信号評価値算出部、 54 入力信号評価値判定部、 60 フォーカス目標算出部、 70 フォーカス調整アシスト部、 82 映像信号設定部、 100、1100、2100、3100、4100 制御部、 144 ズーム操作検出部、 150 フォーカス状態情報設定部、 152 フォーカス評価値格納部、 154 フォーカス状態決定部、 156 グラフデータベース、 200、1200、2200、3200、4200 投写型映像表示装置、 240 スクリーン位置検出部、 245 辺長測定部、 250 検出領域設定部、 260 オートフォーカス調整部、 261 ハイパスフィルタ、 262 積算部、 263 レンズ位置決定部、 270 台形歪み補正部、 271 エッジ抽出部、 272 歪み検出部、 273 映像信号補正部、300 スクリーン。

Claims (15)

  1. スクリーンにレンズを介して映像を投写する投写部と、前記スクリーンを撮像するための撮像部と、前記投写部に設けられ手動で操作されるフォーカス調整部と、備える投写型映像表示装置に搭載される制御装置であって、
    前記撮像部により撮像された撮像画像を取得し、スクリーンに投写された映像のフォーカス状態に応じて変化する特性値をフォーカス評価値として算出するフォーカス評価値算出部と、
    前記フォーカス評価値が変化しているとき、ユーザにより前記フォーカス調整部が操作されていると判定する評価値変化検出部と、
    前記フォーカス調整部が操作されていると判定されると、フォーカス調整を補助するためのフォーカス合焦情報を前記映像と合わせて投写表示させるフォーカス調整アシスト部と、
    を備えることを特徴とする制御装置。
  2. 前記評価値算出部は、前記撮像画像を複数の領域に分割して領域毎に前記フォーカス評価値を算出し、
    前記評価値変化検出部は、前記フォーカス評価値が変化している領域の数に応じて、ユーザにより前記フォーカス調整部が操作されていると判定することを特徴とする請求項1に記載の制御装置。
  3. 前記評価値変化検出部は、前記フォーカス評価値が変化しなくなったとき、ユーザによる前記フォーカス調整部の操作が終了したと判定し、
    前記フォーカス調整アシスト部は、前記フォーカス合焦情報の投写表示を終了することを特徴とする請求項1または2に記載の制御装置。
  4. 前記スクリーンに投写される映像信号を取得し、映像内の動きの有無に応じて変化する特性値を入力信号評価値として算出する入力信号評価値算出部と、
    前記入力信号評価値が所定の期間にわたり変化しないとき、映像が静止画であると判定する入力信号評価値判定部と、をさらに備え、
    前記フォーカス調整アシスト部は、映像が静止画であると判定されたときに前記フォーカス合焦情報を投写表示させることを特徴とする請求項1ないし3のいずれかに記載の制御装置。
  5. 前記撮像部により撮像された撮像画像を取得して画像解析することにより、ユーザによりズーム調整部が操作されているか否かを判定するズーム操作検出部と、
    前記フォーカス評価値算出部から取得したフォーカス評価値の変化を追跡してフォーカス状態情報を導出するフォーカス状態決定部と、をさらに含み、
    前記フォーカス状態決定部は、前記ズーム操作検出部による前記ズーム調整部が操作されている旨の判定を契機として、フォーカス評価値の変化の追跡を再始動することを特徴とする請求項1に記載の制御装置。
  6. フォーカス状態情報を前記映像と合わせて投写表示させる映像として設定する映像信号設定部をさらに含み、
    前記ズーム操作検出部は、前記スクリーンに投写されたフォーカス状態情報の映像を取得して画像解析することにより、ユーザにより前記ズーム調整部が操作されていると判定することを特徴とする請求項5に記載の制御装置。
  7. フォーカス評価値の算出に利用するための画像の周囲がズーム操作の決定に利用するための画像で囲まれた画像を、前記映像として投写表示する映像信号設定部をさらに含むことを特徴とする請求項5に記載の制御装置。
  8. フォーカス評価値の算出に利用するための映像とズーム操作の決定に利用するための映像とを、前記映像として交互に時分割で投写表示する映像信号設定部をさらに含むことを特徴とする請求項5に記載の制御装置。
  9. スクリーンにレンズを介して映像を投写する投写部と、前記スクリーンを撮像するための撮像部と、を備える投写型映像表示装置に搭載されるべき制御装置であって、
    前記撮像部により撮像された画像内に写ったスクリーンの位置を検出するスクリーン位置検出部と、
    前記スクリーン位置検出部により検出されたスクリーン領域内の中央領域を検出領域に設定する検出領域設定部と、
    複数のレンズ位置にて前記撮像部によりそれぞれ撮像された複数の画像内の、前記検出領域の鮮明度をもとに、前記レンズの位置を決定するフォーカス調整部と、
    を備えることを特徴とする制御装置。
  10. 前記検出領域設定部は、設定された前記検出領域を前記スクリーン領域内で移動させることを特徴とする請求項9に記載の制御装置。
  11. 前記スクリーン位置検出部により検出されたスクリーン領域の対向する二辺のそれぞれの長さを測定する辺長測定部をさらに備え、
    前記検出領域設定部は、前記辺長測定部により測定された二辺のうちの短辺の方向に、前記検出領域を所定の距離、移動させることを特徴とする請求項10に記載の制御装置。
  12. 前記フォーカス調整部は、前記投写部を介して、フォーカス調整用のテストパターンを前記検出領域内に投写することを特徴とする請求項9ないし11のいずれかに記載の制御装置。
  13. 前記フォーカス調整部は、前記検出領域以外のスクリーン領域内に、ユーザによるフォーカス調整を支援するためのフォーカス情報を前記投写部を介して投写することを特徴とする請求項12に記載の制御装置。
  14. 前記撮像部により撮像された画像内のエッジを検出することにより、テストパターンの形状の歪みを検出し、その歪みがキャンセルされるよう映像信号を補正する形状補正部をさらに備え、
    前記形状補正部は、前記フォーカス調整部によるフォーカス調整が終了した後、形状歪み検出処理を実行することを特徴とする請求項9ないし13のいずれかに記載の制御装置。
  15. スクリーンにレンズを介して映像を投写する投写部と、
    前記スクリーンを撮像するための撮像部と、
    請求項1から14のいずれかに記載の制御装置と、
    を備えることを特徴とする投写型映像表示装置。
JP2011016140A 2010-02-19 2011-01-28 制御装置および投写型映像表示装置 Pending JP2012008522A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011016140A JP2012008522A (ja) 2010-02-19 2011-01-28 制御装置および投写型映像表示装置
PCT/JP2011/052913 WO2011102299A1 (ja) 2010-02-19 2011-02-10 制御装置および投写型映像表示装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2010034578 2010-02-19
JP2010034578 2010-02-19
JP2010082783 2010-03-31
JP2010082783 2010-03-31
JP2010122787 2010-05-28
JP2010122787 2010-05-28
JP2011016140A JP2012008522A (ja) 2010-02-19 2011-01-28 制御装置および投写型映像表示装置

Publications (1)

Publication Number Publication Date
JP2012008522A true JP2012008522A (ja) 2012-01-12

Family

ID=44482886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011016140A Pending JP2012008522A (ja) 2010-02-19 2011-01-28 制御装置および投写型映像表示装置

Country Status (2)

Country Link
JP (1) JP2012008522A (ja)
WO (1) WO2011102299A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013015751A (ja) * 2011-07-06 2013-01-24 Ricoh Co Ltd 撮像装置
CN103313008A (zh) * 2012-03-08 2013-09-18 精工爱普生株式会社 图像处理装置、图像处理方法以及投影仪
JP2013257585A (ja) * 2013-08-05 2013-12-26 Seiko Epson Corp プロジェクターおよびプロジェクターの制御方法
JP2014029357A (ja) * 2012-07-31 2014-02-13 Mega Chips Corp 撮像装置、撮像調整方法およびプログラム
JP2015096880A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 投射型画像表示装置及びその制御方法
JP2015167350A (ja) * 2014-02-14 2015-09-24 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2017107219A (ja) * 2017-01-23 2017-06-15 株式会社メガチップス 撮像装置、撮像調整方法およびプログラム
WO2019167483A1 (ja) * 2018-03-01 2019-09-06 富士フイルム株式会社 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置
WO2022163207A1 (ja) * 2021-01-29 2022-08-04 富士フイルム株式会社 合焦支援装置、合焦支援方法、及び合焦支援プログラム
JP2023507039A (ja) * 2019-12-27 2023-02-20 チョントゥー ジミー テクノロジー カンパニー リミテッド 投影による熱ピントずれ双方向補償方法及び装置、可読記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6522782B2 (ja) 2015-11-18 2019-05-29 マクセル株式会社 画像投射装置
CN113542733A (zh) * 2021-06-25 2021-10-22 苏州智瞳道和显示技术有限公司 一种光机清晰度调测方法和系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2598557B2 (ja) * 1990-06-19 1997-04-09 シャープ株式会社 液晶プロジェクターのフォーカス調整システム
JPH08292496A (ja) * 1995-04-24 1996-11-05 Sony Corp プロジェクタのフォーカス・ズーム自動調整方法及びその自動調整装置
JP3467561B2 (ja) * 1996-10-03 2003-11-17 セイコーエプソン株式会社 投写型表示装置
JP2001083600A (ja) * 1999-09-10 2001-03-30 Toshiba Corp 投写型映像表示装置
JP2001183740A (ja) * 1999-12-27 2001-07-06 Nikon Corp 画像入出力装置および投射型表示装置
JP2003015177A (ja) * 2001-06-29 2003-01-15 Hitachi Ltd 撮像装置
JP2004334117A (ja) * 2003-05-12 2004-11-25 Sanyo Electric Co Ltd 液晶プロジェクタ
JP2005024741A (ja) * 2003-06-30 2005-01-27 Casio Comput Co Ltd 投影装置及び投影方法
JP4013877B2 (ja) * 2003-10-06 2007-11-28 松下電器産業株式会社 投射型映像表示装置
JP3925513B2 (ja) * 2004-06-23 2007-06-06 セイコーエプソン株式会社 プロジェクタの自動フォーカス調整
JP4655563B2 (ja) * 2004-09-21 2011-03-23 株式会社ニコン プロジェクタ装置、携帯電話、カメラ
JP4996221B2 (ja) * 2006-12-06 2012-08-08 株式会社シグマ 被写界深度調整方法及びそのユーザインターフェイスを有する撮影装置
JP2008233462A (ja) * 2007-03-20 2008-10-02 Seiko Epson Corp プロジェクタおよびプロジェクタの投写方法
JP5294794B2 (ja) * 2007-12-14 2013-09-18 キヤノン株式会社 撮像装置及び画像表示方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013015751A (ja) * 2011-07-06 2013-01-24 Ricoh Co Ltd 撮像装置
CN103313008A (zh) * 2012-03-08 2013-09-18 精工爱普生株式会社 图像处理装置、图像处理方法以及投影仪
JP2013186331A (ja) * 2012-03-08 2013-09-19 Seiko Epson Corp 画像処理装置、画像処理方法、およびプロジェクター
US9106844B2 (en) 2012-03-08 2015-08-11 Seiko Epson Corporation Image processing apparatus, image processing method, and projector
CN103313008B (zh) * 2012-03-08 2018-05-29 精工爱普生株式会社 图像处理装置、图像处理方法以及投影仪
JP2014029357A (ja) * 2012-07-31 2014-02-13 Mega Chips Corp 撮像装置、撮像調整方法およびプログラム
JP2013257585A (ja) * 2013-08-05 2013-12-26 Seiko Epson Corp プロジェクターおよびプロジェクターの制御方法
JP2015096880A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 投射型画像表示装置及びその制御方法
US10148925B2 (en) 2014-02-14 2018-12-04 Seiko Epson Corporation Projector and method of controlling projector to display an image based on evaluation value after focus adjustment
JP2015167350A (ja) * 2014-02-14 2015-09-24 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2017107219A (ja) * 2017-01-23 2017-06-15 株式会社メガチップス 撮像装置、撮像調整方法およびプログラム
WO2019167483A1 (ja) * 2018-03-01 2019-09-06 富士フイルム株式会社 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置
JPWO2019167483A1 (ja) * 2018-03-01 2021-03-11 富士フイルム株式会社 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置
JP7012142B2 (ja) 2018-03-01 2022-01-27 富士フイルム株式会社 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置
US11317013B2 (en) 2018-03-01 2022-04-26 Fujifilm Corporation Focus adjustment operation detection device, focus adjustment operation detection method, focus adjustment operation detection program, imaging device main body, and imaging device
JP2023507039A (ja) * 2019-12-27 2023-02-20 チョントゥー ジミー テクノロジー カンパニー リミテッド 投影による熱ピントずれ双方向補償方法及び装置、可読記憶媒体
JP7434568B2 (ja) 2019-12-27 2024-02-20 チョントゥー ジミー テクノロジー カンパニー リミテッド 投影による熱ピントずれ双方向補償方法及び装置、可読記憶媒体
US11934089B2 (en) 2019-12-27 2024-03-19 Chengdu Xgimi Technology Co., Ltd. Bidirectional compensation method and apparatus for projection thermal defocusing, and readable storage medium
WO2022163207A1 (ja) * 2021-01-29 2022-08-04 富士フイルム株式会社 合焦支援装置、合焦支援方法、及び合焦支援プログラム

Also Published As

Publication number Publication date
WO2011102299A1 (ja) 2011-08-25

Similar Documents

Publication Publication Date Title
WO2011102299A1 (ja) 制御装置および投写型映像表示装置
JP3761563B2 (ja) 投影システムの投影画像自動調整方法およびプロジェクタ
JP4232042B2 (ja) 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
JP5493340B2 (ja) 投写型表示装置および配置関係検出方法
US10134118B2 (en) Information processing apparatus and method of obtaining information about a projection surface on which a target is projected
JP6343910B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2010130225A (ja) 投写型表示装置および投写用調整方法
JP2011248205A (ja) 制御装置および投写型映像表示装置
JP6330292B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2011176629A (ja) 制御装置および投写型映像表示装置
US20110279738A1 (en) Control device and projection video display device
JP6702600B2 (ja) プロジェクター及びフォーカス調整方法
JP2005151310A (ja) 投射型画像表示装置の設置調整システム
CN112668569B (zh) 投射型影像显示装置
US20190096298A1 (en) Display apparatus and control method therefor
JP5245805B2 (ja) プロジェクタ、その制御方法、及びその制御プログラム
JP5461452B2 (ja) 制御装置および投写型映像表示装置
JP4689948B2 (ja) プロジェクタ
JP2011199717A (ja) 投写型表示装置および画像表示方法
WO2011142197A1 (ja) 制御装置および投写型映像表示装置
JP2008242087A (ja) 前面投影型プロジェクタの設置位置調整システム
JP5233613B2 (ja) 投写型表示装置および配置関係検出方法
US20230209026A1 (en) Projection method and projector
JP2012095181A (ja) プロジェクター、及び、プロジェクターの制御方法
JP2012095182A (ja) プロジェクター、及び、プロジェクターの制御方法