JP2019066806A - 投影装置およびその制御方法、プログラム並びに記憶媒体 - Google Patents

投影装置およびその制御方法、プログラム並びに記憶媒体 Download PDF

Info

Publication number
JP2019066806A
JP2019066806A JP2017195375A JP2017195375A JP2019066806A JP 2019066806 A JP2019066806 A JP 2019066806A JP 2017195375 A JP2017195375 A JP 2017195375A JP 2017195375 A JP2017195375 A JP 2017195375A JP 2019066806 A JP2019066806 A JP 2019066806A
Authority
JP
Japan
Prior art keywords
image
pixel
projection
unit
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017195375A
Other languages
English (en)
Inventor
昌尚 栗田
Masanao Kurita
昌尚 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017195375A priority Critical patent/JP2019066806A/ja
Priority to US16/149,390 priority patent/US20190108779A1/en
Publication of JP2019066806A publication Critical patent/JP2019066806A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

【課題】画像のアスペクト比を拡大倍率に応じて変換して投影する場合に、拡大倍率にかかわらず解像感を改善する。【解決手段】投影装置は、光源から照射される光を入力画像に応じて変調する画像表示手段と、前記画像表示手段により変調された光を投影画像として投影する投影手段と、前記投影画像の画素をずらす画素ずらし手段と、前記投影画像の所定方向の拡大倍率を変換する変換手段と、を有し、前記画素ずらし手段は、前記投影画像の画素を所定の数に分割し、分割した画素に基づいて前記投影画像の画素をずらす画素ずらし制御を行い、前記所定の数が前記変換手段における拡大倍率に応じて設定される。【選択図】図3

Description

本発明は、画像のアスペクト比を変換して投影する技術に関する。
デジタルカメラに搭載されるイメージセンサは高画素化が進み、例えばビデオカメラでは8K(7680×4320)、スチルカメラでは8Kの数倍の解像度で撮像できるものが開発されている。また、このような高画素のイメージセンサを用いて撮像した超高解像度の画像の一部を切り出して、プロジェクタ等によりスクリーンに投影することも想定される。このような超高解像度の画像を、被写体の形状やサイズに応じて切り出す場合、切り出された画像は、横長、縦長など、様々なアスペクト比になりうる。
画像のアスペクト比が横長の場合、アナモフィックレンズを用いて光学的に投影画像を横長に拡大して投影する技術が知られている(特許文献1)。また、アナモフィックレンズで横長に拡大して投影する場合、投影画像の解像感が低下するため、画素ずらしと呼ばれる方法を用いて疑似的に解像感を改善する技術がある(特許文献2)。画素ずらしは、時分割で投影画像の画素位置をずらす制御である。
特開平11−316416号公報 特開2011−170008号公報
しかしながら、上記従来技術のように、アナモフィックレンズを用いて光学的に投影画像を拡大して投影する場合、拡大倍率によっては画素ずらし制御を行っても解像感が十分に改善しないことがある。このような傾向は、拡大倍率が1.5倍等、小数点以下に端数が発生する場合に顕著となる。
本発明は、上記課題に鑑みてなされ、その目的は、画像のアスペクト比を拡大倍率に応じて変換して投影する場合に、拡大倍率にかかわらず解像感を改善することができる技術を実現することである。
上記課題を解決し、目的を達成するために、本発明の投影装置は、光源から照射される光を入力画像に応じて変調する画像表示手段と、前記画像表示手段により変調された光を投影画像として投影する投影手段と、前記投影画像の画素をずらす画素ずらし手段と、前記投影画像の所定方向の拡大倍率を変換する変換手段と、を有し、前記画素ずらし手段は、前記投影画像の画素を所定の数に分割し、分割した画素に基づいて前記投影画像の画素をずらす画素ずらし制御を行い、前記所定の数が前記変換手段における拡大倍率に応じて設定される。
本発明によれば、画像のアスペクト比を拡大倍率に応じて変換して投影する場合に、拡大倍率にかかわらず解像感を改善することができる。
本実施形態のシステム構成図。 本実施形態の画像の一部を切り出す方法を説明する図。 本実施形態の画像投影装置の構成を例示するブロック図。 本実施形態の画素ずらし制御における拡大倍率とパラメータの関係を例示する図。 本実施形態の画像投影装置において間引き画像を生成する方法を説明する図。 本実施形態の画素ずらし制御によって疑似的に画素を生成し投影する方法を説明する図。 実施形態2の画像投影装置の構成を例示するブロック図。 実施形態2の画素ずらし部の構成の一例を示す図。 実施形態2の画像投影装置において間引き画像を生成する方法を説明する図。 実施形態2の画素ずらし制御によって疑似的に画素を生成し投影する方法を説明する図。 実施形態2の画像投影装置において間引き画像を生成する方法を説明する図。 実施形態3の画素ずらし制御によって疑似的に画素を生成し投影する方法を説明する図。 実施形態3の画像投影装置の構成を例示するブロック図。 実施形態3の画像投影装置におけるアスペクト比変換部の構成を例示する図。 実施形態3の横方向と縦方向の拡大処理における、入力画像解像度と画素ずらし制御における拡大倍率とパラメータの関係を例示する図。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、1つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連係動作により1つの機能ブロックの機能または、複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、CPUがメモリ上に展開したコンピュータプログラムにより実行されてもよい。
[実施形態1]以下、実施形態1の画像投影システムについて説明する。
図1は、本実施形態の画像投影システム101の構成の一例を示すブロック図である。
図1において、本実施形態の画像投影システム101は、画像編集装置102と画像投影装置111とを有する。画像投影システム101には、高画素のイメージセンサを有するデジタルカメラなどの撮像装置において撮像された高解像度の撮像画像100が入力される。撮像画像100は、例えば、8Kよりも解像度が高い16Kの画像であるものとする。
画像編集装置102は、不図示のプロセッサ等の演算処理装置やハードディスク等の記憶装置を有する。画像編集装置102は、撮像装置やPC等の外部装置から入力された撮像画像100に対して、画像処理装置が画像の選別、つなぎ合わせ、文字合成、輝度調整、色調整といったポストプロダクション処理を行い、記憶装置が処理済みの画像を記憶する。また、画像編集装置102は、上記ポストプロダクション処理に加えて、主要被写体の形状やサイズに応じた切り出し処理を行う。画像編集装置102において切り出し処理された画像は入力画像110として画像投影装置111に入力され、スクリーンや壁面へ投影画像112として投影される。本実施形態の画像投影システム101は、例えば広告の製作・展示を行う企業、仮想的に美術品を展示するイベンター等をユーザとして想定している。エンドユーザは、投影画像を鑑賞する人々である。
本実施形態では、画像編集装置102において切り出し処理された入力画像110の解像度に応じて画像投影装置111において後述する画素ずらし制御を行うことによって、投影画像の拡大倍率にかかわらず投影画像112の解像感を改善することができる。
ここで、図2を参照して、本実施形態の画像編集装置102における入力画像110の切り出し方法について説明する。図2において、撮像画像100は横方向16K、縦方向10Kの高解像度の画像である。例えば、広角レンズや魚眼レンズを用いて、撮像画像100には主要被写体を含む広範囲な領域が撮像されている。ここで、ユーザ(画像編集者)の意図(ユーザ設定)に従い、横方向6K、縦方向2Kの横長画像が入力画像110として切り出されるとする。この場合、縦横のアスペクト比は3:1となる。入力画像110の解像度、アスペクト比は撮像画像100の撮影内容およびユーザの意図に応じて、適宜変更されるものとする。本実施形態では、入力画像110はフレーム周波数60Hzの動画であるとする。
<装置構成>
図3は、本実施形態の画像投影装置111の構成および機能の一例を示すブロック図である。
本実施形態の画像投影装置111は、不図示のCPUやMPU等のプロセッサおよびソフトウェアが記憶されたROM、ワークエリアとして使用されるRAM等のメモリを備える。そして、プロセッサがROMに格納されたプログラムを実行することで画像投影装置111の機能を実現する。
図3において、画像投影装置111は、画像処理部120、光源制御部121、光源部122、画像表示パネル部123、間引き部124、拡大倍率設定部125、画素ずらし制御部126、画素ずらし部127、投影光学部128を有する。また、画像投影装置111は、アダプタユニット130として投影光学部128のレンズ部に外付けされるアスペクト比変換部129を有する。本実施形態ではアスペクト比変換部129はアナモフィックレンズ等の光学素子を備える。
画像投影装置111には、入力画像110とユーザ設定150が入力される。入力画像110は画像投影装置111の画像処理部120に入力され、画像解析処理と高画質化処理が行われる。例えば、画像解析処理では統計量の計算、顔認識等が行われる。高画質化処理では輝度、色、ガンマカーブの調整、ノイズリダクション処理等が行われる。高画質化処理は画像解析の結果と、画像投影装置111の表示性能(画素数)に応じて適応的に処理される。
画像処理部120において高画質化処理された入力画像信号151は間引き部124へ入力される。また、画像処理部120における輝度統計量の計算結果に応じた光源制御信号152が画像処理部120から光源制御部121へ入力される。光源制御信号152は、例えば、入力画像110が暗い領域が多い画像である場合は光源の輝度を下げ、明るい領域が多い場合は光源の輝度を上げるような変調制御を行うための制御信号である。
光源制御部121は、光源制御信号152に応じた点灯制御信号153に基づいて光源部122を点灯制御し、画像表示パネル部123へ光154を照射する。画素ずらし部127には画像表示パネル部123から4Kの解像度で輝度変調された光157が入射され、投影光学部128には画素ずらし部127で画素をずらした光159が入射される。投影光学系128から出力される投影画像160は、アスペクト比変換部129において所定方向に光学的に拡大された投影画像112となる。
光源部122は超高圧水銀ランプ、半導体レーザなどが用いられる。画像表示パネル部123は投影方式がDLP(Digital Light Processing)方式の場合はDMD(Digital Micromirror Device)が用いられる。また、画像表示パネル部123は投影方式がLCOS方式の場合は反射型液晶素子(Liquid Crystal On Silicon)からなる表示パネルが用いられる。
ユーザ設定150は、例えばメニュー画面においてユーザが各種設定項目に対応するGUIを操作することによって入力される。ここでは、拡大倍率設定部125に拡大倍率に関するユーザ設定150が入力される。拡大倍率とは、画像投影装置111にアダプタユニット130として取り付けられるアスペクト比変換部129において投影画像160を所定方向に光学的に拡大して投影するときの倍率であり、整数ではない値(1.5倍、2.5倍)を含む。画像表示パネル部123の解像度が横方向4K、縦方向2Kのアスペクト比2:1であり、入力画像110が横方向6K、縦方向2Kのアスペクト比3:1である場合、横方向に拡大倍率1.5倍のアスペクト比変換部129を取り付ける。そして、ユーザ設定150として横方向に1.5倍を入力する。拡大倍率設定部125は、ユーザ設定150に応じた倍率設定情報156を間引き部124と画素ずらし制御部126に出力する。倍率設定情報156は、ユーザ設定150で入力された倍率である。
図3における画素ずらし制御部126、画素ずらし部127、投影光学部128およびアスペクト比変換部129の処理については、図4から図6を用いて後述するので、ここでは概要を説明する。
間引き部124は倍率設定情報156に応じて入力画像信号151の間引き処理を行い、間引き処理を行った画像信号155を画像表示パネル部123に出力する。画素ずらし制御部126は倍率設定情報156に応じた画素ずらし制御パラメータ158を用いて、画素ずらし部127を制御する。画像表示パネル部123の表示と画素ずらし部127の制御は同期して行われる。光源部122の光154は画像表示パネル部123、画素ずらし部127で輝度変調され、投影光学部128とアスペクト比変換部129を通じて投影画像112として投影される。
次に、図4から図6を参照して、本実施形態の画像投影装置111における拡大倍率に応じた画素ずらし制御について説明する。
図4は、本実施形態の画素ずらし制御における拡大倍率とパラメータの関係を例示する図である。
図4において、画素ずらし制御パラメータはアスペクト比変換部129の拡大倍率ごとに表示繰り返し数、分割数および周波数を含む。各パラメータの詳細は後述する。拡大倍率が1.0倍は、画素ずらし制御が行われない場合に相当する。このときの周波数は、入力画像110のフレーム周波数60Hzと同じである。拡大倍率が1.5倍は、画素ずらし制御の表示繰り返し数が2、分割数は3、周波数は180Hzになる。以下では、本実施形態の画素ずらし制御におけるパラメータについて説明する。
図5は、画素ずらし制御を行う場合において間引き部124で間引き画像155を生成する処理を説明するための模式図である。図5において横軸方向は画素値の順序に対応する。
図5(a)は入力画像信号151の所定フレームの画素値と順序を示している。ただし、横方向6Kの入力画像信号151の一部を抜き出して簡略化して表している。入力画像信号151は横方向6K、縦方向2Kの解像度を持つが、これを横方向6画素(1000分の1)、縦方向1画素(2000分の1)だけ抜き出して表している。ここでは、画素値は横方向にA、B、C、D、E、Fの6つの画素値であるとする。画像表示パネル部123は横方向4K、縦方向2Kの解像度を持つが、簡略的には横方向4画素、縦方向1画素で表される。
図5(a)の入力画像信号151に対して、図5(b)に示すように、画素ずらし制御パラメータの表示繰り返し数で指定された数(本例では2)だけ同一画素値で画素数を2倍に増やした画像信号を生成する処理200を行う。具体的には、A、A、B、B、C、C、…と同一画素値で2回ずつ繰り返す。次に、画素ずらし制御パラメータの分割数(本例では3)で図5(b)の画像信号を分割して間引き処理後のサブフレームを生成する。具体的には、図5(b)の先頭の画素から順に1、2、3、1、2、3、…と、サブフレームの番号を割り当てて、サブフレーム1用の間引き処理201、サブフレーム2用の間引き処理202、サブフレーム3用の間引き処理203を行う。このようにして、図5(c1)、図5(c2)、図5(c3)の3枚のサブフレーム1〜3を生成する。ここでは、画像表示パネル部123の解像度に合わせて、各々4画素になるよう間引きされる。
図6は、画素ずらし制御によって疑似的に画素を生成し投影する処理を説明するための模式図である。図6において横軸方向は画素の表示位置と大きさに対応する。
図6(c1)、図6(c2)、図6(c3)は、図5(c1)、図5(c2)、図5(c3)で生成されたサブフレーム1〜3を、時分割で表示画素位置をずらしたものである。図6(c1)でサブフレーム1を表示し、図6(c2)で画素位置ずらし210を行ってサブフレーム2を表示し、図6(c3)で画素位置ずらし211を行ってサブフレーム3を表示する。各サブフレームで表示される画素は略正方形である。画素位置ずらし210、画素位置ずらし211のずらし量はそれぞれ1画素を3等分した1つに対応する。3分割の場合、画素ずらし制御でサブフレームを切り替える周波数は、入力画像110の周波数60Hzの3倍速となる180Hzになる。
図6(d)は、画素ずらし制御によって疑似的に生成される画素を示す模式図である。例えば、疑似生成画素212は3枚のサブフレームの平均で表示(視覚)され、図6(d)では3つの画素値(A、A、X)の平均値A’で表示される。Xは図示されていない任意の画素値である。平均値A’は概ね画素値Aに近似する。次の疑似生成画素も同様に平均値A’で表示され、以降、B’、B’、C’、C’、…と順に並ぶ。これらの疑似生成画素は横方向の大きさが1/3の縦長画素になる。
図6(e)はアスペクト比変換部129で横方向1.5倍に拡大処理213を行った後の画素を例示している。横方向の大きさが1/3の縦長画素A’、A’、B’、B’、C’、C’、…に対して1.5倍で拡大すると、A’、B’、C’、…の正方形画素が並ぶことになり、図5(a)で示した入力画像信号151を疑似的に投影できていることが分かる。つまり、画像表示パネル部123の解像度よりも解像感が改善している。
次に、図4に示した画素ずらし制御パラメータの計算方法について説明する。以下に画素ずらし制御パラメータを計算するプログラムコードの一例を示している。プログラムコードはC言語で記述されている。拡大倍率aが入力されると、拡大倍率aで割り切れる値になるよう、画素ずらし分割数bを決定する。画素ずらし表示くり返し回数は、画素ずらし分割数bを拡大倍率aで割ったときの商である。
以上説明したように、本実施形態の画素ずらし制御を適用することで、アスペクト比変換部で所定方向に拡大して投影する場合に、拡大倍率にかかわらず画素ずらし制御によって解像感を改善することができる。
<パラメータ計算プログラム>
/************************************/
#include <stdio.h>

int main(void)

float a; //拡大倍率
float b; //画素ずらし分割数
int n; //画素ずらし表示繰り返し回数

/* 拡大倍率を入力する */
printf(”拡大倍率を入力して下さい¥n”);
scanf(”%f”, &a);

/* 画素ずらし分割数を算出 */
for (n=1; n<=10; n++) { //表示繰り返し回数の上限は10回とする
b = a * n;
if(!(b−(int)b)){ //分割数bは拡大倍率aで割り切れる値に決定する
break;



/* 結果を表示 */
printf(”拡大倍率が %f のとき¥n”, a);
printf(”画素ずらし分割数は %d¥n”, (int)b);
printf(”画素ずらし繰り返し回数は %d¥n”, n);
return 0;

/************************************/
[実施形態2]
実施形態1は、ユーザ設定150で拡大倍率を入力する構成について説明した。本実施形態では、より柔軟に拡大倍率を変更可能とし、自動的に画素ずらし制御を切り替える構成を説明する。例えば、撮像画像100が動画であり、シーンが切り替わるタイミングで拡大倍率を動的に変更するような使い方が考えられる。
図7は、本実施形態の画像投影装置111の構成および機能の一例を示すブロック図である。
本実施形態の画像投影装置111は、図3の拡大倍率設定部125に代えて拡大倍率判定部225、アダプタユニット130としてのアスペクト比変換部129に代えて可変アスペクト比変換部229を有する。可変アスペクト比変換部229は画像投影装置111に内蔵されている。その他の構成や機能は、図3と同様であるので、同様の構成には同一の符号を付して説明は省略する。
図7において、拡大倍率判定部225は、入力画像110の解像度に応じて自動的に拡大倍率を設定する。例えば、入力画像110の解像度が横方向8K、縦方向2Kのアスペクト比4:1である場合、画像表示パネル部123の解像度(横方向4K、縦方向2K)に対して拡大倍率を横方向に2.0倍と設定する。具体的には、入力画像110の横方向解像度8Kを画像表示パネル部123の横方向解像度4Kで除算して、拡大倍率として2.0倍が算出される。例えば、入力画像110の解像度が横方向10K、縦方向2Kのアスペクト比5:1である場合、画像表示パネル部123の解像度(横方向4K、縦方向2K)に対して拡大倍率を横方向に2.5倍と設定する。
倍率設定情報156は拡大倍率判定部225で算出され、設定される。倍率設定情報156は、間引き部124と画素ずらし制御部126に加えて、可変アスペクト比変換部229に入力される。可変アスペクト比変換部229は複数のプリズム素子を備え、アスペクト比(拡大倍率)はプリズム素子間の配置角度を調整することで変更される。
画素ずらし制御部126は、倍率設定情報156に応じた画素ずらし制御パラメータ158を用いて、画素ずらし部127を制御する。具体的には、実施形態1の図4に示した画素ずらし制御パラメータにおける分割数を動的に変更して制御する。
図8は実施形態2の画素ずらし部127の構成の一例を示す模式図である。画素ずらし部127は液晶パネル500と複屈折素子501を貼り合わせて構成される。液晶パネル500には画像表示パネル部123から4Kの解像度で輝度変調された光157が入射され、液晶制御信号502に基づき光157の直線偏光方向が切り替えられる。複屈折素子501は、光157の直線偏光方向に応じて出射光159を空間的にずらすこと(画素位置をずらすこと)ができる。複屈折素子501には制御電圧503が印加され、制御電圧503に応じて複屈折素子501の屈折率が変わるポッケルス効果を利用して、画素ずらし制御における分割数を変更できる。
以下では、拡大倍率が2.0倍と2.5倍の場合における間引き画像の生成と画素ずらし制御について説明する。
まず図9および図10を参照して、拡大倍率が2.0倍の場合における画素ずらし制御を説明する。図4に示したように、拡大倍率が2.0倍の場合は、表示繰り返し数が1、分割数は2、周波数は120Hzで画素ずらし制御を行う。
図9は、画素ずらし制御を行う場合において間引き部124で間引き画像155を生成する処理を説明するための模式図である。図9において横軸方向は画素値の順序に対応する。
図9(a)は入力画像信号151の所定フレームの画素値と順序を示している。ただし、横方向8Kの入力画像信号151の一部を抜き出して簡略化して表している。入力画像信号151は横方向8K、縦方向2Kの解像度を持つが、これを横方向8画素(1000分の1)、縦方向1画素(2000分の1)だけ抜き出して表している。ここでは、画素値は横方向にA、B、C、D、E、F、G、Hの8つの画素値であるとする。画像表示パネル部123は横方向4K、縦方向2Kの解像度を持つが、簡略的には横方向4画素、縦方向1画素で表される。
図9(a)の入力画像信号151に対して、図9(b)に示すように、画素ずらし制御パラメータの表示繰り返し数で指定された数(本例では1)だけ同一画素値で画素数を増やした画像信号を生成する処理300を行う。本例では表示繰り返し数が1であるので図9(a)と図9(b)の画素数は変わらない。次に、画素ずらし制御パラメータの分割数(本例では2)で図9(b)の画像信号を分割して間引き処理後のサブフレームを生成する。具体的には、図9(b)の先頭の画素から順に1、2、1、2、1、2…と、サブフレームの番号を割り当てて、サブフレーム1用の間引き処理301、サブフレーム2用の間引き処理302を行う。このようにして、図9(c1)、図9(c2)の2枚のサブフレーム1〜2を生成する。ここでは、画像表示パネル部123の解像度に合わせて、各々4画素になるよう間引きされる。
図10は、画素ずらし制御によって疑似的に画素を生成し投影する処理を説明するための模式図である。図6において横軸方向は画素の表示位置と大きさに対応する。
図10(c1)、図10(c2)は、図9(c1)、図9(c2)で生成されたサブフレーム1〜3を、時分割で表示画素位置をずらしたものである。図10(c1)でサブフレーム1を表示し、図10(c2)で画素位置ずらし310を行ってサブフレーム2を表示する。各サブフレームで表示される画素は略正方形である。画素位置ずらし310、画素位置ずらし311のずらし量はそれぞれ1画素を2等分した1つに対応する。2分割の場合、画素ずらし制御でサブフレームを切り替える周波数は、入力画像110の周波数60Hzの2倍速となる120Hzになる。
図10(d)は、画素ずらし制御によって疑似的に生成される画素を示す模式図である。例えば、疑似生成画素311は2枚のサブフレームの平均で表示(視覚)され、図6(d)では2つの画素値(A、X)の平均値A’で表示される。Xは図示されていない任意の画素値である。平均値A’は概ね画素値Aに近似する。画素値Aと画素値Xの値が離れている場合には近似性が低くなるが、多くの自然画では隣接する画素同士は近い値を取る。同様の考え方で、次の疑似生成画素は2つの画素値(A、B)の平均値B’で表示される。以降、C’、D’、E’、F’、…と順に並ぶ。これらの疑似生成画素は横方向の大きさが1/2の縦長画素になる。
図10(e)は可変アスペクト比変換部229で横方向2.0倍に拡大処理312を行った後の画素を例示している。横方向の大きさが1/2の縦長画素A’、B’、C’、D’、E’、F’、…に対して2.0倍で拡大すると、A’、B’、C’、D’、E’、F’、…の正方形画素が並ぶことになり、図9(a)で示した入力画像信号151を疑似的に投影できていることが分かる。つまり、画像表示パネル部123の解像度よりも解像感が改善している。
次に図11および図12を参照して、拡大倍率が2.5倍の場合における画素ずらし制御を説明する。図4に示したように、拡大倍率が2.5倍の場合は、表示繰り返し数が2、分割数は5、周波数は300Hzで画素ずらし制御を行う。このように周波数が高い画素ずらし制御を行う場合は、画像表示パネル部123には高速表示が可能なDMDパネルを用いることが好適である。
図11は、画素ずらし制御を行う場合において間引き部124で間引き画像155を生成する処理を説明するための模式図である。図11において横軸方向は画素値の順序に対応する。
図11(a)は入力画像信号151の所定フレームの画素値と順序を示している。ただし、横方向10Kの入力画像信号151の一部を抜き出して簡略化して表している。入力画像信号151は横方向10K、縦方向2Kの解像度を持つが、これを横方向10画素(1000分の1)、縦方向1画素(2000分の1)だけ抜き出して表している。ここでは、画素値は横方向にA、B、C、D、E、F、G、H、I、Jの10個の画素値であるとする。画像表示パネル部123は横方向4K、縦方向2Kの解像度を持つが、簡略的には横方向4画素、縦方向1画素で表される。
図11(a)の入力画像信号151に対して、図11(b)に示すように、画素ずらし制御パラメータの表示繰り返し数で指定された数(本例では2)だけ同一画素値で画素数を2倍に増やした画像信号を生成する処理400を行う。具体的には、A、A、B、B、C、C、…と同一画素値で2回ずつ繰り返す。次に、画素ずらし制御パラメータの分割数(本例では5)で図11(b)の画像信号を分割して間引き処理後のサブフレームを生成する。具体的には、図11(b)の先頭の画素から順に1、2、3、4、5、1、2、3、4、5、1、2、3、4、5、…と、サブフレームの番号を割り当てて、サブフレーム1用の間引き処理401、サブフレーム2用の間引き処理402、サブフレーム3用の間引き処理403、サブフレーム4用の間引き処理404、サブフレーム5用の間引き処理405を行う。このようにして、図11(c1)、図11(c2)、図11(c3)、図11(c4)、図11(c5)の5枚のサブフレームを生成する。ここでは、画像表示パネル部123の解像度に合わせて、各々4画素になるよう間引きされる。
図12は、画素ずらし制御によって疑似的に画素を生成し投影する処理を説明するための模式図である。図12において横軸方向は画素の表示位置と大きさに対応する。
図12(c1)、図12(c2)、図12(c3)、図12(c4)、図12(c5)は、図11(c1)、図11(c2)、図11(c3)、図11(c4)、図11(c5)で生成されたサブフレーム1〜5を、時分割で表示画素位置をずらしたものである。図12(c1)でサブフレーム1を表示し、図12(c2)で画素位置ずらし410を行ってサブフレーム2を表示する。以降は同様に、画素位置ずらし411〜413を行って、サブフレーム3〜5を表示する。各サブフレームで表示される画素は略正方形である。画素位置ずらし410〜413はそれぞれ1画素を5等分した1つに対応する。5分割の場合、画素ずらし制御でサブフレームを切り替える周波数は、入力画像110の周波数60Hzの5倍速となる300Hzになる。
図12(d)は、画素ずらし制御によって疑似的に生成される画素を示す模式図である。例えば、疑似生成画素414は5枚のサブフレームの平均で表示(視覚)され、図12(d)では5つの画素値(A、A、B、X、X)の平均値A’で表示される。Xは図示されていない任意の画素値である。平均値A’は概ね画素値Aに近似する。画素値Aと画素値Xの値が離れている場合には近似性が低くなるが、多くの自然画では隣接する画素同士は近い値を取る。同様の考え方で、次の疑似生成画素は5つの画素値(A、A、B、B、X)の平均値B’で表示される。以降、B’、B’、C’、C’、D’、D’、…と順に並ぶ。これらの疑似生成画素は横方向の大きさが1/5の縦長画素になる。
図12(e)は可変アスペクト比変換部229で横方向2.5倍に拡大処理415を行った後の画素を例示している。横方向の大きさが1/5の縦長画素A’、A’、B’、B’、C’、C’、…に対して2.5倍で拡大すると、A’、B’、C’、…の正方形画素が並ぶことになり、図11(a)で示した入力画像信号151を疑似的に投影できていることが分かる。つまり、画像表示パネル部123の解像度よりも解像感が改善している。
以上説明したように、拡大倍率に応じて自動的に画素ずらし制御を切り替えることで、可変アスペクト比変換部で所定方向に拡大して投影する場合に、拡大倍率にかかわらず画素ずらし制御によって解像感を改善することができる。
[実施形態3]
本実施形態では、画素ずらし部とアスペクト比変換部をまとめて交換可能なユニットとし、投影光学部を交換可能なユニットとした構成を説明する。
図13は、本実施形態の画像投影装置111の構成および機能の一例を示すブロック図である。
本実施形態の画像投影装置111は、図3の拡大倍率設定部125や図7の拡大倍率判定部225が省略されている。また、本実施形態の画像投影装置111は、交換ユニット630としての画素ずらし部627およびアスペクト比変換部629と、交換ユニット631としての投影光学部628を有する。交換ユニット630、631は、用途に応じてユーザが選択し画像投影装置111に対して着脱可能である。その他の構成や機能は、図3や図5と同様であるので、同様の構成には同一の符号を付して説明は省略する。
交換ユニット630は、画素ずらし部627、アスペクト比変換部629、ROM670を含む。交換ユニット630は、画像投影装置111に装着されると、画素ずらし部627が不図示の電気接点を介して画素ずらし制御部126に接続され、ROM670が不図示の電気接点を介して間引き部124と画素ずらし制御部126に接続される。
画素ずらし部627とアスペクト比変換部629をまとめて1つの交換ユニット630にすることで、画素ずらし部627での画素ずらし制御と、アスペクト比変換部629での拡大処理が1つのユニット内で行われることになる。交換ユニット630は、例えば、ユーザが使用したい拡大倍率の範囲に応じて、拡大倍率が1.0〜2.0倍のレンズ、2.0倍〜3.0倍のレンズのように交換することができる。また、ROM670には、アスペクト比変換部629で現在設定されている倍率設定情報656が書き込まれている。ROM670に書き込まれた倍率設定情報656は、不図示の電気接点を介して間引き部124および画素ずらし制御部126により読み出されて各処理に利用される。
上述した実施形態1、2では横方向にのみ拡大処理を行ったが、本実施形態では横方向と縦方向に拡大処理を行うアスペクト比変換部を有する交換ユニットを適用することもできる。図14は、本実施形態の画素ずらし部とアスペクト比変換部の構成を例示している。画像表示パネル部123において4Kの解像度で輝度変調された光157は、交換ユニット630の画素ずらし部627に入射され、横(H)方向と縦(V)方向に画素をずらした光659となり、アスペクト比変換部629において横(H)方向と縦(V)方向に光学的に拡大された投影画像660となり、交換ユニット631の投影光学部628から投影画像112が出力される。
図15は、本実施形態のアスペクト比変換部による横方向と縦方向の拡大処理における、入力画像の解像度と画素ずらし制御における拡大倍率とパラメータの関係を例示する図である。入力画像の解像度が4K2Kの場合は、横方向と縦方向の拡大倍率はそれぞれ1.0倍であり、画素ずらし制御は行わない。入力画像解像度が6K4Kの場合は、横方向の拡大倍率が1.5倍、縦方向の拡大倍率が2.0倍になる。横方向と縦方向の各拡大倍率における画素ずらし制御パラメータは、実施形態1のパラメータ計算プログラムを用いて求めることができる。横方向と縦方向に拡大可能になることで、例えばプロジェクションマッピングや、壁面への広告表示など、アスペクト比に柔軟さが求められる用途に好適となる。
図13に戻り、交換ユニット631は投影光学部628を含む。例えば、投射されるスクリーン、物体との距離に応じて、短焦点レンズやズームレンズ等を備える投影光学系を含む交換ユニットを選択することができる。
以上説明したように、画素ずらし部627とアスペクト比変換部629を交換可能なユニット630とすることで、ユーザが使用したい拡大倍率の範囲に応じたユニットに交換できる。また、アスペクト比変換部629で所定方向に拡大して投影する場合に、拡大倍率にかかわらず画素ずらし制御によって解像感を改善することができる。
上述した各実施形態では画像投影装置111にアスペクト比変換部129、229、629を設けたが、これを撮像画像100を生成する撮像装置に適用することも可能である。アナモフィックレンズ等を用いて撮像することで、光学的にアスペクト比を変換(圧縮)した画像が撮像される。本実施形態では、画像編集装置102において切り出された入力画像110の解像度等に応じて画素ずらし制御を行っているが、画像撮像時の光学的な圧縮倍率を考慮して画素ずらし制御を行う構成も考えられる。例えば、画像撮像時に1.5倍圧縮するアナモフィックレンズを用いた場合に、同じく1.5倍拡大する画素ずらし制御を行うようにしてもよい。
また、上述した各実施形態では画像投影装置111において画素ずらし制御パラメータを計算し画素ずらし制御を実行しているが、画像編集装置102や他の外部装置から画像投影装置111へ画素ずらし制御パラメータを含む制御コマンドを送信し、制御コマンドに基づいて画像投影装置111が画素ずらし制御を行うようにしてもよい。
[他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102…画像編集装置、111…画像投影装置、123…画像表示パネル部、126…画素ずらし制御部、127、627…画素ずらし部、128、628…投影光学部、129、629…アスペクト比変換部、229可変アスペクト比変換部

Claims (18)

  1. 光源から照射される光を入力画像に応じて変調する画像表示手段と、
    前記画像表示手段により変調された光を投影画像として投影する投影手段と、
    前記投影画像の画素をずらす画素ずらし手段と、
    前記投影画像の所定方向の拡大倍率を変換する変換手段と、を有し、
    前記画素ずらし手段は、前記投影画像の画素を所定の数に分割し、分割した画素に基づいて前記投影画像の画素をずらす画素ずらし制御を行い、
    前記所定の数が前記変換手段における拡大倍率に応じて設定されることを特徴とする投影装置。
  2. 前記所定の数に応じて前記入力画像に対して間引き処理を行う間引き手段をさらに有し、
    前記画素ずらし手段は、前記間引き処理を行った画像に対して前記画素ずらし制御を行うことを特徴とする請求項1に記載の投影装置。
  3. 前記所定の数は前記拡大倍率で割り切れる値であることを特徴とする請求項1または2に記載の投影装置。
  4. 前記拡大倍率は整数ではない値を含むことを特徴とする請求項3に記載の投影装置。
  5. 前記所定の数に基づいて前記画素ずらし手段を制御する制御手段をさらに有することを特徴とする請求項1から4のいずれか1項に記載の投影装置。
  6. 前記制御手段は、前記変換手段における拡大倍率に応じて、前記画素ずらし手段により画素ずらし制御が行われた投影画像を切り替える周波数を設定することを特徴とする請求項5に記載の投影装置。
  7. 前記画素ずらし手段は、外部装置から送信される前記所定の数を含む制御コマンドに基づいて前記画素ずらし制御を行うことを特徴とする請求項1から6のいずれか1項に記載の投影装置。
  8. 前記画素ずらし手段は、前記変換手段が投影画像を拡大する前記所定方向と同じ方向に前記画素ずらし制御を行うことを特徴とする請求項1から7のいずれか1項に記載の投影装置。
  9. 前記変換手段は、前記投影画像における前記所定方向と異なる方向の拡大倍率を変換することを特徴とする請求項8に記載の投影装置。
  10. 前記画素ずらし手段は、前記画像表示手段により変調された光を屈折させて出射する方向をずらす素子を備え、
    前記素子の屈折率を制御することで前記所定の数を変更することを特徴とする請求項1から9のいずれか1項に記載の投影装置。
  11. 前記画素ずらし手段と前記変換手段は1つの交換可能なユニットとして構成されることを特徴とする請求項1から10のいずれか1項に記載の投影装置。
  12. 前記交換可能なユニットは、前記変換手段の拡大倍率に関する情報を記憶する記憶手段を含むことを特徴とする請求項11に記載の投影装置。
  13. 前記投影手段が交換可能なユニットとして構成されることを特徴とする請求項11または12に記載の投影装置。
  14. 前記変換手段の拡大倍率はユーザ設定に応じて設定されることを特徴とする請求項1から13のいずれか1項に記載の投影装置。
  15. 前記変換手段の拡大倍率が可変であり、
    前記拡大倍率は入力画像の解像度に基づいて設定されることを特徴とする請求項1から13のいずれか1項に記載の投影装置。
  16. 光源から照射される光を入力画像に応じて変調する画像表示手段と、前記画像表示手段により変調された光を投影画像として投影する投影手段とを有する投影装置の制御方法であって、
    前記投影画像の画素をずらす画素ずらしステップと、
    前記投影画像の所定方向の拡大倍率を変換する変換ステップと、を有し、
    前記画素ずらしステップでは、前記投影画像の画素を所定の数に分割し、分割した画素に基づいて前記投影画像の画素をずらす画素ずらし制御を行い、
    前記所定の数が前記変換ステップにおける拡大倍率に応じて設定されることを特徴とする制御方法。
  17. 請求項1から15のいずれか1項に記載された投影装置を制御するプログラムであって、
    コンピュータに、前記画素ずらし制御を実行させるためのプログラム。
  18. 請求項17に記載されたプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2017195375A 2017-10-05 2017-10-05 投影装置およびその制御方法、プログラム並びに記憶媒体 Pending JP2019066806A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017195375A JP2019066806A (ja) 2017-10-05 2017-10-05 投影装置およびその制御方法、プログラム並びに記憶媒体
US16/149,390 US20190108779A1 (en) 2017-10-05 2018-10-02 Projection apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017195375A JP2019066806A (ja) 2017-10-05 2017-10-05 投影装置およびその制御方法、プログラム並びに記憶媒体

Publications (1)

Publication Number Publication Date
JP2019066806A true JP2019066806A (ja) 2019-04-25

Family

ID=65993405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017195375A Pending JP2019066806A (ja) 2017-10-05 2017-10-05 投影装置およびその制御方法、プログラム並びに記憶媒体

Country Status (2)

Country Link
US (1) US20190108779A1 (ja)
JP (1) JP2019066806A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11417249B2 (en) 2020-04-28 2022-08-16 Panasonic Intellectual Property Management Co., Ltd. Projection image apparatus and method of controlling the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7182463B2 (en) * 2003-12-23 2007-02-27 3M Innovative Properties Company Pixel-shifting projection lens assembly to provide optical interlacing for increased addressability
TWI257523B (en) * 2004-04-06 2006-07-01 Benq Corp Digital light projector (DLP) and a method of fabricating the same
EP2383695A1 (en) * 2010-04-28 2011-11-02 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Apparent display resolution enhancement for moving images
JP6164820B2 (ja) * 2012-10-11 2017-07-19 キヤノン株式会社 プロジェクタ、その制御方法、及び画像投影システム
JP6233047B2 (ja) * 2014-01-22 2017-11-22 セイコーエプソン株式会社 映像処理回路、映像処理方法、電気光学装置及び電子機器
WO2015118651A1 (ja) * 2014-02-07 2015-08-13 Necディスプレイソリューションズ株式会社 プロジェクタ及び画像表示方法
US10049432B2 (en) * 2014-09-10 2018-08-14 Mitsubishi Electric Corporation Image processing apparatus, image processing method, program and recording medium
JP6508260B2 (ja) * 2017-06-21 2019-05-08 セイコーエプソン株式会社 電気光学装置及び電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11417249B2 (en) 2020-04-28 2022-08-16 Panasonic Intellectual Property Management Co., Ltd. Projection image apparatus and method of controlling the same

Also Published As

Publication number Publication date
US20190108779A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
JP4777675B2 (ja) 画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
US8274531B2 (en) Display apparatus for projecting overlapping windows with light modulation valves
JP6469130B2 (ja) プロジェクタ及び映像表示方法
KR20080022399A (ko) 영상 생성 장치 및 방법
JP2006259689A (ja) 画像表示方法、画像表示装置およびプロジェクタ
JP6794983B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像表示装置
JP2019158959A (ja) 表示装置およびその制御方法
JP2015097350A (ja) 画像処理装置およびマルチプロジェクションシステム
WO2018025474A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109120859B (zh) 一种影像数据处理装置及拍摄设备、显示系统
JP2014187460A (ja) 画像処理装置、プロジェクター及び画像処理方法
US10657622B2 (en) Controlling projected image frame rate in response to determined projection surface curvature
JP2011193332A (ja) プロジェクターおよび映像の投写方法
JP5092207B2 (ja) 画像表示装置及び画像表示方法
JP2019066806A (ja) 投影装置およびその制御方法、プログラム並びに記憶媒体
JP6685264B2 (ja) 投写装置およびその制御方法、投写システム
JP2020071354A (ja) 投影システムおよび投影方法
US10587851B2 (en) Projector and method of controlling projector
JP2019191443A (ja) 投影装置
JP2019032487A (ja) 2重変調方式プロジェクタの制御装置及びそのプログラム、並びに、2重変調方式プロジェクタ
JP5268839B2 (ja) 投写型映像表示装置
Pan et al. An innovative 16-bit projection display based on quaternary hybrid light modulation
JP2022128733A (ja) 情報処理装置及び情報処理システム
JP2019028303A (ja) 輝度調整用信号生成装置およびそのプログラム、ならびに、映像表示装置
JP2019208169A (ja) 投影装置およびその制御方法、プログラム、記憶媒体