JP2014171030A - 映像処理装置、プロジェクター、および映像処理方法 - Google Patents

映像処理装置、プロジェクター、および映像処理方法 Download PDF

Info

Publication number
JP2014171030A
JP2014171030A JP2013040867A JP2013040867A JP2014171030A JP 2014171030 A JP2014171030 A JP 2014171030A JP 2013040867 A JP2013040867 A JP 2013040867A JP 2013040867 A JP2013040867 A JP 2013040867A JP 2014171030 A JP2014171030 A JP 2014171030A
Authority
JP
Japan
Prior art keywords
coordinate
unit
coordinates
plane
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013040867A
Other languages
English (en)
Other versions
JP6182907B2 (ja
JP2014171030A5 (ja
Inventor
Manabu Saigo
学 西郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013040867A priority Critical patent/JP6182907B2/ja
Priority to US14/188,126 priority patent/US9373161B2/en
Publication of JP2014171030A publication Critical patent/JP2014171030A/ja
Publication of JP2014171030A5 publication Critical patent/JP2014171030A5/ja
Application granted granted Critical
Publication of JP6182907B2 publication Critical patent/JP6182907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/16Picture reproducers using cathode ray tubes
    • H04N9/28Arrangements for convergence or focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Abstract

【課題】第1平面と第2平面とが交わる部位に投射映像を投影する際に、映像の連続性を保ち、ユーザーの利便性を向上させること。
【解決手段】映像処理装置は、第1平面と第2平面とが所定の角度を有して交わる部位に投影する映像の台形歪みを補正する映像処理装置において、台形歪みを補正するための第1座標変換において参照される第1座標と台形歪みを補正するための第2座標変換において参照される第2座標とを算出する変換部と、変換部が算出した第1座標と第2座標とを合成した合成座標を生成する合成部と、合成部が生成した合成座標を用いて、台形歪みを補正するための座標変換を行う補正部と、を備える。
【選択図】図2

Description

本発明は、映像処理装置、プロジェクター、および映像処理方法に関する。
平面でない投影面(例えば、曲面、凹面、凸面など)に投射映像を投影するプロジェクターがある。例えば、特許文献1に記載の技術は、メモリーがスクリーンの投射面の形状に起因する投射映像の歪みを補正するために予め定められた近似式を保持し、入力手段において近似式のパラメータに数値を入力すると、近似式と数値とに基づいて投射映像の変形後の図形の形状を計算し、該計算によって求められた変形後の図形を用いて投射映像の変形処理を行い、変形処理された投射映像をスクリーンに投影するものである。
特許第3914891号公報
しかしながら、特許文献1に記載の技術は、投射映像のゆがみを補正するために用いる近似式のパラメータをユーザーが設定するものであり、パラメータを正確に設定できない場合、投射映像中に映像の不連続が発生するという欠点があった。このように、第1平面と第2平面とが交わる部位に投射映像を投影する際のユーザーの利便性が十分でないという問題があった。
本発明は上記の点に鑑みてなされたものであり、第1平面と第2平面とが交わる部位に投射映像を投影する際に、映像の連続性を保ち、ユーザーの利便性を向上させることができる映像処理装置、プロジェクター、および映像処理方法を提供することを課題とする。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第1平面と第2平面とが所定の角度を有して交わる部位に投影する映像の台形歪みを補正する映像処理装置において、前記台形歪みを補正するための第1座標変換において参照される第1座標と前記台形歪みを補正するための第2座標変換において参照される第2座標とを算出する変換部と、前記変換部が算出した前記第1座標と前記第2座標とを合成した合成座標を生成する合成部と、前記合成部が生成した前記合成座標を用いて、前記台形歪みを補正するための座標変換を行う補正部と、を備えることを特徴とする映像処理装置である。
この構成により、映像処理装置は、第1平面と第2平面とが交わる部位に映像を投影する際に、台形歪みを補正するための2つの座標変換(第1座標変換および第2座標変換)で参照される座標(第1座標および第2座標)を合成し、合成した座標を用いた座標変換により台形歪みを補正するため、各座標変換の特性を活かした補正を行うことが可能となり、投射映像の連続性を保ち、ユーザーの利便性を向上させることができる。
(2)また、本発明の一態様は、前記第1座標変換は、前記第1平面と前記第2平面との交線において前記映像に不連続が生じ得る変換であり、前記第2座標変換は、前記交線において前記映像に不連続が生じ得ない変換であることを特徴とする映像処理装置である。
この構成により、映像処理装置は、第1平面と第2平面との交線において映像に不連続が生じ得ない第2座標変換で参照される座標を利用するため、投射映像の連続性を保ち、ユーザーの利便性を向上させることができる。
(3)また、本発明の一態様は、前記第1座標変換は、射影変換であり、前記第2座標変換は、一次式の変換であることを特徴とする映像処理装置である。
この構成により、映像処理装置は、補正後の映像に歪み(湾曲)が生じにくい射影変換と、映像に不連続が生じない一次式の変換の双方の特性を活かした補正を行うことが可能となるため、第1平面と第2平面とが交わる部位において映像の連続性を保ち、ユーザーの利便性を向上させることができる。
(4)また、本発明の一態様は、前記合成部は、前記第1座標と、前記第2座標とに重みを付けて合成することを特徴とする映像処理装置である。
この構成により、映像処理装置は、第1座標と第2座標とを適切な配分で合成することができるため、第1平面と第2平面とが交わる部位において映像の連続性を保ち、ユーザーの利便性を向上させることができる。
(5)また、本発明の一態様は、前記合成部は、前記第1平面と前記第2平面との交線に近づくほど前記第2座標の重みが重くなるように前記第1座標と前記第2座標とを合成することを特徴とする映像処理装置である。
この構成により、映像処理装置は、交線においては映像の不連続が抑制され、交線から離れた位置では映像の歪み(湾曲)が抑制された状態で映像の投影が可能になるため、第1平面と第2平面とが交わる部位において映像の連続性を保ち、ユーザーの利便性を向上させることができる。
(6)また、本発明の一態様は、前記合成部は、前記第1座標と、前記第2座標とに、水平方向と垂直方向とで異なる重みを付けて合成することを特徴とする映像処理装置である。
この構成により、映像処理装置は、水平方向と垂直方向のそれぞれに適切な補正を行うことができるため、第1平面と第2平面とが交わる部位において映像の連続性を保ち、ユーザーの利便性を向上させることができる。
(7)また、本発明の一態様は、第1平面と第2平面とが所定の角度を有して交わる部位に投影する映像の台形歪みを補正する映像処理装置を備えるプロジェクターにおいて、前記台形歪みを補正するための第1座標変換において参照される第1座標と前記台形歪みを補正するための第2座標変換において参照される第2座標とを算出する変換部と、前記変換部が算出した前記第1座標と前記第2座標とを合成した合成座標を生成する合成部と、前記合成部が生成した前記合成座標を用いて、前記台形歪みを補正するための座標変換を行う補正部と、前記補正部が前記座標変換を行った映像を投影する投影部と、を備えることを特徴とするプロジェクターである。
この構成により、プロジェクターは、第1平面と第2平面とが交わる部位に映像を投影する際に、台形歪みを補正するための2つの座標変換(第1座標変換および第2座標変換)で参照される座標(第1座標および第2座標)を合成し、合成した座標を用いた座標変換により台形歪みを補正するため、各座標変換の特性を活かした補正を行うことが可能となり、投射映像の連続性を保ち、ユーザーの利便性を向上させることができる。
(8)また、本発明の一態様は、第1平面と第2平面とが所定の角度を有して交わる部位に投影する映像の台形歪みを補正する映像処理方法において、前記台形歪みを補正するための第1座標変換において参照される第1座標と前記台形歪みを補正するための第2座標変換において参照される第2座標とを算出する算出ステップと、前記算出ステップにおいて算出された前記第1座標と前記第2座標とを合成した合成座標を生成する合成ステップと、前記合成ステップにおいて生成された前記合成座標を用いて、前記台形歪みを補正するための座標変換を行う補正ステップと、を有することを特徴とする映像処理方法である。
この構成により、映像処理方法は、第1平面と第2平面とが交わる部位に映像を投影する際に、台形歪みを補正するための2つの座標変換(第1座標変換および第2座標変換)で参照される座標(第1座標および第2座標)を合成し、合成した座標を用いた座標変換により台形歪みを補正するため、各座標変換の特性を活かした補正を行うことが可能となり、投射映像の連続性を保ち、ユーザーの利便性を向上させることができる。
本発明によれば、第1平面と第2平面とが交わる部位に投射映像を投影する際に、映像の連続性を保ち、ユーザーの利便性を向上させることができる。
本発明の実施形態に係る映像処理装置を備えるプロジェクターの使用状況を示す概略図である。 本実施形態に係るプロジェクターの構成の一例を示す概略ブロック図である。 本実施形態に係る画素座標と参照座標との関係を示す説明図である。 本実施形態に係る入力映像および出力映像における頂点の位置座標の一例を示す説明図である。 本実施形態に係る生成部の動作の一例を示すフローチャートである。 本実施形態に係る映像処理装置を備えるプロジェクターの使用状況を示す説明図である。 本実施形態に係る合成部が第1変換と第2変換との座標を合成するときの一例を説明する説明図である。
(実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の実施形態に係る映像処理装置を備えるプロジェクター1の使用状況S1、S2を示す概略図である。
プロジェクター1は、映像形成部としての液晶パネルを備えており、液晶パネル上に形成された映像を外部の投影面に投影する。本実施形態では、プロジェクター1は、第1平面F1と第2平面F2とが所定の角度θで交わる部位に映像を投影する。このような部位に映像を投影する際には、第1平面F1と第2平面F2との交線L1によって映像が2つに分割され、それぞれに台形歪みが生じるため、プロジェクター1は、台形歪みを第1平面F1と第2平面F2との平面ごとに補正する必要がある。本実施形態のプロジェクター1は、分割された各映像の頂点の位置をユーザーに指定させ、指定された頂点の位置に従って各映像を変形させることによって台形歪みを補正する。
プロジェクター1の使用状況S1、S2において、プロジェクター1から投影される映像は、交線L1によって左右に分割されており、左側の第1平面F1に投影されている映像を投射映像G1L、右側の第2平面F2に投影されている映像を投射映像G1Rとする。この場合、ユーザーは、プロジェクター1に台形歪みを補正させるために、投射映像G1Lの4つの頂点と、投射映像G1Rの4つの頂点とを指定する。ただし、交線L1上の頂点である投射映像G1Lにおける右上の頂点と、投射映像G1Rにおける左上の頂点とは共通であり、投射映像G1Lにおける右下の頂点と、投射映像G1Rにおける左下の頂点とは共通である。このため、ユーザーは、6つの頂点を指定すればよい。使用状況S1、S2では、ユーザーによって指定された6つの頂点の位置に基づき、プロジェクター1が射影変換を利用して台形歪みを補正する場合の例を示している。
使用状況S1は、ユーザーが投射映像G1L、G1Rの頂点の位置を正確に指定したときの一例である。第1平面F1に投影される投射映像G1Lと、第2平面F2に投影される投射映像G1Rとは、交線L1上において、投射映像が不連続となることがなく、連続する投射映像となる。このとき、液晶パネル上の映像Pa1は、映像G5L、G5Rを含む映像である。映像G5Lと映像G5Rとは、ユーザーが正確に頂点の位置を指定したため、交線L1上において不連続になることがなく、連続した映像となる。
一方、使用状況S2は、ユーザーが投射映像G1L、G1Rにおける頂点の位置を正確に指定できなかったときの一例である。頂点を正確に指定できない原因としては、プロジェクター1の光学的な歪み、投影面(第1平面F1および第2平面F2)の歪み、目視に起因する誤差などがある。第1平面F1に投影される投射映像G1Lと、第2平面F2に投影される投射映像G1Rとは、交線L1上において不連続になる。このとき、液晶パネル上の映像Pa2は、映像G7L、G7Rを含む映像である。映像G7Lと映像G7Rとは、ユーザーが正確に頂点の位置を指定できなかったため、交線L1上において不連続になる。ここで、液晶パネル上の映像Pa1の映像G3と液晶パネル上の映像Pa2の映像G6とを比較すると、液晶パネル上の映像Pa2における、映像G6は、映像G3に対応する補正形状H1からずれた補正形状となる。
図2は、本実施形態に係るプロジェクター1の構成の一例を示す概略ブロック図である。
プロジェクター1は、操作部11と、生成部12と、入力部13と、補正部14と、投影部15とを含んで構成される。また、生成部12は、算出部121と、変換部122と、合成部123とを含んで構成される。また、算出部121は、第1変換係数算出部1211と、第2変換係数算出部1212とを含んで構成される。また、変換部122は、第1変換部1221と、第2変換部1222とを含んで構成される。また、補正部14は、記憶部141と、座標補間部142と、フレームバッファ143と、画像補間部144とを含んで構成される。プロジェクター1は、その他一般的なプロジェクターの機能を有するが、図示および説明は省略する。
操作部11は、ユーザーからの各種操作を受け付け、各種操作に応じた操作信号を生成部12に出力する。操作部11は、例えば、ユーザーから映像の頂点の位置座標の入力を受け付けると、該位置座標を生成部12に出力する。
生成部12は、操作部11から入力された映像の頂点の位置座標に基づいて、歪み補正形状を指定するための座標テーブルを生成する。生成部12は、生成した座標テーブルを補正部14に出力する。具体的には、入力部13から補正部14に入力される映像を入力映像とし、補正部14から投影部15に出力される補正後の映像、即ち液晶パネル上に形成される映像を出力映像とする場合に、生成部12は、出力映像の画素の位置座標を表す画素座標(i,j)が参照する入力映像の位置座標が表す参照座標(x,y)を、所定の画素間隔で求め、座標テーブルを生成する。
図3は、本実施形態に係る画素座標と参照座標との関係を示す説明図である。
生成部12は、出力映像Pa3の画素の位置座標を表す画素座標(i,j)が参照する入力映像G15の位置座標が表す参照座標(x,y)を、所定の画素間隔で求め、座標テーブルを生成する。例えば、所定の画素間隔が16画素間隔であれば、生成部12は、画素座標(i,j)=(0,0)、(0,16)、・・・、(16,0)、(16,16)・・・が参照する入力映像の参照座標として座標テーブルを生成する。
図2に戻って、入力部13は、プロジェクター1の外部(例えば、パソコン)から映像信号の入力を受け付ける。入力部13は、入力された映像信号を補正部14に出力する。
補正部14は、入力部13から入力された映像信号に対し、生成部12から入力された座標テーブルを参照し、歪み補正を行う。
投影部15は、光源としての放電ランプ、映像形成装置としての液晶パネル、投射光学系としての投影レンズなどを備え、補正部14から入力された補正映像を液晶パネル上に形成し、投射映像として投影面に投影する。なお、投影部15の構成は、上記に限定されず、種々の変形が可能である。例えば、光源として、発光ダイオードや半導体レーザーなどの固体光源を用いてもよいし、映像形成装置として、デジタルミラーデバイスなどを用いてもよい。
図4は、本実施形態に係る入力映像G18および出力映像G19における頂点P0、P1、P2、P3、P4、P5、P0’、P1’、P2’、P3’、P4’、P5’の位置座標の一例を示す説明図である。
入力映像G18における頂点P0の位置座標を(x0,y0)、頂点P1の位置座標を(x1,y1)、頂点P2の位置座標を(x2,y2)、頂点P3の位置座標を(x3,y3)、頂点P4の位置座標を(x4,y4)、頂点P5の位置座標を(x5,y5)、と各々定義する。また出力映像G19における頂点P0’の位置座標を(x0’、y0’)、頂点P1’の位置座標を(x1’、y1’)、頂点P2’の位置座標を(x2’、y2’)、頂点P3’の位置座標を(x3’、y3’)、頂点P4’の位置座標を(x4’、y4’)、頂点P5’の位置座標を(x5’、y5’)、と各々定義する。
ここで、入力映像G18における第1平面と第2平面とが交わる交線は、映像の縦方向(垂直方向、Y軸方向)に平行(x1=x4)とする。
図2に戻って、第1変換係数算出部1211は、出力映像における座標(以下、出力座標と称する。)から入力映像における座標(以下、入力座標と称する。)への第1変換(第1座標変換)の変換係数を算出する。ここで、第1変換とは、例えば、射影変換である。
第1変換として射影変換を用いる場合、図4における頂点P0’、P1’、P4’、P5’で囲まれた(第1平面に投影される)映像の変換に対する第1変換係数をAperL、BperL、CperL、DperL、EperL、FperL、GperL、HperLとし、図4における頂点P1’、P2’、P3’、P4’で囲まれた(第2面に投影される)映像の変換に対する第1変換係数をAperR、BperR、CperR、DperR、EperR、FperR、GperR、HperRとすると、出力座標(x’,y’)から入力座標(x,y)への変換は、次式により定義される。
Figure 2014171030
Figure 2014171030
第1変換係数算出部1211は、式(1)に頂点の位置座標(x0,y0)、(x1,y1)、(x4,y4)、(x5,y5)、(x0’,y0’)、(x1’,y1’)、(x4’,y4’)、(x5’,y5’)を代入し、式(2)に頂点の位置座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x1’,y1’)、(x2’,y2’)、(x3’,y3’)、(x4’,y4’)を代入する。第1変換係数算出部1211は、頂点の位置座標を代入した式(1)、(2)の各々に対して8元連立方程式を計算することで第1変換係数AperL、BperL、CperL、DperL、EperL、FperL、GperL、HperL、および第1変換係数AperR、BperR、CperR、DperR、EperR、GperR、FperR、HperRを算出する。
第2変換係数算出部1212は、入力座標から出力座標への第2変換(第2座標変換)の変換係数を算出する。ここで、第2変換とは、一次式の変換であり、例えば、バイリニア変換やアフィン変換などの一次式を用いた変換である。
第2変換としてバイリニア変換を用いる場合、図4における頂点P0、P1、P4、P5で囲まれた(第1平面に投影される)映像の変換に対する第2変換係数をAbilL、BbilL、CbilL、DbilL、EbilL、FbilL、GbilL、HbilLとし、図4における頂点P1、P2、P3、P4で囲まれた(第2面に投影される)映像の変換に対する第2変換係数をAbilR、BbilR、CbilR、DbilR、EbilR、FbilR、GbilR、HbilRとすると、入力座標(x,y)から出力座標(x’,y’)への変換は、次式により定義される。
Figure 2014171030
Figure 2014171030
第2変換係数算出部1212は、式(3)に頂点の位置座標(x0,y0)、(x1,y1)、(x4,y4)、(x5,y5)、(x0’,y0’)、(x1’,y1’)、(x4’,y4’)、(x5’,y5’)を代入し、式(4)に頂点の位置座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x1’,y1’)、(x2’,y2’)、(x3’,y3’)、(x4’,y4’)を代入する。第2変換係数算出部1212は、頂点の位置座標を代入した式(3)、(4)の各々に対して4元連立方程式を計算することで第2変換係数AbilL、BbilL、CbilL、DbilL、EbilL、FbilL、GbilL、HbilLおよび第2変換係数AbilR、BbilR、CbilR、DbilR、EbilR、FbilR、GbilR、HbilRを算出する。
変換部122は、算出部121が算出した第1変換係数および第2変換係数から出力映像の出力座標(x’,y’)が参照する入力映像の入力座標(x、y)を計算する。
第1変換部1221は、式(1)および式(2)を用いて、座標(xper,yper)を計算する。
第2変換部1222は、式(3)および式(4)を変形した式(5)および式(6)を用いて、座標(xbil,ybil)を計算する。具体的には、第2変換部1222は、式(5)または式(6)を用いて得られた4つの解のうち、得られた解と映像の中心との距離が最も小さい組み合わせを座標(xbil,ybil)として計算する。
Figure 2014171030
Figure 2014171030
ここで、式(5)は、図4における頂点P0、P1、P4、P5で囲まれた(第1平面に投影される)映像に対する第2変換式であり、式(6)は、図4における頂点P1、P2、P3、P4で囲まれた(第2面に投影される)映像に対する第2変換式である。
合成部123は、変換部122が計算した座標(xper,yper)および座標(xbil,ybil)を合成する。具体的には、第1平面と第2平面とが交わる交線に近いほど座標(xbil,ybil)の割合を大きく(例えば、100%)し、そこから離れるにしたがって座標(xper,yper)の割合が大きくなるように合成する。合成部123は、例えば、合成後の座標を(xcom,ycom)とすれば、式(7)を用いて座標の合成を行う。
Figure 2014171030
ここで、Wx、Wyは、水平方向(X軸方向)の重み、垂直方向(Y軸方向)の重みを表し、α、βは、第1変換と第2変換とを合成する重みWx、Wyを調整するパラメータである。なお、重みWx、Wyを調整するパラメータは、互いに異なる値が好ましいが、同じ値であってもよい。
生成部12は、画素座標が参照する参照座標を(x’,y’)=(i,j)として座標テーブルを生成する。生成部12は、生成した座標テーブルを記憶部141に記憶させる。
なお、本実施形態において交線がY軸方向に平行であるとしたが、交線がX軸方向に平行な場合にも応用可能である。また、交線がX軸方向、Y軸方向のいずれにも平行でない場合(例えば、傾きを持っている場合)、合成部123は、第1平面と第2平面との交線を式(8)と表し、式(9)を用いることで、座標の合成を行ってもよい。
Figure 2014171030
Figure 2014171030
記憶部141は、生成部12が生成した座標テーブルを記憶する。
座標補間部142は、記憶部141から座標テーブルを読み出し、読み出した座標テーブルを参照し、座標テーブルにない画素座標の参照座標を、例えば、線形補間を用いて補間する。座標補間部142は、補間した座標テーブルを画像補間部144に出力する。
フレームバッファ143は、入力部13から入力された映像信号の例えば、1フレーム分を一時記憶する。
画像補間部144は、座標補間部142から座標テーブルが入力されると、該座標テーブルを参照し、参照座標の画素値を、例えば、画素補間フィルターでフレームバッファ143から読み出した映像信号に対して補間することで補正映像を生成する。画像補間部144は、生成した補正映像を投影部15に出力する。
図5は、本実施形態に係る生成部12の動作の一例を示すフローチャートである。
ステップST101において、第1変換係数算出部1211は、出力座標から入力座標への第1変換の変換係数を算出する。
ステップST102において、第1変換係数算出部1212は、入力座標から出力座標への第2変換の変換係数を算出する。
ステップST103において、変換部122は、算出部121が算出した第1変換係数および第2変換係数から出力映像の出力座標(x’,y’)が参照する入力映像の入力座標(x、y)、すなわち座標(xper,yper)および座標(xbil,ybil)を計算する。
ステップST104において、合成部123は、変換部122が計算した座標(xper,yper)および座標(xbil,ybil)を合成する。
ステップST105において、座標テーブルに必要なすべての画素について処理(座標の計算・合成)が終了したか否かを判定する。すべての画素の処理が終了していない場合、ステップST103に戻る。一方、すべての画素の処理が終了した場合、生成部12は、生成した座標テーブルを記憶部141に記憶させる。
図6は、本実施形態に係る映像処理装置を備えるプロジェクター1の使用状況S3、S4を示す説明図である。
プロジェクター1が投射する入力映像G20は、例えば、直線G21、G22と円とを含む映像である。
プロジェクター1の使用状況S3において、プロジェクター1は、第1平面F1と第2平面F2とが所定の角度θで交わる部位に投射映像G23を投影する。使用状況S3は、例えば、入力映像G20に対し、第2変換のみを用いて歪み補正を行ったときの投射映像G23を示している。第1平面F1および第2平面F2に投影される投射映像G23は、該投射映像中に映像の不連続が生じることはないが、入力映像G20の直線G21、G22に対して歪み(たわみ)が生じた湾曲した線G24、G25となる。このとき、プロジェクター1が投影面に投影する液晶パネル上の映像Pa5においても、入力映像G20の直線G21、G22に対して歪み(たわみ)が生じた湾曲した線G27、G28となる。
一方、プロジェクター1の使用状況S4において、プロジェクター1は、第1平面F1と第2平面F2とが所定の角度θで交わる部位に投射映像G29を投影する。使用状況S4は、例えば、入力映像G20に対し、第1変換のみを用いて歪み補正を行ったときの投射映像G29を示している。ユーザーが投射映像G29における頂点の位置座標を正確に設定することにより、第1平面F1および第2平面F2に投影される投射映像G29は、該投射映像中に映像の不連続が生じることはなく、入力映像G20の直線G21、G22に対しても歪み(たわみ)が生じることがない線G30、G31となる。このとき、プロジェクター1が投影面に投影する液晶パネル上の映像Pa6においても、入力映像G20の直線G21、G22に対して歪み(たわみ)が生じることがない線G33、G34となる。しかしながら、ユーザーが頂点の位置座標を正確に入力するのは困難であり、正確に頂点の位置座標を設定できない場合は、図1における使用状況S2に示した投射映像のように、投射映像中に映像の不連続が生じてしまう。
図7は、本実施形態に係る合成部123が第1変換と第2変換との座標を合成するときの一例を説明する説明図である。
合成部123は、第1平面と第2平面とが所定の角度θで交わる部位に投影する投射映像を、第1変換を用いた変換座標と、第2変換を用いた変換座標とを重みWxおよび重みWyをつけて合成する。
第1平面と第2平面との交線L2上の座標において、合成部123は、第2変換による変換座標が例えば、第2変換の影響が100%となる重みをつけて座標を合成する。また、補正形状の左辺Lと右辺Rにおいて、合成部123は、第1変換による変換座標が例えば、第1変換の影響が100%となる重みをつけて座標を合成する。左辺Lおよび右辺Rと交線L2との間においては、合成部123は、左辺Lおよび右辺Rから交線L2に近づくほど、第2変換の重みが重くなるように重みを変化させて座標を合成する。
なお、上述した実施形態において、頂点の位置座標をユーザーが入力するとしたが、3次元オブジェクトを用いて自動で頂点の位置座標または交線を設定してもよい。また、本実施形態において、第1平面と第2平面とが凹状に交わる部位にプロジェクター1が映像を投影すると説明したが、本発明はこれに限定されず、第1平面と第2平面とが凸状に交わる部位にプロジェクター1が映像を投影するようにしてもよい。これにより、2つの平面が凸状に交わる部位に映像を投影する場合においても2つの面が凹状に交わる部位に映像を投影する場合と同様の効果を得ることができる。
このように、本実施形態によれば、映像処理装置は、第1平面と第2平面とが所定の角度を有して交わる部位に投影する映像の台形歪みを補正する映像処理装置において、台形歪みを補正するための第1座標変換において参照される第1座標と台形歪みを補正するための第2座標変換において参照される第2座標とを算出する変換部122と、変換部122が算出した第1座標と第2座標とを合成した合成座標を生成する合成部123と、合成部123が生成した合成座標を用いて、台形歪みを補正するための座標変換を行う補正部14と、を備える。
これにより、第1平面と第2平面とが交わる部位に映像を投影する際に、台形歪みを補正するための2つの座標変換(第1座標変換および第2座標変換)で参照される座標(第1座標および第2座標)を合成し、合成した座標を用いた座標変換により台形歪みを補正するため、各座標変換の特性を活かした補正を行うことが可能となり、投射映像の連続性を保ち、ユーザーの利便性を向上させることができる。
なお、上述した実施形態における映像処理装置、プロジェクターの一部、または全部をコンピューターで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピューター読み取り可能な記憶媒体に記憶して、この記憶媒体に記憶されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。
なお、ここでいう「コンピューターシステム」とは、映像処理装置、プロジェクターに内蔵されたコンピューターシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記憶媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記憶されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における映像処理装置、プロジェクターの一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。映像処理装置、プロジェクターの各機能ブロックは個別にプロセッサー化してもよいし、一部、または全部を集積してプロセッサー化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサーで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
S1、S2、S3、S4 使用状況
L1、L2 交線
L 左辺
R 右辺
1 プロジェクター
11 操作部
12 生成部
13 入力部
14 補正部
15 投影部
121 算出部
1211 第1変換係数算出部
1212 第2変換係数算出部
122 変換部
1221 第1変換部
1222 第2変換部
123 合成部
141 記憶部
142 座標補間部
143 フレームバッファ
144 画像補間部

Claims (8)

  1. 第1平面と第2平面とが所定の角度を有して交わる部位に投影する映像の台形歪みを補正する映像処理装置において、
    前記台形歪みを補正するための第1座標変換において参照される第1座標と前記台形歪みを補正するための第2座標変換において参照される第2座標とを算出する変換部と、
    前記変換部が算出した前記第1座標と前記第2座標とを合成した合成座標を生成する合成部と、
    前記合成部が生成した前記合成座標を用いて、前記台形歪みを補正するための座標変換を行う補正部と、
    を備えること
    を特徴とする映像処理装置。
  2. 前記第1座標変換は、前記第1平面と前記第2平面との交線において前記映像に不連続が生じ得る変換であり、前記第2座標変換は、前記交線において前記映像に不連続が生じ得ない変換であること
    を特徴とする請求項1に記載の映像処理装置。
  3. 前記第1座標変換は、射影変換であり、前記第2座標変換は、一次式の変換であること
    を特徴とする請求項2に記載の映像処理装置。
  4. 前記合成部は、前記第1座標と、前記第2座標とに重みを付けて合成すること
    を特徴とする請求項1から請求項3のいずれか一項に記載の映像処理装置。
  5. 前記合成部は、前記第1平面と前記第2平面との交線に近づくほど前記第2座標の重みが重くなるように前記第1座標と前記第2座標とを合成すること
    を特徴とする請求項4に記載の映像処理装置。
  6. 前記合成部は、前記第1座標と、前記第2座標とに、水平方向と垂直方向とで異なる重みを付けて合成すること
    を特徴とする請求項4または請求項5に記載の映像処理装置。
  7. 第1平面と第2平面とが所定の角度を有して交わる部位に投影する映像の台形歪みを補正する映像処理装置を備えるプロジェクターにおいて、
    前記台形歪みを補正するための第1座標変換において参照される第1座標と前記台形歪みを補正するための第2座標変換において参照される第2座標とを算出する変換部と、
    前記変換部が算出した前記第1座標と前記第2座標とを合成した合成座標を生成する合成部と、
    前記合成部が生成した前記合成座標を用いて、前記台形歪みを補正するための座標変換を行う補正部と、
    前記補正部が前記座標変換を行った映像を投影する投影部と、
    を備えることを特徴とするプロジェクター。
  8. 第1平面と第2平面とが所定の角度を有して交わる部位に投影する映像の台形歪みを補正する映像処理方法において、
    前記台形歪みを補正するための第1座標変換において参照される第1座標と前記台形歪みを補正するための第2座標変換において参照される第2座標とを算出する算出ステップと、
    前記算出ステップにおいて算出された前記第1座標と前記第2座標とを合成した合成座標を生成する合成ステップと、
    前記合成ステップにおいて生成された前記合成座標を用いて、前記台形歪みを補正するための座標変換を行う補正ステップと、
    を有することを特徴とする映像処理方法。
JP2013040867A 2013-03-01 2013-03-01 映像処理装置、プロジェクター、および映像処理方法 Active JP6182907B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013040867A JP6182907B2 (ja) 2013-03-01 2013-03-01 映像処理装置、プロジェクター、および映像処理方法
US14/188,126 US9373161B2 (en) 2013-03-01 2014-02-24 Image processing device, projector, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013040867A JP6182907B2 (ja) 2013-03-01 2013-03-01 映像処理装置、プロジェクター、および映像処理方法

Publications (3)

Publication Number Publication Date
JP2014171030A true JP2014171030A (ja) 2014-09-18
JP2014171030A5 JP2014171030A5 (ja) 2016-03-31
JP6182907B2 JP6182907B2 (ja) 2017-08-23

Family

ID=51420765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013040867A Active JP6182907B2 (ja) 2013-03-01 2013-03-01 映像処理装置、プロジェクター、および映像処理方法

Country Status (2)

Country Link
US (1) US9373161B2 (ja)
JP (1) JP6182907B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019188121A1 (ja) * 2018-03-27 2019-10-03 ソニー株式会社 画像表示装置
CN114727081A (zh) * 2022-06-09 2022-07-08 深圳新智联软件有限公司 投影仪投影校正方法、装置及投影仪

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049783A (ja) * 2015-09-01 2017-03-09 キヤノン株式会社 画像処理装置及び画像処理方法
CN111639642B (zh) * 2020-05-07 2023-07-07 浙江大华技术股份有限公司 一种图像处理方法、设备及装置
CN114449236B (zh) * 2020-10-30 2024-04-09 扬智科技股份有限公司 投影装置与其投影画面校正方法
CN114286066A (zh) * 2021-12-23 2022-04-05 深圳市火乐科技发展有限公司 投影校正方法、装置、存储介质以及投影设备
CN114449249B (zh) * 2022-01-29 2024-02-09 深圳市火乐科技发展有限公司 图像投影方法、装置、存储介质以及投影设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083949A (ja) * 1999-09-16 2001-03-30 Japan Science & Technology Corp 映像投影装置
JP2001266176A (ja) * 2000-01-14 2001-09-28 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
WO2006077665A1 (ja) * 2005-01-20 2006-07-27 National University Corporation NARA Institute of Science and Technology 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体
JP2007041152A (ja) * 2005-08-01 2007-02-15 Matsushita Electric Works Ltd 配置グリッド生成システム及び配置グリッド生成システムを用いた会場
JP2008287426A (ja) * 2007-05-16 2008-11-27 Mitsubishi Electric Corp 歪み補正装置及びプログラム
JP2009260531A (ja) * 2008-04-15 2009-11-05 Nikon Corp プロジェクタ及びプロジェクションシステム
WO2011051281A1 (de) * 2009-10-28 2011-05-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und vorrichtung zum erzeugen einer kalibrierten projektion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414083B1 (ko) * 1999-12-18 2004-01-07 엘지전자 주식회사 영상왜곡 보정방법 및 이를 이용한 영상표시기기
US6963348B2 (en) * 2002-05-31 2005-11-08 Nvidia Corporation Method and apparatus for display image adjustment
JP3914891B2 (ja) 2003-04-18 2007-05-16 Necビューテクノロジー株式会社 投射映像の幾何学補正における近似式補正方式
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
US20140218695A1 (en) * 2013-02-01 2014-08-07 3M Innovative Properties Company Orthogonally disposed projection surfaces

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083949A (ja) * 1999-09-16 2001-03-30 Japan Science & Technology Corp 映像投影装置
JP2001266176A (ja) * 2000-01-14 2001-09-28 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
WO2006077665A1 (ja) * 2005-01-20 2006-07-27 National University Corporation NARA Institute of Science and Technology 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体
JP2007041152A (ja) * 2005-08-01 2007-02-15 Matsushita Electric Works Ltd 配置グリッド生成システム及び配置グリッド生成システムを用いた会場
JP2008287426A (ja) * 2007-05-16 2008-11-27 Mitsubishi Electric Corp 歪み補正装置及びプログラム
JP2009260531A (ja) * 2008-04-15 2009-11-05 Nikon Corp プロジェクタ及びプロジェクションシステム
WO2011051281A1 (de) * 2009-10-28 2011-05-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und vorrichtung zum erzeugen einer kalibrierten projektion

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019188121A1 (ja) * 2018-03-27 2019-10-03 ソニー株式会社 画像表示装置
US11677915B2 (en) 2018-03-27 2023-06-13 Sony Corporation Image display device
CN114727081A (zh) * 2022-06-09 2022-07-08 深圳新智联软件有限公司 投影仪投影校正方法、装置及投影仪

Also Published As

Publication number Publication date
JP6182907B2 (ja) 2017-08-23
US20140247287A1 (en) 2014-09-04
US9373161B2 (en) 2016-06-21

Similar Documents

Publication Publication Date Title
JP6182907B2 (ja) 映像処理装置、プロジェクター、および映像処理方法
JP4006601B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US8913162B2 (en) Image processing method, image processing apparatus and image capturing apparatus
JP2019120749A (ja) 表示制御装置、画像投影システム、制御方法およびプログラム
US9332238B2 (en) Image processing apparatus and image processing method
JP2009075646A (ja) 映像表示システム及び該システムのパラメータ生成方法
JP6016662B2 (ja) 画像合成装置及び画像合成方法
JP2004320662A (ja) 投射映像の幾何学補正における近似式補正方式
JP2004349979A (ja) 画像処理装置、画像処理方法および画像投射装置
JP2011193332A (ja) プロジェクターおよび映像の投写方法
JP2010252290A (ja) 画像処理装置、画像処理方法及び画像表示装置
JP5787637B2 (ja) 画像処理装置、画像処理方法
JP2015141707A (ja) 画像処理装置、画像処理方法
WO2017154417A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2012230302A (ja) 画像生成装置、投射型画像表示装置、画像表示システム、画像生成方法及びコンピュータプログラム
JP2006129026A (ja) 表示装置および表示方法
WO2020152754A1 (ja) 画像生成装置および画像生成方法
JP6536803B2 (ja) 映像信号処理装置及び投射型表示装置
JP2012168897A (ja) 画像処理装置及びその制御方法、プログラム
JP2005012407A (ja) 画像投射装置および画像処理方法
JP2019106589A (ja) プロジェクター、幾何学歪補正方法およびプログラム
JP2006005549A (ja) 画像投射装置、画像処理装置および画像処理方法
JP6972089B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20040093206A (ko) 화면 왜곡 보정 방법 및 장치
JP2004129212A (ja) 画像投射装置および画像変換方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170710

R150 Certificate of patent or registration of utility model

Ref document number: 6182907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150