JP2015109559A - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
JP2015109559A
JP2015109559A JP2013251393A JP2013251393A JP2015109559A JP 2015109559 A JP2015109559 A JP 2015109559A JP 2013251393 A JP2013251393 A JP 2013251393A JP 2013251393 A JP2013251393 A JP 2013251393A JP 2015109559 A JP2015109559 A JP 2015109559A
Authority
JP
Japan
Prior art keywords
image
projection
unit
projection image
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013251393A
Other languages
English (en)
Other versions
JP2015109559A5 (ja
JP6274839B2 (ja
Inventor
大内 朗弘
Akihiro Ouchi
朗弘 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013251393A priority Critical patent/JP6274839B2/ja
Priority to US14/559,743 priority patent/US9551918B2/en
Publication of JP2015109559A publication Critical patent/JP2015109559A/ja
Priority to US15/379,266 priority patent/US9930306B2/en
Publication of JP2015109559A5 publication Critical patent/JP2015109559A5/ja
Application granted granted Critical
Publication of JP6274839B2 publication Critical patent/JP6274839B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/147Optical correction of image distortions, e.g. keystone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】 投射画像のサイズによっては、投射画像の歪み補正を適切に行えない恐れがあった。
【解決手段】 画像処理装置の状態判定部400は、投射部200による投射画像を解析して所定の座標を検出し(S102)、パターン生成部100は、当該解析結果に応じて、投射部200による投射画像のサイズを変更させ(S104)、歪補正部500は、投射部200による投射画像の解析結果に応じてサイズ変更された投射画像に対する解析結果に基づいて投射部200による投影画像の歪み補正のための制御を行う(S130)。
【選択図】 図1

Description

本発明は、投射型画像表示システムにおける投射画像の歪み補正に関する。
プロジェクタの投射画像の歪み補正について、該投射画像を撮像し、該撮像画像から歪補正パラメータを算出して補正する技術が知られている。
例えば、特許文献1には、プロジェクタによる投射サイズがスクリーンよりも大きい場合に、投射画像のサイズを縮小させて歪み補正を実施することが記載されている。より具体的には、プロジェクタ装置が、投射画像全体の75%サイズの画像と50%サイズの画像を投射し、それぞれの撮像画像を取得することでプロジェクタ装置の投射画像全体の位置を算出し、投射画像の歪み補正を実施することが記載されている。
特許第3996610号公報
しかしながら、投射画像のサイズによっては、投射画像の歪み補正を適切に行えない恐れがあった。
例えば、引用文献1の例において、投射画像全体の75%サイズの画像を投射しても当該投射画像の範囲を特定できない場合、投射画像の歪み補正が適切に行えない恐れがあった。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、投射画像の歪み補正をより効果的に行えるようにすることである。
上記の課題を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。すなわち、投射手段による投射画像を解析する解析手段と、前記解析手段による解析結果に応じて前記投射手段による前記投射画像のサイズを変更する変更手段と、前記解析手段による前記投射画像の解析結果に応じて前記変更手段によりサイズ変更された投射画像に対する前記解析手段による解析結果に応じて、前記投射手段による投射画像の歪み補正のための制御を行なう制御手段とを有する。
本発明によれば、投射画像の歪み補正をより効果的に行えるようになる。
実施形態における投射型画像表示システムのブロック図 実施形態における画像処理装置の動作を説明するためのフローチャート テストパターンの投射状況を説明するための図 最大投射画像サイズの算出方法を説明するための図 実施形態における画像処理装置の動作を説明するためのフローチャート 実施形態におけるテストパターンを説明するための図 実施形態における画像処理装置の動作を説明するためのフローチャート 歪み補正の方法を説明するための図
以下、本発明の実施の形態を図面に基づいて説明する。
<第1の実施形態>
図1は、本発明の実施形態における投射型画像表示システムの構成の一例を示している。本構成において、100はパターン生成部、200は投射部、300は撮像部、400は状態判定部、500は歪補正部、600は映像入力部、700はスクリーンである。
なお、本実施形態では、パターン生成部100、投射部200、状態判定部400、歪補正部500、映像入力部600を1つの画像処理装置として構成する例を中心に説明するが、この例に限らない。例えば、撮像部300が画像処理装置に組み込まれていてもよいし、投射部200が画像処理装置とは別体の装置であってもよい。
パターン生成部100で生成されたテストパターンは、投射部200によりスクリーン700上に投射される。なお、図1では、パターン生成部100により生成されたテストパターンが歪補正部500で必要な歪み補正が行われてから投射されるように構成しているが、これに限るものではない。例えば、パターン生成部100は、歪補正部500と投射部200との間に配置するように構成しても良い。また、パターン生成部100は、予め記憶されたテストパターンを読み出すようにしてもよい。また、本実施形態では、投射画像の歪み補正のためにテストパターンを投射させる例を中心に説明しているが、この例に限らない。例えば、テストパターンではない任意の投射画像に基づいて歪み補正が行われるようにすることも可能である。映像入力部600は、外部からの映像信号を入力するために動作する。映像入力部600は、例えば、PC等から映像信号を入力することも可能であるし、インターネット等に接続して映像信号を取得することも可能である。
撮像部300は、投射部200により画像(テストパターン)が投射された状態のスクリーン700を撮像し、撮像画像を状態判定部400に渡す。
状態判定部400は、撮像部300から取得した撮像画像からテストパターンの頂点を検出する。そして、状態判定部400は、テストパターンから頂点を検出できた場合は、検出された頂点の位置情報を歪補正部500に渡し、テストパターンから頂点を検出できなかった場合は、パターン生成部100に頂点を検出できなかったことを通知する。本実施形態のパターン生成部100は、頂点を検出できなかったことを示す通知を受けると、テストパターンの投射サイズを縮小する。
歪補正部500は、状態判定部400から通知された頂点の位置情報に基づいて、投射画像の歪み補正のための補正量を決定し、投射部200を制御する。歪補正部500の処理の詳細は後述する。
本実施形態における画像処理装置の動作を図2のフローチャートを用いて説明する。なお、本実施形態の画像処理装置は、不図示のCPUを備えており、図2の処理を実行するために必要なプログラムを不図示のメモリから読み出して実行することにより、図2の各処理を実現する。
ステップS100において、状態判定部400は縮小回数初期値RSを1に初期化する。次に、ステップS101において、パターン生成部100は、投射部200の表示領域の100%のサイズのテストパターンを生成する。そして、生成されたテストパターンは投射部200により投射される。
ステップS102において、撮像部300は、テストパターンが投射された状態のスクリーン700を撮像する。そしてステップS103において、状態判定部400は、撮像部300による撮像画像からテストパターンの頂点を検出する。なお、本実施形態では、矩形のテストパターンが投射され、状態判定部400が矩形の4つの頂点を検出する例を中心に説明するが、テストパターンの形状や検出される頂点の数は上記の例に限らない。また、検出対象は、頂点でなくても、テストパターンが投射されている領域と投射されていない領域の境界が識別できればよい。すなわち、状態判定部400は、撮像部300による撮像画像(テストパターン)を解析し、所定の座標(例えば、投射画像の頂点に対応する座標)を検出する。
状態判定部400はステップS103において、テストパターンの4つの頂点が全て検出されるか否かで投射状態を判定する。4つの頂点がすべて検出された場合はステップS110に進み、4つの頂点が検出されなかった場合はステップS104に進む。
なお、本実施形態のパターン生成部100は、頂点を識別可能なテストパターンを生成する。具体的には、パターン生成部100は、例えば頂点のみ輝度と色の少なくとも一方を異ならせたテストパターンを生成する。また、パターン生成部100は、例えば、テストパターン中心を示すパターンが付加されたテストパターン(例えば、4つの頂点の対角線が描かれたテストパターン)を生成することも可能である。このように、頂点を識別可能なテストパターンを生成することで、スクリーン700にテストパターンの投射領域が完全に一致した場合などにおいて頂点の誤判定を防ぐことが可能である。
また、状態判定部400は、スクリーン面上にテストパターンが投射されているか否かをスクリーン700の面上の輝度値で判定可能である。テストパターンの中心を示すパターンがテストパターンに付加される場合、状態判定部400は、投射画像の頂点を結ぶ線分が該パターンの中心を通るか否かによってスクリーン面上にテストパターン全体が投射されているか否かを判定することが可能である。
図3(A)に示すようにスクリーン面701に対して投射画像800がはみ出していた場合、本実施形態の状態判定部400は、投射画像800の頂点A、B、Dを検出できない。
この場合、ステップS104へ進み、状態判定部400は、パターン生成部100に対して、頂点が検出できなかったことを通知する。該通知を受けたパターン生成部100は、テストパターンのサイズを縮小しステップS101へ戻る。
すなわち、パターン生成部100は、ステップS103における解析結果(所定の座標の検出結果)に応じて、ステップS104でテストパターンのサイズを変更する。本実施形態のパターン生成部100は、ステップS104において、縮小前のテストパターンを縦横均等に75%に縮小するが、縮小ステップは任意に決めることが出来る。また、縮小前と縮小後のテストパターンの中心は最大投射画面中心(投射部200が最大サイズで画像を投射した場合の投射画像の中心)と一致しているものとする。状態判定部400がステップS103で、4つの頂点を検出するまでステップS101からステップS104の処理が繰り返される。
ステップS101からステップS104を繰り返した結果、例えば図3(B)に示すようにスクリーン面701上で投射画像802の頂点A、B、C、Dが検出されると、ステップS110に進む。本実施形態では、表示領域のサイズに対して縦横均等に75%に縮小されたテストパターンの投射画像802において、4つの頂点A、B、C、Dが検出されたものとする。
ステップS110において、状態判定部400は、縮小回数初期値RSが0と等しい否かを判定する。本実施形態では、RS=1として初期化されているため、RS≠0であると判定され、ステップS111に進む。ステップS111では、RS=RS−1となり、ステップS112へ進む。
ステップS112では、パターン生成部100が、現在のサイズよりもさらに50%縮小したテストパターンを生成し、ステップS101へ戻る。本実施形態では、表示領域に対して縦横均等に75%に縮小されたサイズ変更後のテストパターンが、さらに縦横均等に50%に縮小されたテストパターンが生成される。
なお、本実施形態ではRSの初期値を1としているが、2以上の値とすることも可能である。パターン生成部100は、4つの頂点が検出されたテストパターンよりもさらに縮小されたテストパターンを、縮小回数初期値RSに応じた数だけ生成する。
本実施形態ではRSの値を1としているので、4つの頂点が検出されたテストパターンよりもさらに50%縮小されたテストパターンが生成され、ステップS120へ進む。なお、例えば、RSの初期値を2にしていれば、4つの頂点が検出されたテストパターンがさらに50%縮小されたテストパターンが生成されると共に、当該50%縮小されたテストパターンがさらに50%縮小されたテストパターンが生成される。そして、撮像部300は、それぞれのテストパターンの撮像画像を状態判定部400へ送る。
ステップS120において、歪補正部500は、4つの頂点が検出された複数のテストパターンの撮像画像から最大投射サイズを特定する。すなわち、歪補正部500は、投射部200がテストパターンを縮小せずに投射した場合の投射画像800のサイズを特定する。
本実施形態において、4つの頂点が検出された2つのテストパターンは、図4に示すように投射部200の表示領域サイズに対して縦横均等に75%(Rate2)に縮小された投射画像802と、それがさらに縦横均等に1/2された投射画像803である。つまり、投射画像803のサイズは、表示領域サイズが縦横均等に37.5%に縮小されたサイズである。本実施形態の歪補正部500は、投射画像802と投射画像803のそれぞれの頂点の位置に基づいて、投射画像800の各頂点の位置を算出する。すなわち、歪補正部500は、所定数(4つ)の頂点が検出されたテストパターンと、当該テストパターンの変更サイズ(Rate)とに基づいて、サイズの変更前の投射画像(投射画像800)の領域を特定する。
例えば、図4において、投射画像800の左上の頂点Aを算出する方法について説明する。テストパターン中心から投射画像803、802、800の左上頂点までの距離をそれぞれLa3、La2、La0とする。
テストパターンの中心から投射画像803、802、800のそれぞれの左上頂点までの距離は線形比例している。例えば、テストパターンの中心から投射画像802の左上頂点までの距離L2は、投射画像802の50%のサイズである投射画像803の左上頂点までの距離L3の2倍である。
つまり、テストパターンの縮小率(Rate)と、テストパターン中心から各投射画像の左上頂点までの距離(La)との関係は、αを定数として次式となる。
La=α*Rate
α=(La2−La3)/(Rate2−Rate3)
従って、テストパターン中心から投射画像800の左上頂点Aまでの距離La0はLa0=100*αとして算出される。歪補正部500は、投射画像800の他の頂点B、C、Dについても同様にテストパターン中心からの距離を算出し、これによって投射画像800のサイズを特定できる。
歪補正部500は、テストパターンの中心から投射画像800の各頂点A、B、C、Dまでの距離から投射画像800の各頂点の位置を特定すると、ステップS130へ進む。ステップS130において、歪補正部500は、ステップS130で特定された投射画像800の各頂点の位置と歪み補正後の目標画像形状との関係から歪補正パラメータを算出する。
より具体的には、図8(C)で示すように投射画像800が歪んで投射されている場合、歪補正部500は、以下のようにして歪補正パラメータを決定する。まず、歪補正部500は、スクリーン面701に投射されている投射画像800の4つの頂点座標A、B、C、Dを、図8(B)に示すように投射部200の表示領域上の座標Ap、Bp、Cp、Dpに変換するための座標変換式を求める。次に、歪補正部500は、スクリーン700上の座標A’、B’、C’、D’から投射部200の表示領域上の座標A’p、B’p、C’p、D’pを求める。そして、歪補正部500は、投射部200の表示領域上の座標Ap、Bp、Cp、Dpと座標A’p、B’p、C’p、D’pの差分から歪補正パラメータを算出する。このようにすることで、図8(C)の投射画像800のような歪んだ投射画像を補正して目標画像形状900のような形状にすることができる。
すなわち、歪補正部500は、スクリーン700上の座標と投射部200の表示領域上の座標との対応付けを行う。そして、歪補正部500は、該対応付けに従って、スクリーン700上の目標画像形状の頂点A’、B’、C’、D’の座標を投射部200の表示領域上の座標A’p、B’p、C’p、D’pに変換する。そして、歪補正部500は、表示領域上の座標Ap、Bp、Cp、Dpと座標A’p、B’p、C’p、D’pとの差分に基づいて歪み補正のための補正量を決定する。なお、歪補正パラメータの決定方法は上記の方法に限らず、公知の種々の方法を用いることが可能である。また、図8(A)は、最大投射サイズでの投射画像800がスクリーン700に収まった場合を示した図である。
以上説明したように、本実施形態の画像処理装置は、投射画像から4つの頂点(所定の座標)が検出されなかった場合は、投射画像のサイズを縮小する。そして、画像処理装置は、縮小後の投射画像から頂点が検出されると、当該検出された頂点の位置を用いて、縮小前の投射画像の頂点の位置を特定し、歪み補正を行う。このようにすることで、例えば投射部200による投射画像サイズがスクリーン700よりも大きい場合であっても、より適切な歪み補正ができるようになる。
なお、本実施形態では、初めに4頂点を検出したテストパターンと更に1回縮小したテストパターンを使用する例を中心に説明したが、歪補正部500は、初めに4頂点を検出したテストパターンのみを使用して歪み補正を行うことも可能である。すなわち、歪補正部500は、最初に4頂点が検出されたテストパターンにおける4頂点と、当該テストパターンの縮小率から、縮小しなかった場合の投射画像800の頂点の位置を特定し、歪補正パラメータを決定することも可能である。
また、3つ以上のテストパターンを使用して歪み補正をすることも可能である。3つ以上のテストパターンを使用する場合、使用するテストパターンの組合せ毎に上記の算出式のαを求め、それを平均することにより誤差を小さくすることができる。また、本実施形態では、テストパターンを白色のベタパターンとして説明したが、これに限るものではない。
また、本実施形態では、スクリーンに対する撮像画像から投射画像を解析する例を中心に説明しているが、この例に限らない。他の方法として、例えば、スクリーン上に設けられた輝度センサーで検出された輝度の情報を画像処理装置が取得して、それを解析することも可能である。
<第2の実施形態>
次に第2の実施形態について、第1の実施形態との差異を中心に説明する。本実施形態が第1の実施形態と大きく異なる点は、最初に縮小されたテストパターンを投射させ、4つの頂点が検出されると当該テストパターンを拡大している点である。なお、投射される画像はテストパターンに限らず、任意の画像データを用いることができる点は、第1の実施形態と同様である。
本実施形態の画像処理装置の動作について、図5のフローチャートを用いて説明する。なお、図2のステップに対応するステップについては、同一のステップ番号としている。本実施形態の画像処理装置は、不図示のCPUを備えており、図5の処理を実行するために必要なプログラムを不図示のメモリから読み出して実行することにより、図5の各処理を実現する。
ステップS200で初期値として拡大回数値KS、縮小率SR、前縮小率ZDB、前拡大率ZUBを設定する。本実施形態例ではKS=10、SR=50%、ZDB=0%、ZUB=100%とする。各パラメータについては後述する。
ステップS101において、パターン生成部100は、初期縮小率SRで縮小されたテストパターンを生成する。そして、投射部200は、ステップS101において、テストパターンを投射する。本実施形態では初期縮小率SR=50%であるため、投射部200の表示領域サイズが縦横均等に50%に縮小されたテストパターンが投射される。
ステップS102において、撮像部300は、テストパターンが投射された状態のスクリーン700を撮像する。そしてステップS103において、状態判定部400は、撮像部300による撮像画像からテストパターンの頂点を検出する。すなわち、状態判定部400は、投射部200による投射画像を解析する。ステップS103で撮像画像から検出される頂点数が4点ではなかった場合、ステップS105へ進む。ステップS105において、パターン生成部100は、テストパターンのサイズを縮小する。具体的には、パターン生成部100は、前縮小率ZDBと現縮小率SRの中間となる縮小率を設定する。図5の処理フローを開始してから最初でステップS105に進んだ場合、前縮小率ZDB=0%、現縮小率SR=50%であるためステップS105における変更後の縮小率SR=25%となる。また、ステップS105において、パターン生成部100は、前縮小率ZDBと現縮小率SRのうち大きい方を前拡大率(ZUB=50%)、小さい方を前縮小率(ZDB=0%)としてステップS101へ進む。
なお、処理フローの途中でステップS105に進み、現縮小率SR=75%で前縮小率ZDB=50%であった場合、縮小率SR=62.5%、前縮小率ZDB=50%、前拡大率ZUB=75%となる。テストパターンの縮小とパラメータのアップデートが完了すると、S101へ進む。
ステップS103において、状態判定部400が撮像画像から4点の頂点を検出した場合、ステップS113へ進む。ステップS113において、状態判定部400は、拡大回数値KSが0であるか否かを判定する。KS≠0の場合、ステップS114でKS=KS−1としてステップS115へ進む。
ステップS115において、パターン生成部100は、前拡大率ZUBと現縮小率SRの中間となる縮小率になるようにテストパターンを拡大する。すなわち、本実施形態のパターン生成部100は、状態判定部400が投射画像の解析によって所定数(4つ)の頂点を検出した場合、投射部200による投射画像を拡大させる。図5の処理フローを開始してからステップS105を経由せずに最初にステップS115に進んだ場合、前拡大率ZUB=100%、現縮小率SR=50%なので縮小率SR=75%となる。
また、前縮大率ZUBと現縮小率SRのうち大きい方を前拡大率(ZUB=100%)、小さい方を前縮小率(ZDB=50%)としてステップS101へ進む。また、例えば、ステップS115に進んだ場合において、現縮小率SR=75%で前拡大率ZUB=100%であった場合、拡大後の縮小率SR=87.5%、前縮小率ZDB=75%、前拡大率ZUB=100%としてステップS101へ進む。
ステップS113で、拡大回数値KS=0となるまでステップS101からステップS113を繰り返してステップS120へ進む。すなわち、本実施形態のパターン生成部100は、第1のサイズのテストパターンの撮像画像から4つの頂点が検出された場合、テストパターンを所定の割合だけ拡大し、当該拡大後の第2のサイズのテストパターンを投射部200に投射させる。そして、パターン生成部100は、拡大後の第2のテストパターンの撮像画像から4つの頂点が検出されなかった場合、第1のテストパターンよりも大きく、第2のテストパターンよりも小さい第3のサイズのテストパターンを生成し、投射させる。
ステップS113において拡大回数値KSが0になったと状態判定部400により判定されると、ステップS120に進む。ステップS120において、歪補正部500は、1つ又は複数のテストパターンの撮像画像のそれぞれから検出された4つの頂点の位置に基づいて投射部200の投射画像の補正量を決定する。
以上説明したように、本実施形態の画像処理装置は、投射画像からの頂点の検出状況に応じて、テストパターンのサイズの縮小/拡大を行う。このようにすることで、投射画像(テストパターン)の全体がスクリーン面に投射されるサイズのうち、できるだけ大きなサイズのテストパターンの頂点の位置に基づいて歪み補正を行うことができる。
<第3の実施形態>
次に第3の実施形態について、第1、及び第2の実施形態との差異を中心に説明する。本実施形態では、投射部200により投射されるテストパターンの内容に特徴がある。
本実施形態で使用されるテストパターンの例を図6に示す。例えば、図6(A)は、中心が一致する複数の矩形で構成されるテストパターンである。図6(B)は、最大投射画像が縦横均一に縮小された矩形を並べたチェッカーパターンである。また、図6(B)でテストパターンの中心を明確にするため、中心の矩形は他の矩形と、例えば、色で識別可能なパターンとしている。すなわち、本実施形態で使用されるテストパターンは、複数の矩形が所定の位置関係で存在する画像である。このようなテストパターンは、中心が明確で、且つ、スクリーン上の画像サイズと、実際の投射画像のサイズとの差分や比率を推定可能なテストパターンである。なお、テストパターンはこれに限らない。
本実施形態の画像処理装置の動作について、図7のフローチャートを用いて説明する。なお、図2のステップに対応するステップについては、同一のステップ番号としている。また、本実施形態の画像処理装置は、不図示のCPUを備えており、図7の処理を実行するために必要なプログラムを不図示のメモリから読み出して実行することにより、図7の各処理を実現する。
ステップS101において、パターン生成部100は、図6(A)に示したようなテストパターンを生成する。そして、投射部200は、生成されたテストパターンを投射する。ステップS102において、撮像部300は、テストパターンが投射された状態のスクリーン700を撮像する。
そしてステップS103において、状態判定部400は、図6(A)に示したテストパターンに含まれる複数の矩形のうち4つの頂点を検出可能な矩形を特定してステップS120へ進む。ステップS120において、歪補正部500は、4つの頂点が検出された矩形に基づいて、最大投射サイズの画像の各頂点を特定する。例えば、図6(A)のテストパターンが投射された場合、歪補正部500は、4つの頂点が検出された各矩形の頂点に基づいて、最も外側の矩形の頂点の位置を特定する。そして、歪補正部500は、ステップS130において、ステップS120で特定された最も外側の矩形の頂点の位置に基づいて、投射部200による投射画像の歪み補正のための補正量(補正パラメータ)を決定する。なお、図6(B)で示したテストパターンを用いた場合も、同様の考え方で補正パラメータを決定することが可能である。
なお、図6(B)に示すようなテストパターンが投射された場合も、状態判定部400は、撮像画像から検出された範囲に基づいて、最大投射サイズの画像の各頂点を特定し、歪み補正のための制御を行なうことが可能である。
以上説明したように、本実施形態の画像処理装置は、中心が明確、且つ、スクリーン上の画像サイズと、実際の投射画像のサイズとの差分や比率を推定可能なテストパターンを投射する。例えば、図6(A)のようなテストパターンを用いれば、スクリーン面に全体が投射されるテストパターンのうち、最も大きなテストパターンを短い時間で見つけることができる。そして、該テストパターンの頂点を用いて歪み補正パラメータを決定することで、テストパターンの投射画像がスクリーンからはみ出すようなことがある場合であっても、より適切な歪み補正ができるようになる。
なお、上記の各実施形態では、投射画像が矩形であり、当該投射画像の4つの頂点を検出する例を中心に説明したが、この例に限らない。

Claims (15)

  1. 投射手段による投射画像を解析する解析手段と、
    前記解析手段による解析結果に応じて前記投射手段による前記投射画像のサイズを変更する変更手段と、
    前記解析手段による前記投射画像の解析結果に応じて前記変更手段によりサイズ変更された投射画像に対する前記解析手段による解析結果に応じて、前記投射手段による投射画像の歪み補正のための制御を行なう制御手段とを有することを特徴とする画像処理装置。
  2. 前記投射手段による投射画像の撮像画像を取得する取得手段を有し、
    前記解析手段は、前記取得手段により取得された前記撮像画像を解析することを特徴とする請求項1に記載の画像処理装置。
  3. 前記解析手段は、前記撮像画像から所定の座標を検出し、
    前記制御手段は、前記サイズ変更された投射画像から前記解析手段により検出された前記所定の座標の位置に基づいて前記投射手段による投射画像の歪み補正のための制御を行なうことを特徴とする請求項2に記載の画像処理装置。
  4. 前記解析手段が前記投射画像から所定数の前記所定の座標を検出しなかった場合、前記変更手段は、前記投射手段による投射画像のサイズを縮小させることを特徴とする請求項3に記載の画像処理装置。
  5. 前記解析手段が前記投射画像から所定数の前記所定の座標を検出した場合、前記変更手段は、前記投射手段による投射画像のサイズを拡大させることを特徴とする請求項3に記載の画像処理装置。
  6. 前記投射手段による投射画像における前記所定の座標と他の座標とでは輝度と色の少なくとも一方が異なることを特徴とする請求項3乃至5のうちいずれか1項に記載の画像処理装置。
  7. 前記所定の座標は、前記撮像画像内における前記投射画像の頂点の座標であることを特徴とする請求項3乃至6のうちいずれか1項に記載の画像処理装置。
  8. 前記変更手段による変更後の投射画像から検出された前記所定の座標の位置と、前記変更手段による投射画像の変更サイズの情報とから、前記変更手段による変更前の前記投射手段による投射画像の領域を特定する特定手段と、
    前記特定手段により特定された前記変更前の投射画像の領域に基づいて、前記投射画像の歪み補正のための補正量を決定する決定手段とを有することを特徴とする請求項4に記載の画像処理装置。
  9. 投射手段による投射画像の撮像画像を取得する取得手段と、
    前記取得手段により取得された前記撮像画像から検出される前記投射画像のパターンから、前記投射画像の歪み補正のための補正量を特定する特定手段と、
    前記特定手段により特定された前記投射画像の補正量を用いて前記投射手段による投射画像の歪み補正のための制御を行なう制御手段とを有することを特徴とする画像処理装置。
  10. 前記投射画像は、複数の矩形が所定の位置関係で存在する画像であり、
    前記特定手段は、前記投射画像の撮像画像から検出された前記矩形の頂点の位置に基づいて、前記投射画像の前記歪み補正のための補正量を特定することを特徴とする請求項9に記載の画像処理装置。
  11. 画像処理装置による画像処理方法であって、
    投射手段による投射画像を解析する解析工程と、
    前記解析工程による解析結果に応じて前記投射手段による前記投射画像のサイズを変更する変更工程と、
    前記解析工程による前記投射画像の解析結果に応じて前記変更工程によりサイズ変更された投射画像に対する前記解析工程による解析結果に応じて、前記投射手段による投射画像の歪み補正のための制御を行なう制御工程とを有することを特徴とする画像処理方法。
  12. 前記解析工程は、前記投射画像の撮像画像から所定の座標を検出し、
    前記制御工程は、前記サイズ変更された投射画像から前記解析工程により検出された前記所定の座標の位置に基づいて前記投射手段による投射画像の歪み補正のための制御を行なうことを特徴とする請求項11に記載の画像処理方法。
  13. 前記解析工程が前記投射画像から所定数の前記所定の座標を検出しなかった場合、前記変更工程は、前記投射手段による投射画像のサイズを縮小させることを特徴とする請求項12に記載の画像処理方法。
  14. 前記変更工程による変更後の投射画像から検出された前記所定の座標の位置と、前記変更手段による投射画像の変更サイズの情報とから、前記変更工程による変更前の前記投射手段による投射画像の領域を特定する特定工程と、
    前記特定工程により特定された前記変更前の投射画像の領域に基づいて、前記投射画像の歪み補正のための補正量を決定する決定工程とを有することを特徴とする請求項13に記載の画像処理装置。
  15. コンピュータを請求項1乃至10のうち何れか1項に記載の画像処理装置として動作させるためのプログラム。
JP2013251393A 2013-12-04 2013-12-04 画像処理装置、画像処理方法 Expired - Fee Related JP6274839B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013251393A JP6274839B2 (ja) 2013-12-04 2013-12-04 画像処理装置、画像処理方法
US14/559,743 US9551918B2 (en) 2013-12-04 2014-12-03 Image processing apparatus, image processing method, and computer-readable storage medium
US15/379,266 US9930306B2 (en) 2013-12-04 2016-12-14 Image processing apparatus, image processing method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013251393A JP6274839B2 (ja) 2013-12-04 2013-12-04 画像処理装置、画像処理方法

Publications (3)

Publication Number Publication Date
JP2015109559A true JP2015109559A (ja) 2015-06-11
JP2015109559A5 JP2015109559A5 (ja) 2017-06-01
JP6274839B2 JP6274839B2 (ja) 2018-02-07

Family

ID=53266400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013251393A Expired - Fee Related JP6274839B2 (ja) 2013-12-04 2013-12-04 画像処理装置、画像処理方法

Country Status (2)

Country Link
US (2) US9551918B2 (ja)
JP (1) JP6274839B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022145544A (ja) * 2021-03-19 2022-10-04 三菱電機株式会社 投影装置、投影方法、及びプログラム
WO2023162688A1 (ja) * 2022-02-28 2023-08-31 富士フイルム株式会社 制御装置、制御方法、及び制御プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3034889B1 (fr) * 2015-04-10 2017-04-28 Cn2P Sas Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras
CN105072430B (zh) * 2015-08-19 2017-10-03 海信集团有限公司 一种调整投影图像的方法和设备
JP6594170B2 (ja) * 2015-11-12 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法、画像投影システムおよびプログラム
US11393366B2 (en) * 2017-07-11 2022-07-19 Hewlett-Packard Development Company, L.P. Projection calibrations
JP2019220887A (ja) * 2018-06-21 2019-12-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7228966B2 (ja) * 2018-06-29 2023-02-27 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005195969A (ja) * 2004-01-08 2005-07-21 Seiko Epson Corp プロジェクタおよびズーム調整方法
JP2008268579A (ja) * 2007-04-20 2008-11-06 Mitsubishi Electric Corp 背面投射型表示装置
JP2009273015A (ja) * 2008-05-09 2009-11-19 Sanyo Electric Co Ltd 投写型映像表示装置
JP2011155412A (ja) * 2010-01-26 2011-08-11 Panasonic Electric Works Co Ltd 投影システムおよび投影システムにおける歪み修正方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3996610B2 (ja) 2002-07-23 2007-10-24 Necディスプレイソリューションズ株式会社 プロジェクタ装置とその画像歪補正方法
EP1385335B1 (en) * 2002-07-23 2009-04-22 NEC Display Solutions, Ltd. Image projector with image-feedback control
JP5266953B2 (ja) * 2008-08-19 2013-08-21 セイコーエプソン株式会社 投写型表示装置および表示方法
CN102365866B (zh) * 2009-03-30 2014-05-21 日本电气株式会社 多投影显示系统和屏幕形成方法
US8727539B2 (en) * 2010-10-28 2014-05-20 Seiko Epson Corporation Projector and method of controlling projector
JP5644461B2 (ja) * 2010-12-14 2014-12-24 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2014056199A (ja) * 2012-09-14 2014-03-27 Hitachi Media Electoronics Co Ltd 走査型投影装置
JP6205777B2 (ja) * 2013-03-22 2017-10-04 カシオ計算機株式会社 投影装置、投影方法、及び投影のためのプログラム
JP6322993B2 (ja) * 2013-12-19 2018-05-16 カシオ計算機株式会社 幾何学補正調整方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005195969A (ja) * 2004-01-08 2005-07-21 Seiko Epson Corp プロジェクタおよびズーム調整方法
JP2008268579A (ja) * 2007-04-20 2008-11-06 Mitsubishi Electric Corp 背面投射型表示装置
JP2009273015A (ja) * 2008-05-09 2009-11-19 Sanyo Electric Co Ltd 投写型映像表示装置
JP2011155412A (ja) * 2010-01-26 2011-08-11 Panasonic Electric Works Co Ltd 投影システムおよび投影システムにおける歪み修正方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022145544A (ja) * 2021-03-19 2022-10-04 三菱電機株式会社 投影装置、投影方法、及びプログラム
JP7173385B2 (ja) 2021-03-19 2022-11-16 三菱電機株式会社 投影装置、投影方法、及びプログラム
WO2023162688A1 (ja) * 2022-02-28 2023-08-31 富士フイルム株式会社 制御装置、制御方法、及び制御プログラム

Also Published As

Publication number Publication date
US9551918B2 (en) 2017-01-24
US9930306B2 (en) 2018-03-27
US20150156467A1 (en) 2015-06-04
JP6274839B2 (ja) 2018-02-07
US20170094237A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
JP6274839B2 (ja) 画像処理装置、画像処理方法
US7911500B2 (en) Image processing device, computer readable recording medium, and image processing method
JP6363863B2 (ja) 情報処理装置および情報処理方法
US9535538B2 (en) System, information processing apparatus, and information processing method
JP6115214B2 (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
JP2015173430A (ja) 投影システム、半導体集積回路、および画像補正方法
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
US10469812B2 (en) Projection display system, information processing apparatus, information processing method, and storage medium therefor
US11025874B2 (en) Image processing apparatus, control method, and non-transitory computer-readable storage medium
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017188046A (ja) 画像処理装置及びその制御方法、画像処理システム
JP2011081775A (ja) 投影画像領域検出装置
US10992913B2 (en) Image processing apparatus, method, and storage medium storing program for transforming distortion of image projected by projection apparatus
US20170142384A1 (en) Image processing apparatus, image processing method, image projection system, and storage medium
JP2018182593A (ja) 画像処理装置、画像処理方法
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP6452361B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2017212638A (ja) 表示装置、表示装置の制御方法、及びプログラム
JP6543067B2 (ja) 投影システム、プロジェクター装置、撮像装置、および、プログラム
US20220262031A1 (en) Information processing apparatus, information processing method, and storage medium
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
WO2018155269A1 (ja) 画像処理装置および方法、並びにプログラム
JP2020122769A (ja) 評価方法、評価プログラム及び情報処理装置
JP2022088887A (ja) 調整方法、計測方法、投写システム、情報処理装置、及びプログラム
JP6307843B2 (ja) 補間方法、プログラムおよび補間装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180109

R151 Written notification of patent or utility model registration

Ref document number: 6274839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees