JP2019009551A - 投影装置およびその制御方法、並びにプログラム - Google Patents

投影装置およびその制御方法、並びにプログラム Download PDF

Info

Publication number
JP2019009551A
JP2019009551A JP2017122214A JP2017122214A JP2019009551A JP 2019009551 A JP2019009551 A JP 2019009551A JP 2017122214 A JP2017122214 A JP 2017122214A JP 2017122214 A JP2017122214 A JP 2017122214A JP 2019009551 A JP2019009551 A JP 2019009551A
Authority
JP
Japan
Prior art keywords
image
projection
osd
unit
superimposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017122214A
Other languages
English (en)
Inventor
伸洋 岡
Nobuhiro Oka
伸洋 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017122214A priority Critical patent/JP2019009551A/ja
Priority to US16/008,551 priority patent/US20180376031A1/en
Publication of JP2019009551A publication Critical patent/JP2019009551A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • B41J29/393Devices for controlling or analysing the entire machine ; Controlling or analysing mechanical parameters involving printing of test patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/027Test patterns and calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】画質向上効果を維持したまま投影装置のOSDを見やすく表示することができる投影装置およびその制御方法、並びにプログラムを提供する。【解決手段】投影装置100は、被観察物である印刷物102に関連した投影画像103を投影面の上にある印刷物102に重畳する。OSD領域にOSDが重畳された投影画像103を印刷物102に重畳して投影する場合、OSD領域には模様色補正を行い、投影画像103の前記OSD領域以外の領域には当該模様色補正を行わない。【選択図】図1

Description

本発明は、投影装置およびその制御方法、並びにプログラムに関し、特に印刷物に投影装置で投影することで印刷物の輝度のダイナミックレンジを向上させる投影装置およびその制御方法、並びにプログラムに関する。
近年、デジタルカメラ等で撮影した被写体の画像を、高いダイナミックレンジを持ったハイダイナミックレンジ画像(以下HDR画像と記す)として取り扱う機会が増えてきている。
HDR画像により人間が実際に被写体を見たときのコントラストを忠実に再現することが出来れば色や階調、質感等の表現力が増すため、その利用が期待されている。
一方で、液晶ディスプレイ、有機EL等の直視型デバイスの表示能力が進化しているとはいえ、その再現範囲は、一般的に1〜1000cd/m程度である。従って、例えば1000cd/mを超えるようなHDR画像をこれらの直視型デバイスで再現するためには、トーンマッピングと呼ばれる階調圧縮処理を施す必要がある。このような場合には、HDR画像が本来持っているダイナミックレンジを十分に表現しきれていないことになる。
広いダイナミックレンジを表現するための技術の一例として、印刷物に投影装置からの投影画像を重畳することで印刷物の輝度のダイナミックレンジ、ひいてはその画質を向上させる技術が提案されている(例えば、特許文献1参照)。
なお、投影装置からの投影画像を印刷物等の被観察物の所望の位置に重畳させるためには、投影装置のレンズシフト位置調整機能やフォーカス調整機能および投影画像の台形補正機能などが一般的に使用される。また、被観察物が所望の見えになるように、投影装置の投影画像の色や輝度を調整することも行われる。
投影装置のユーザは、このような投影装置の様々な機能を制御するために、投影装置からメニューやガイダンス等のOSD(On Screen Display)を投影させ、そのOSDを確認または操作することが一般的である。そのため、OSDを見やすく表示することは投影装置の操作性を向上させるために重要である。
一方で、投影画像を見やすく表示するための技術の一例として、投影装置の投影画像が模様のある投影対象に対して投影された場合に、白均一の投影対象に投影した時と見えを近づけるように投影画像を補正する方法がある。以下、この方法を模様色補正と呼ぶ(例えば、特許文献2参照)。
特開2008−83180号公報 国際公開第05/057941号公報
しかしながら、上記の特許文献1,2に開示された技術では、被観察物の画質向上効果を得るために投影画像を重ねて表示する投影装置において、画質向上効果を維持したまま投影装置から投影されるOSDを見やすく表示することが困難であった。なぜならば、例えば特許文献2の方法を用いて投影画像に対して模様色補正を行うと、投影画像中のOSDの領域に限らず全領域に模様色補正が行われてしまい、被観察物の色や模様が投影画像によって打ち消されてしまうためである。
このような課題を鑑みて本発明は、画質向上効果を維持したまま投影装置のOSDを見やすく表示することができる投影装置およびその制御方法、並びにプログラムを提供することを目的とする。
本発明の請求項1に係る投影装置は、被観察物に関連した投影画像を投影面の上にある前記被観察物に重畳するように投影する投影装置において、前記投影画像にOSDを重畳する重畳手段と、前記OSDが重畳された前記投影画像を前記被観察物に重畳して投影する場合、前記OSDが重畳された領域には模様色補正を行い、前記投影画像の前記OSDが重畳された領域以外の領域には当該模様色補正を行わない補正手段とを備えることを特徴とする。
本発明によれば、画質向上効果を維持したまま投影装置のOSDを見やすく表示することができる。
実施例1に係る投影装置を用いた画像表示システムを説明するための図である。 本発明に係る投影装置のハードウェア構成を示すブロック図である。 実施例1に係る、図2における画像処理部の内部構成を示すブロック図である。 投影装置により実行されるOSD表示処理の手順を示すフローチャートである。 投影装置が印刷物に対してOSDを投影した状態を示す図である。 実施例2に係る複数の投影装置を用いた画像表示システムを説明するための図である。 実施例3に係る、図2における画像処理部140の内部構成を示すブロック図である。
以下、図面を参照して本発明の各実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
なお、各実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、1つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により1つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、CPUがメモリ上に展開したコンピュータプログラムにより実行されても良い。
(実施例1)
図1は、本実施例に係る投影装置100を用いた画像表示システムを説明するための図である。
まず、投影装置100及びプリンタ101に同一の入力画像が入力される。
投影装置100は、上記入力画像に対して所定の画像処理を行って投影画像103を生成した後に、投影面に対して投影画像103を投影する。投影装置100の内部動作の詳細については、後述する。
プリンタ101は、上記入力画像を印刷し、印刷物102を出力する。印刷物102は投影装置100の投影面に配置される。
なお、投影装置100から投影された投影画像103は、投影面に配置された印刷物102に重畳するように投影される。
以上の様に、印刷物102に関連した投影画像103を投影することで、印刷物102の輝度のダイナミックレンジを向上させることができる。
なお、投影画像103は、印刷物102と略同一の画像である必要はなく、例えば入力画像の輝度成分のみが抽出された所謂グレースケールの画像であってもよい。また印刷物102の反射強度を一律に向上させるような、全面が白のパターンからなる画像であってもよい。すなわち、投影画像103を重畳させることにより印刷物102の画質(輝度のダイナミックレンジ)を向上させる画像であればよい。
また、本実施例においては、被観察物は印刷物102であるものとして、印刷物102に対して投影画像103を投影する形態について説明するが、被観察物はこれに限るものではなく、例えば絵画や建物の壁であってもよい。この場合、投影装置100は、例えば被観察物である絵画や建物の壁を撮像して得られた入力画像に基づき投影画像103を生成してよい。
図2は、図1の投影装置100のハードウェア構成を示すブロック図である。
本実施例の投影装置100は、CPU110、ROM111、RAM112、操作部113、画像入力部130、画像処理部140を有する。また、投影装置100は、さらに、液晶制御部150、液晶素子151R,151G,151B、光源制御部160、光源161、色分離部162、色合成部163、光学系制御部170、投影光学系171を有する。また、投影装置100は、さらに、通信部193、撮像部194を有する。
CPU110は、投影装置100全体を制御し、ROM111には、CPU110の処理手順を記述した制御プログラムを保持し、RAM112は、ワークメモリとして一時的に制御プログラムやデータを格納する。また、ROM111には、OSDおよび後述の模様色補正部145が模様色補正のために使用するデータも記録されている。また、CPU110は、通信部193より受信した静止画データや動画データを一時的に記憶し、ROM111に保持されたプログラムを用いて再生することができる。また、RAM112は、撮像部194により得られた画像や映像を一時的に記憶することもできる。
操作部113は、ユーザの指示を受け付け、CPU110に指示信号を送信するものであり、例えば、スイッチやダイヤルなどからなる。また、操作部113は、例えば、リモコンからの信号を受信する信号受信部(赤外線受信部など)で、受信した信号に基づいて所定の指示信号をCPU110に送信するものであってもよい。また、CPU110は、操作部113や、通信部193から入力された制御信号に応じて、投影装置100全体を制御する。
画像入力部130は、(不図示の)外部装置から送信される画像を受信するものである。ここで、外部装置とは、画像出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。
画像処理部140は、画像入力部130から受信した画像にフレーム数、画素数、階調値、画像形状などの変更処理を施して、液晶制御部150に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。なお、画像処理部140は、専用のマイクロプロセッサである必要はなく、例えば、ROM111に記憶されたプログラムによって、CPU110が画像処理部140と同様の処理を実行しても良い。画像処理部140は、フレーム間引き処理、フレーム補間処理、解像度変換(スケーリング)処理、歪み補正処理(キーストン補正処理)、輝度補正処理、色補正処理といった機能を実行することが可能である。また、画像処理部140は、所望のテストパターン画像を生成して液晶制御部150に送信することもできる。また、画像処理部140は、画像入力部130から受信した画像以外にも、CPU110によって再生された画像や映像に対して前述の変更処理を施すこともできる。また、画像処理部140は、画像入力部130から受信した画像信号に対して、予めROM111に記憶されているOSDを重畳して出力することができる。
液晶制御部150は、画像処理部140から出力される画像に基づいて、液晶素子151R,151G,151Bの画素の液晶に印可する電圧を制御して、液晶素子151R,151G,151Bの透過率を調整する。液晶素子151Rは、赤色に対応する液晶素子であって、光源161から出力された光のうち、色分離部162で赤色(R)、緑色(G)、青色(B)に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子151Gは、緑色に対応する液晶素子であって、光源161から出力された光のうち、色分離部162で赤色(R)、緑色(G)、青色(B)に分離された光のうち、緑色の光の透過率を調整する。液晶素子151Bは、青色に対応する液晶素子であって、光源161から出力された光のうち、色分離部162で赤色(R)、緑色(G)、青色(B)に分離された光のうち、青色の光の透過率を調整する。
光源制御部160は、光源161のオン/オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部160は、専用のマイクロプロセッサである必要はなく、例えば、ROM111に記憶されたプログラムによって、CPU110が光源制御部160と同様の処理を実行しても良い。また、光源161は、不図示のスクリーン等の投影面に上記生成された投影画像103を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部162は、光源161から出力された光を、赤色(R)、緑色(G)、青色(B)に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源161として、各色に対応するLED等を使用する場合には、色分離部162は不要である。また、色合成部163は、液晶素子151R,151G,151Bを透過した赤色(R)、緑色(G)、青色(B)の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部163により赤色(R)、緑色(G)、青色(B)の成分を合成した光は、投影光学系171に送られる。このとき、液晶素子151R,151G,151Bは、画像処理部140から入力された画像に対応する光の透過率となるように、液晶制御部150により制御されている。すなわち、色合成部163により合成された光が投影光学系171により投影面に投影されると、画像処理部140により入力された画像に対応する投影画像103がスクリーン上に表示される。
光学系制御部170は、投影光学系171を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部170は、専用のマイクロプロセッサである必要はなく、例えば、ROM111に記憶されたプログラムによって、CPU110が光学系制御部170と同様の処理を実行しても良い。また、投影光学系171は、色合成部163から出力された合成光を投影面に投影するためのものであり、複数のレンズ及びこれらを駆動するためのアクチュエータからなる。投影光学系171において複数のレンズをアクチュエータにより駆動することで、投影画像103の拡大、縮小、焦点調整などを行うことができる。
通信部193は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線LAN、有線LAN、USB、Bluetooth(登録商標)などであってよく、通信方式を特に限定するものではない。また、画像入力部130の端子が、例えばHDMI(登録商標)端子であれば、その端子を介してCEC通信を行うものであっても良い。ここで、外部装置は、投影装置100と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。
撮像部194は、本実施例の投影装置100の周辺の撮像画像を取得するものであり、投影光学系171を介して投影された画像を撮影(投影面方向を撮影)することができる。撮像部194は、得られた撮像画像をCPU110に送信し、CPU110は、その撮像画像を一時的にRAM112に記憶し、ROM111に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部194は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、上記光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をAD変換するAD変換部などを含む。
なお、本実施例の画像処理部140、液晶制御部150、光源制御部160、光学系制御部170は、これらと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ROM111に記憶されたプログラムによって、CPU110が各ブロックと同様の処理を実行しても良い。
データバス199は、投影装置100を構成する各部を接続するバスであり、制御信号やOSD等を通信できる。
次に、図3を用いて、図2における画像処理部140の内部構成について説明する。
画像処理部140は、前処理部141、OSD重畳部142、メモリ制御部143、画像メモリ144、模様色補正部145、パターン生成部146、及び後処理部147からなるブロックにより構成される。画像処理部140を構成するこれらのブロックはそれぞれ、データバス199を介してCPU110、ROM111、RAM112、及び撮像部194と接続されている。
前処理部141は、画像入力部130から入力された画像に対して色空間変換や拡大縮小処理を含む表示レイアウトの変換処理を行い、液晶素子151R,151G,151Bに適した色空間、解像度へ変換する。
OSD重畳部142は、CPU110の指示によって、自身に入力される画像に対して、予めROM111に記憶されているOSDを重畳することができる。
メモリ制御部143は、IP変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ144のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。メモリ制御部143のフレームレート変換処理には、同じ画像を画像メモリ144から2度読み出すことにより実現されるフレームレートの倍速化処理も含まれる。
模様色補正部145は、自身に入力される画像に対して、印刷物102に投影される投影画像103の見えを白均一の投影対象に投影された時と近づけるための模様色補正を行う。ただし、本実施例においては、模様色補正部145は、自身に入力される画像のうちOSDが重畳される領域に対して模様色補正を行うものとする。なお、模様色補正部145の詳細な動作は後述する。
パターン生成部146は、CPU110の指示によって、全面が白や黒、またグラデーション画像といった所望の画像パターンを生成し、後処理部147に出力することができる。
後処理部147は、液晶素子151R,151G,151Bと投影光学系171起因の表示むら(色むら、輝度むら)、ディスクリネーションなどの補正処理を行う。更には、液晶素子151R,151G,151Bの階調性に合わせたガンマ変換などの画像処理を行う。
次に、本発明の投影装置100により実行されるOSD表示処理の手順を図4のフローチャートを用いて説明する。
投影装置100を構成する各部は、操作部113を介して投影装置100の使用者からOSDを表示する指示を受信すると、本フローチャートに記載の動作を実行する。
まず、ステップS101において、CPU110は、パターン生成部146に対して、全面が黒である全黒画像のテストパターンを生成するよう指示する。パターン生成部146は、CPU110からの指示通りに生成した全黒画像のテストパターンを、後処理部147に対して出力する。本テストパターンは、画像処理部140から出力された後、液晶制御部150によって液晶素子151R,151G,151B上に形成され、投影光学系171を介して印刷物102に重畳するよう投影される。
次に、ステップS102において、CPU110は、撮像部194に対して、投影装置100の投影面を撮像するよう指示する。撮像部194は、投影装置100の投影面を撮像し、得られた撮像画像IMG_BをRAM112に記録する。
ステップS103において、CPU110は、パターン生成部146に対して、全面が白である全白画像のテストパターンを生成するよう指示する。パターン生成部146は、CPU110からの指示通りに生成した全白画像のテストパターンを、後処理部147に対して出力する。本テストパターンは、画像処理部140から出力された後、液晶制御部150によって液晶素子151R,151G,151B上に形成され、投影光学系171を介して投影される。
次に、ステップS104において、CPU110は、撮像部194に対して、投影装置100の投影面を撮像するよう指示する。撮像部194は、投影装置100の投影面を撮像し、得られた撮像画像IMG_WをRAM112に記録する。
次に、ステップS105において、CPU110は、撮像画像IMG_B,IMG_Wから、投影装置100の投影画像103が投影面に投影される領域(以下「投影領域」という。)を検出する。具体的には、撮像画像IMG_B,IMG_Wの差分をとり、所定以上の差分のある領域を撮像画像IMG_B,IMG_W中における投影領域と判断する。
次に、ステップS106において、CPU110は、撮像画像IMG_Wに対して射影変換を行い、ステップS105で検出された撮像画像IMG_W中の投影領域が投影画像103と同形状になるように変換した画像IMG_WPを作成する。このように作成されたIMG_WP中には、投影装置100の投影領域における印刷物102の色や模様に関する情報が記録されている。
次に、ステップS107において、CPU110は、OSDを重畳するOSD領域を決定し、OSD重畳部142に対して決定したOSD領域にOSDを重畳するように指示する。OSD重畳部142は、ROM111からOSDを読み出し、自身に入力された画像に対してCPU110より指示されたOSD領域にOSDを重畳する。OSD重畳部142によってOSDが重畳された画像は、メモリ制御部143、画像メモリ144を経由して模様色補正部145に入力される。
次に、ステップS108において、模様色補正部145は、以下の手順にて、印刷物102に投影されるステップS107でOSDが重畳された画像のうち、OSD領域の見えを白均一の投影対象に投影された時と近づけるための模様色補正を行う。ただし、この模様色補正は本実施例で説明する手法に限るものではなく、いかなる公知の手法を用いてもよい。
まず、模様色補正部145は、印刷物102の色や模様が記録されたデータ(本実施例では画像IMG_WP)を基に模様色補正データを生成する。本実施例における模様色補正データとは、補正対象の画素毎のRGBのゲイン値(GAIN_R、GAIN_G、GAIN_B)であるものとする。次に、模様色補正部145は、この模様色補正データを用いて、自身に入力された画像中のOSDが重畳された領域に対して式1〜式3に記載の補正処理を行う。
OUT_R = IN_R × GAIN_R ・・・(式1)
OUT_G = IN_G × GAIN_G ・・・(式2)
OUT_B = IN_B × GAIN_B ・・・(式3)
なお、IN_R、IN_G、IN_Bは、模様色補正部145の入力画像のうち、補正対象の領域(本実施例ではOSDが重畳された領域)の画素のRGBの階調値である。また、OUT_R、OUT_G、OUT_Bは、模様色補正部145の出力画像のうち、補正対象の領域の画素のRGBの階調値である。
以下では、模様色補正部145が、模様色補正データであるRGBのゲイン値(GAIN_R、GAIN_G、GAIN_B)を求める手順の一例について説明する。
ここで、撮像部194が、投影装置100が所定の投影面(全面が白であるものが望ましい)に対して白画像(RGB共に最高階調の画像)を投影した画像を予め撮像した画像の階調値をCamRef_R、CamRef_G、CamRef_Bとする。なお、CamRef_R、CamRef_G、CamRef_Bは、予めROM111に記録されているものとする。
まず、模様色補正部145は、ROM111からCamRef_R、CamRef_G、CamRef_Bを読みだす。
次に、模様色補正部145は、画像IMG_WPの階調値、すなわち、全白画像のテストパターンが投影された印刷物102を撮像部194が撮像して得られた画像の階調値CamP_R、CamP_G、CamP_Bを取得する。
ここで、模様色補正部145が、印刷物102に投影した投影画像103の色の見えを、白均一の投影対象に投影した投影画像の色の見えと近づけるように補正した場合を考える。ここで、CamGoal_R、CamGoal_G、CamGoal_Bを、模様色補正による補正後の投影画像103が印刷物102に重畳して投影された投影面を撮像部194が撮影した画像の階調値とする。
模様色補正部145は、以下の式4〜式6にて定義されるゲイン値、GainCam_R、GainCam_G、GainCam_Bを求める。
CamGoal_R = CamP_R × GainCam_R ・・・(式4)
CamGoal_G = CamP_G × GainCam_G ・・・(式5)
CamGoal_B = CamP_B × GainCam_B ・・・(式6)
なお、CamGoal_R、CamGoal_G、CamGoal_Bの間には、式7に記載の関係が成立する。
CamRef_R:CamRef_G:CamRef_B
= CamGoal_R:CamGoal_G:CamGoal_B ・・・(式7)
なお、GainCam_R、GainCam_G、GainCam_Bの値は、式7の関係を満たせばどのような値であってもよいが、階調値CamP_R、CamP_G、CamP_Bのうち最小値となる色に対応する値を1とすることが望ましい。例えばCamP_R>CamP_G>CamP_Bのときは、GainCam_B = 1とすることが望ましい。このようにすることで、投影画像103を必要以上に暗くすることなく模様色補正を行うことができる。
ここで、印刷物102の模様色の見えを軽減するように模様色補正が行われた投影画像103を、仮に所定の投影面(全面が白であるものが望ましい)に投影したとする。そして、その投影面を撮像部194が撮像したとすると、撮像画像の階調値CamRefComp_R、CamRefComp_G、CamRefComp_Bには、式8〜式10に記載の関係が成立する。
CamRef_Comp_R = CamRef_R × GainCam_R ・・・(式8)
CamRef_Comp_G = CamRef_G × GainCam_G ・・・(式9)
CamRef_Comp_B = CamRef_B × GainCam_B ・・・(式10)
模様色補正部145は、CamRef_Comp_R、CamRef_Comp_G、CamRef_Comp_Bを式8〜式10に基づいて計算する。
次に、模様色補正部145は、式11〜式13に従い、IMG_Comp_R、IMG_Comp_G、IMG_Comp_Bを求める。
なお、IMG_Comp_R、IMG_Comp_G、IMG_Comp_Bは、投影画像103が投影されている投影面を撮像部194が撮像した画像の階調値がCamRef_Rであるときの、模様色補正部145からの出力画像の画素値である。また、GainRef_R、GainRef_G、GainRef_Bは、所定の投影面(全面が白であるものが望ましい)に投影された投影画像103を撮像部194で撮像した画像の階調値と模様色補正部145の出力画像の階調値との関係を表す係数である。GainRef_R、GainRef_G、GainRef_Bは、予めROM111に記録されている。
IMG_Comp_R = GainRef_R × CamRef_Comp_R・・・(式11)
IMG_Comp_G = GainRef_G × CamRef_Comp_G・・・(式12)
IMG_Comp_B = GainRef_B × CamRef_Comp_B・・・(式13)
次に、模様色補正部145は、式14〜式16に基づき、GAIN_R、GAIN_G、GAIN_Bを計算する。なお、IMG_MAXは模様色補正部145に入力される画像の階調値のうち、白画像を表す階調値(RGB共に最大階調)である。
GAIN_R = IMG_Comp_R / IMG_MAX ・・・(式14)
GAIN_G = IMG_Comp_G / IMG_MAX ・・・(式15)
GAIN_B = IMG_Comp_B / IMG_MAX ・・・(式16)
以上が、模様色補正部145が模様色補正データであるRGBのゲイン値GAIN_R、GAIN_G、GAIN_Bを算出するための手順である。
模様色補正部145は、OSDが重畳された領域の各画素に対して以上の工程を繰り返すことで補正対象となる画素毎にRGBのゲイン値を生成し、前述の式1〜式3に基づく補正処理を行う。
次に、ステップS109において、模様色補正部145によって補正処理が行われた画像は、画像処理部140から出力された後、液晶制御部150によって液晶素子151R,151G,151B上に形成され、投影光学系171を介して投影される。
ここで、本実施例における投影装置100が、印刷物102に対してOSD200を投影した際の見えを表した例を図5(a)に示す。投影装置100を構成する各部が、図4のフローチャートに記載の工程に従って動作することで、投影画像103のうちOSDが表示される領域200に対して、被観察物の色や模様を打ち消すように色模様補正が行われる。そのため、OSDに対して色模様補正を行わなかった場合(図5(b)の領域200)と比較して、OSDを見やすく表示することができる。
以上本実施例によれば、被観察物の画質向上効果を得るために投影画像103を被観察物である印刷物102に重ねて表示する投影装置100において、投影画像103のOSD領域にOSDを重畳する場合は、OSD領域にのみ模様色補正を行う。すなわち、かかる場合でも、投影画像103のOSD領域以外の領域は模様色補正を行わないため、画質向上効果を維持したまま投影装置100のOSDを見やすく表示することができる。
なお、ここまでは、投影装置100を構成する各部は、操作部113を介して投影装置100のユーザからOSDを表示する指示を受け付けると、図4のフローチャートに記載の動作を開始するとして説明した。しかしながら、動作開始のタイミングはこれに限るものでもない。例えば、ユーザが投影装置100の設置を完了し、印刷物102と投影画像103の位置合わせが完了した後に、予めステップS101〜S106までの工程を実施しておいてもよい。このようにすると、投影装置100は、操作部113を介して投影装置100のユーザからOSDを表示する指示を受け付けると、ステップS107〜S109の動作のみを行えばよい。
また、ここまで、本実施例における投影装置100は、ステップS108で説明したように、画像IMG_WPに記録されている被観察物である印刷物102の色や模様に関するデータを基に模様色補正を行う例について説明してきた。ただし、この被観察物の色や模様のデータの取得方法はこれに限るものではない。例えば、図1に示す入力画像から被観察物の色や模様のデータを算出するようにしてもよい。また、CPU110は、通信部193を介して外部機器から被観察物の色や模様に関する情報を取得してもよい。
(実施例2)
図6は、本実施例に係る複数の投影装置100A,100Bを用いた画像表示システムを説明するための図である。投影装置100A,100Bの内部構成は、実施例1で説明した投影装置100の内部構成と同じである。
投影装置100A,100Bには、それぞれ同一の入力画像が入力される。投影装置100A,100Bは所定の画像処理を行って投影画像103A,103Bをそれぞれ生成した後に、投影面に対して投影画像103A,103Bが互いに重畳するように投影する。
ここで、本実施例の投影装置100AがOSDを表示する際の各部の動作について説明する。この動作は、実施例1で図4のフローチャートを用いて説明した投影装置100の動作と略同一である。そこで、本実施例では、実施例1で説明した動作との差分のみ説明し、実施例1と同一の動作については重複した説明を省略する。
ステップS101〜S107における投影装置100Aの各部の動作は、実施例1と同様であるため説明は省略する。なお、本実施例における画像表示システムは、ステップS102,S104において、撮像部194による撮像画像IMG_B,IMG_Wには、投影装置100Bの投影画像103Bの色や模様に関する情報が記録されている。
次に、ステップS108において、模様色補正部145は、以下の手順にて投影画像103A中のOSDが表示される領域が投影画像103Bの模様を軽減する模様色補正を行う。ただし、この模様色補正は本実施例で説明する手法に限るものではなく、いかなる公知の手法を用いてもよい。
まず、模様色補正部145は、投影画像103Bの色や模様が記録されたデータ(本実施例では画像IMG_WP)を基に模様色補正データを生成する。本実施例における模様色補正データとは、補正対象の画素毎のRGBのオフセット値(OFFSET_R、OFFSET_G、OFFSET_B)であるものとする。次に、模様色補正部145は、この模様色補正データを用いて、自身に入力された画像中のOSDが重畳された領域に対して式21〜式23に記載の補正処理を行う。
OUT_R = IN_R − OFFSET_R ・・・(式21)
OUT_G = IN_G − OFFSET_G ・・・(式22)
OUT_B = IN_B − OFFSET_B ・・・(式23)
なお、IN_R、IN_G、IN_Bは、模様色補正部145の入力画像のうち、補正対象の領域(本実施例ではOSDが重畳された領域)の画素のRGBの階調値である。また、OUT_R、OUT_G、OUT_Bは、模様色補正部145の出力画像のうち、補正対象の領域の画素のRGBの階調値である。
以下では、模様色補正部145が、模様色補正データであるRGBのオフセット値(OFFSET_R、OFFSET_G、OFFSET_B)を求める手順の一例について説明する。
ここで、撮像部194が、投影装置100が所定の投影面(全面が白であるものが望ましい)に対して白画像(RGB共に最高階調の画像)を投影した画像を予め撮像した画像の階調値をCamRef_R、CamRef_G、CamRef_Bとする。なお、CamRef_R、CamRef_G、CamRef_Bは、予めROM111に記録されているものとする。
まず、模様色補正部145は、ROM111からCamRef_R、CamRef_G、CamRef_Bを読みだす。
次に、模様色補正部145は、ステップS106で作成された画像IMG_WPの階調値CamP_R、CamP_G、CamP_Bを取得する。
ここで、模様色補正部145が投影画像103Aを補正することで、投影画像103Bが投影されている投影面に対して投影画像103Aを重畳して投影した際のOSD領域の色の見えを、白均一の投影対象に投影した際の色の見えと近づける。また、撮像部194が模様色補正による補正後の投影画像103Aと投影画像103Bが重畳された状態で投影された投影面を撮影した画像の階調値を、CamGoal_R、CamGoal_G、CamGoal_Bとする。
このとき、模様色補正部145は、以下の式24〜式26にて定義されるオフセット値、OffsetCam_R、OffsetCam_G、OffsetCam_Bを求める。
CamGoal_R = CamP_R − OffsetCam_R ・・・(式24)
CamGoal_G = CamP_G − OffsetCam_G ・・・(式25)
CamGoal_B = CamP_B − OffsetCam_B ・・・(式26)
なお、CamGoal_R、CamGoal_G、CamGoal_Bの間には、式27に記載の関係が成立する。
CamRef_R:CamRef_G:CamRef_B
= CamGoal_R:CamGoal_G:CamGoal_B ・・・(式27)
なお、OffsetCam_R、OffsetCam_G、OffsetCam_Bの値は式27の関係を満たせばどのような値であってもよい。だが、階調値CamP_R、CamP_G、CamP_Bのうち最小値となる色に対応する値を0とすることが望ましい。例えばCamP_R>CamP_G>CamP_Bのときは、OffsetCam_B = 0とすることが望ましい。このようにすることで、投影画像103Aを必要以上に暗くすることなく模様色補正を行うことができる。
次に、模様色補正部145は、式28〜式30に従い、模様色補正部145が模様色補正データであるRGBのオフセット値(OFFSET_R、OFFSET_G、OFFSET_B)を導出する。なお、GainRef_R、GainRef_G、GainRef_Bは、所定の投影面に投影された投影画像103Aを撮像部194で撮像した画像の階調値と模様色補正部145の出力画像の階調値との関係を表す係数である。上記所定の投影面は全面が白であるものが望ましい。また、GainRef_R、GainRef_G、GainRef_Bは、予めROM111に記録されている。
OFFSET_R = OffsetCam_R × GainRef_R・・・(式28)
OFFSET_R = OffsetCam_R × GainRef_R・・・(式29)
OFFSET_R = OffsetCam_R × GainRef_R・・・(式30)
以上が、模様色補正部145が模様色補正データであるRGBのオフセット値(OFFSET_R、OFFSET_G、OFFSET_B)を算出するための手順である。
模様色補正部145は、OSDが重畳された領域の各画素に対して以上の工程を繰り返すことで補正対象となる画素毎にRGBのオフセット値を生成し、更に式21〜式23に基づく補正処理を行う。
(実施例3)
実施例1,2においては、模様色補正部145はOSD重畳部142によってOSDが重畳された画像信号のうち、OSDが重畳された領域に模様色補正を行う動作について説明してきた。
一方、第3の実施例に係る投影装置100Cでは、OSD重畳部142によってOSDが重畳される前に、OSDに対して模様色補正を行う。尚、本実施例の投影装置100Cの画像処理部140Aは図2と略同一のハードウェア構成を有するため、同一の構成には同一の符号を付し、重複した説明は省略する。
図7は、本実施例に係る、図2における画像処理部140Aの内部構成を示した図である。
ROM110に記録されているOSDは、まず模様色補正部145に入力される。模様色補正部145は、自身に入力されるOSDに対して前述の模様色補正を行いOSD重畳部142に送信する。OSD重畳部142は、模様色補正が行われたOSDを自身に入力された入力画像に重畳し、重畳後の画像を出力する。
(その他の実施例)
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ(またはCPUやMPU)は、記憶媒体に格納されたプログラムコードを読み出し実行する。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、上述のプログラムコードの指示に基づき、装置上で稼動しているOS(基本システムやオペレーティングシステム)などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行う。
100 投影装置
101 プリンタ
130 画像入力部
140 画像処理部
141 前処理部
142 OSD重畳部
143 メモリ制御部
145 模様色補正部
146 パターン生成部
147 後処理部
194 撮像部

Claims (13)

  1. 被観察物に関連した投影画像を投影面の上にある前記被観察物に重畳するように投影する投影装置において、
    前記投影画像にOSDを重畳する重畳手段と、
    前記OSDが重畳された前記投影画像を前記被観察物に重畳して投影する場合、前記OSDが重畳された領域には模様色補正を行い、前記投影画像の前記OSDが重畳された領域以外の領域には当該模様色補正を行わない補正手段とを備えることを特徴とする投影装置。
  2. 前記模様色補正は、前記OSDが重畳された領域の見えを白均一の投影対象に投影された時と近づけるための補正であることを特徴とする請求項1記載の投影装置。
  3. 前記補正手段は、前記重畳手段により前記OSDが前記投影画像に重畳された後に前記模様色補正を行うことを特徴とする請求項1又は2記載の投影装置。
  4. 前記重畳手段は、前記補正手段により前記模様色補正が行われた後に前記OSDを前記投影画像に重畳することを特徴とする請求項1又は2記載の投影装置。
  5. 前記投影画像は、前記投影面の上にある前記被観察物の輝度のダイナミックレンジを向上させる画像であることを特徴とする請求項1乃至4のいずれか1項に記載の投影装置。
  6. 前記投影画像とは、前記投影面の上にある前記被観察物の反射強度を一律に向上させる画像であることを特徴とする請求項5記載の投影装置。
  7. 前記補正手段は、
    前記OSDが重畳された領域における画素の階調値を取得する取得手段と、
    前記取得した階調値に基づき、前記模様色補正で用いるオフセット値を算出する算出手段とを備えることを特徴とする請求項1乃至6のいずれか1項に記載の投影装置。
  8. 前記取得手段は、前記投影面の上にある前記被観察物の撮像画像から取得した前記被観察物の色や模様のデータに基づき前記階調値を取得することを特徴とする請求項7記載の投影装置。
  9. 前記取得手段は、前記被観察物の色や模様のデータを外部機器から取得することを特徴とする請求項7記載の投影装置。
  10. 前記被観察物は、前記投影面の上に投影される他の投影装置からの投影画像であることを特徴とする請求項1乃至9のいずれか1項に記載の投影装置。
  11. 前記被観察物としての印刷物を出力するための画像を入力し、前記投影画像を生成する生成手段をさらに備え
    前記取得手段は、前記画像から取得した前記被観察物の色や模様のデータに基づき前記階調値を取得することを特徴とする請求項7記載の投影装置。
  12. 被観察物に関連した投影画像を投影面の上にある前記被観察物に重畳するように投影する投影装置の制御方法において、
    前記投影画像にOSDを重畳する重畳ステップと、
    前記OSDが重畳された前記投影画像を前記被観察物に重畳して投影する場合、前記OSDが重畳された領域には模様色補正を行い、前記投影画像の前記OSDが重畳された領域以外の領域には当該模様色補正を行わない補正ステップとを有することを特徴とする制御方法。
  13. 請求項12記載の制御方法を実行することを特徴とするプログラム。
JP2017122214A 2017-06-22 2017-06-22 投影装置およびその制御方法、並びにプログラム Pending JP2019009551A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017122214A JP2019009551A (ja) 2017-06-22 2017-06-22 投影装置およびその制御方法、並びにプログラム
US16/008,551 US20180376031A1 (en) 2017-06-22 2018-06-14 Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017122214A JP2019009551A (ja) 2017-06-22 2017-06-22 投影装置およびその制御方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2019009551A true JP2019009551A (ja) 2019-01-17

Family

ID=64693754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017122214A Pending JP2019009551A (ja) 2017-06-22 2017-06-22 投影装置およびその制御方法、並びにプログラム

Country Status (2)

Country Link
US (1) US20180376031A1 (ja)
JP (1) JP2019009551A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7052779B2 (ja) * 2019-07-30 2022-04-12 セイコーエプソン株式会社 画像投射システムの制御方法、及び画像投射システム

Also Published As

Publication number Publication date
US20180376031A1 (en) 2018-12-27

Similar Documents

Publication Publication Date Title
US10440337B2 (en) Projection apparatus, information processing apparatus, and control methods thereof
JP6317577B2 (ja) 映像信号処理装置及びその制御方法
JP2017181668A (ja) 投影装置およびその制御方法
JP2007081685A (ja) 画像信号処理装置、画像信号処理方法及び画像信号処理システム
JP2017147634A (ja) 投影装置、投影方法及び投影システム
JP6700731B2 (ja) 投影装置および投影システム
JP6794092B2 (ja) 表示装置
JP2018159838A (ja) 画像投影装置とその制御方法、プログラム及び記憶媒体
JP2019009551A (ja) 投影装置およびその制御方法、並びにプログラム
JP6700955B2 (ja) 投影装置及び投影方法
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP2017129704A (ja) 表示装置、プロジェクター、及び、表示装置の制御方法
JP2019134206A (ja) 投影装置および投影装置の制御方法
JP2020072357A (ja) 投影装置および投影方法
JP2019114887A (ja) 投射型画像表示装置およびその制御方法
JP2020071354A (ja) 投影システムおよび投影方法
JP2014142466A (ja) 投影装置及びその制御方法、プログラム、並びに記憶媒体
JP7309352B2 (ja) 電子機器およびその制御方法
JP2014137386A (ja) プロジェクタ、その制御方法、及び画像投影システム
JP2018121194A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6704722B2 (ja) 画像処理装置及び画像処理方法
JP2019109269A (ja) 投影装置および投影装置の較正方法
JP2019015876A (ja) 投影装置、情報処理装置、制御方法、並びにプログラム
JP6562653B2 (ja) 投影装置
JP6210898B2 (ja) 画像処理装置、画像処理方法、プログラム