JP2016191773A - 投影システム、プロジェクター装置、撮像装置、および、プログラム - Google Patents

投影システム、プロジェクター装置、撮像装置、および、プログラム Download PDF

Info

Publication number
JP2016191773A
JP2016191773A JP2015070677A JP2015070677A JP2016191773A JP 2016191773 A JP2016191773 A JP 2016191773A JP 2015070677 A JP2015070677 A JP 2015070677A JP 2015070677 A JP2015070677 A JP 2015070677A JP 2016191773 A JP2016191773 A JP 2016191773A
Authority
JP
Japan
Prior art keywords
image
value
projection
unit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015070677A
Other languages
English (en)
Other versions
JP6543067B2 (ja
Inventor
橋本 直己
Naoki Hashimoto
直己 橋本
千春 小針
Chiharu Kohari
千春 小針
雄基 原口
Yuki Haraguchi
雄基 原口
史也 新宮
Fumiya Shingu
史也 新宮
基康 田中
Motoyasu Tanaka
基康 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
University of Electro Communications NUC
Original Assignee
MegaChips Corp
University of Electro Communications NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp, University of Electro Communications NUC filed Critical MegaChips Corp
Priority to JP2015070677A priority Critical patent/JP6543067B2/ja
Priority to PCT/JP2016/058679 priority patent/WO2016158490A1/ja
Publication of JP2016191773A publication Critical patent/JP2016191773A/ja
Priority to US15/720,167 priority patent/US9964839B2/en
Application granted granted Critical
Publication of JP6543067B2 publication Critical patent/JP6543067B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/13Projectors for producing special effects at the edges of picture, e.g. blurring
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/08Projecting images onto non-planar surfaces, e.g. geodetic screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312Driving therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Picture Signal Circuits (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】高性能な撮像装置を用いない場合であっても、投影型プロジェクター装置により投影面に投影された画像(映像)の輝度むらや色むらを、適切に低減させる。【解決手段】投影システム1000では、係数設定部1により設定された係数Br(0≦Br≦1)により、投影したときに飽和する画素数を低減させる目標画像を、投影システムの系全体のガンマ特性に基づいて、取得する。そして、投影システム1000では、取得した目標画像に対して、投影システムの系全体のガンマ特性と、ホワイト値とに基づいて、補正処理が実行される。これにより、投影システム1000では、投影される画像の飽和する画素数を低減させるとともに、投影画像を撮像して取得した撮像画像のS/N比が悪い場合等であっても、投影画像を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。【選択図】図1

Description

本発明は、投影型プロジェクター装置で投影される画像(映像)を適切に表示するための技術に関する。
投影型プロジェクター装置により投影面に投影された画像(映像)の輝度むらや色むらを低減する技術が開発されている。
例えば、特許文献1には、投影型プロジェクター装置で映像を投影する場合における画像(映像)を、投影面の反射特性を考慮して補正することで、投影された画像(映像)の輝度むらや色むらを低減する技術が開示されている。
特許文献1の技術では、投影された映像を撮像して得られた撮像映像の画素ごとの各色成分の輝度値を計測し、計測された画素ごとの各色成分の輝度値に基づいて、映像中の基準点の輝度に対する輝度の変化率を示す配光マップを算出する。そして、特許文献1の技術では、計測された画素ごとの各色成分の輝度値を、配光マップを用いて正規化して、応答関数を算出し、入力映像信号の画素ごとの各色成分の輝度値を、応答関数及び配光マップを利用して補正し、補正された映像信号を取得する。そして、特許文献1の技術では、その補正された映像信号を投影面に投影する。
特開2012−28877号公報
上記技術では、精度の高い配光マップ、応答関数を算出するために、投影された映像を、高性能な撮像装置で撮像する必要がある。つまり、上記技術は、撮像感度が良く、S/N比の良い撮像画像(撮像映像)を取得することができる高性能な撮像装置を必要とする。また、上記技術は、投影画像のダイナミックレンジが広いことが前提とされており、高照度のプロジェクター装置が必要とされる。このため、上記技術を、投影画像のダイナミックレンジが狭い低照度のプロジェクター装置に適用するのは困難である。
本発明は、高照度(高輝度)のプロジェクター装置や高性能な撮像装置を用いない場合であっても、投影型プロジェクター装置により投影面に投影された画像(映像)の輝度むらや色むらを、適切に低減させる投影システム、プロジェクター装置、および、プログラムを実現することを目的とする。
上記課題を解決するために、第1の発明は、入力画像に対して、所定の処理を実行した画像を投影する投影システムであって、投影部と、撮像部と、ガンマ特性取得部と、画素対応付け部と、応答特性取得部と、係数設定部と、目標画像取得部と、補正部と、を備える。
投影部は、画像を投影対象に投影する。
撮像部は、投影部により投影された画像を撮像画像として取得する。
ガンマ特性取得部は、投影部の光学系および撮像部の光学系により決定されるガンマ特性を取得する。
画素対応付け部は、投影部から投影される画像である投影画像と、撮像部により取得された撮像画像とに基づいて、撮像画像上の画素と、撮像画像上の当該画素に対応する撮像画像上の画素とを対応付けた画素対応付けデータを取得する。
応答特性取得部は、画素ごとに、投影部により投影されたW100%画像を撮像部で撮像して取得した撮像画像の画素値であるホワイト値と、投影部により投影されたW0%画像を撮像部で撮像して取得した撮像画像の画素値であるブラック値と、取得するとともに、取得したホワイト値から導出される代表値である代表ホワイト値と、取得したブラック値から導出される代表値である代表ブラック値とを取得する。
係数設定部は、第1係数を設定する。
目標画像取得部は、ガンマ特性取得部により取得されたガンマ特性と、第1係数とに基づいて、入力画像から目標画像を取得する。
補正部は、目標画像に対して、ガンマ特性取得部により取得されたガンマ特性と、ホワイト値と、ブラック値とに基づく補正処理を実行することで補正画像を取得する。
そして、目標画像取得部は、投影部が補正画像を投影したときに、撮像部により撮像されると予測される画像において、画素値が飽和する画素が少なくなるように、目標画像を取得する。
この投影システムでは、第1係数により、投影したときに飽和する画素数を低減させる目標画像を、投影システムの系全体のガンマ特性に基づいて、取得する。そして、この投影システムでは、取得した目標画像に対して、投影システムの系全体のガンマ特性と、ホワイト値と、ブラック値とに基づいて、補正処理が実行される。
これにより、この投影システムでは、投影される画像の飽和する画素数を低減させることができるので、系全体のダイナミックレンジが狭い場合であっても、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
したがって、この投影システムでは、高照度(高輝度)のプロジェクター装置や高性能な撮像装置を用いない場合であっても、投影された画像(映像)の輝度むらや色むら等を適切に低減させ、良好な画像(映像)投影処理を実現することができる。
なお、「W100%画像」とは、当該画像を形成する全ての画素の画素値が、画素値の取り得る範囲の上限値である画像のことをいう。例えば、画素値が8ビットデータであり、0〜255の値をとる場合、「W100%画像」の画素の画素値は、「255」である。
「W0%画像」とは、当該画像を形成する全ての画素の画素値が、画素値の取り得る範囲の下限値である画像のことをいう。例えば、画素値が8ビットデータであり、0〜255の値をとる場合、「W0%画像」の画素の画素値は、「0」である。
「目標画像」とは、例えば、入力画像を、投影部の光学系および撮像部の光学系により決定されるガンマ特性に基づいて調整した画像であって、当該画像を形成する画素の画素値が所定の範囲内となるように、ゲイン調整およびオフセット調整がなされた画像である。
第2の発明は、第1の発明であって、入力画像および目標画像がNビット画像(N:自然数)であり、入力画像および目標画像の画素の画素値Pxは、0≦Px≦2^N−1を満たすものとし、第1係数をBrとし、0≦Br≦1を満たすものとし、入力画像の画像上の座標(u,v)の画素値をIu,vとし、目標画像の画像上の座標(u,v)の画素値をTu,vとし、ガンマ特性を決定するガンマ値をγとし、代表ホワイト値をWaveとし、代表ブラック値をBmaxとしたとき、
目標画像取得部は、

または、

により、前記目標画像の画素値Tu,vを取得することで、前記目標画像を取得する。
この投影システムでは、係数Br(0≦Br≦1)により、投影したときに飽和する画素数を低減させる目標画像を、投影システムの系全体のガンマ特性に基づいて、取得する。そして、この投影システムでは、取得した目標画像に対して、投影システムの系全体のガンマ特性と、ホワイト値とに基づいて、補正処理が実行される。
これにより、この投影システムでは、投影される画像の飽和する画素数を低減させることができるので、系全体のダイナミックレンジが狭い場合であっても、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
この投影システムでは、係数Brを調整することで、例えば、投影部から照射される光の輝度(照度)が低い場合であって(例えば、投影部として、低照度(低輝度)のプロジェクター装置を用いた場合であって)、当該投影部からW100%画像を投影した場合において、当該画像の飽和する画素数を低減させることができる。したがって、この投影システムでは、低照度(低輝度)の投影部(例えば、プロジェクター装置)を用いた場合であっても、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
第3の発明は、第2の発明であって、代表ブラック値Bmaxは、「0」である。
これにより、この投影システムでは、代表ブラック値Bmaxを「0」として、目標画像を取得することができる。
第4の発明は、第1から第3のいずれかの発明であって、目標画像、および、補正画像がNビット画像(N:自然数)であり、入力画像および目標画像の画素の画素値Pxは、0≦Px≦2^N−1を満たすものとし、目標画像の画像上の座標(u,v)の画素値をTu,vとし、補正画像の画像上の座標(u,v)の画素値をPu,vとし、ガンマ特性を決定するガンマ値をγとし、投影画像の画素Px(u,v)に対応する撮像画像上の画素Px(x,y)のホワイト値を、値Wu,vとし、投影画像の画素Px(u,v)に対応する撮像画像上の画素Px(x,y)のブラック値を、値Bu,vとし、ブラック値調整用第1係数をk1(0≦k1≦1)とし、ブラック値調整用第2係数をk2(0≦k2≦1)としたとき、
補正部は、

により、前記補正画像の画素値Pu,vを取得することで、前記補正画像を取得する、
この投影システムでは、係数Br(0≦Br≦1)により、投影したときに飽和する画素数を低減させる目標画像を、投影システムの系全体のガンマ特性に基づいて、取得する。そして、この投影システムでは、取得した目標画像に対して、ブラック値調整用第1係数およびブラック値調整用第2係数によりブラック値を調整し、調整したブラック値を用いることで、補正画像を取得する。
これにより、この投影システムでは、投影される画像の飽和する画素数を低減させるとともに、投影画像を撮像して取得される撮像画像のS/N比が悪い場合等であっても、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
また、この投影システムでは、目標画像に対して、ブラック値の値を小さくしたときと同様の処理で、補正画像を取得する。このため、この投影システムでは、補正画像のダイナミックレンジを広くすることができる。その結果、この投影システムでは、例えば、投影部から照射される光の輝度(照度)が低い場合であっても(例えば、投影部として、低照度(低輝度)のプロジェクター装置を用いた場合であっても)、投影画像のダイナミックレンジを広く確保することができ、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
したがって、この投影システムでは、高照度(高輝度)のプロジェクター装置や高性能な撮像装置を用いない場合であっても、投影された画像(映像)の輝度むらや色むら等を適切に低減させ、良好な画像(映像)投影処理を実現することができる。
第5の発明は、第4の発明であって、ブラック値調整用第1係数k1は、「0」であり、ブラック値調整用第2係数k2は、「0」である。
これにより、この投影システムでは、目標画像に対して、ブラック値の値を「0」にしたときと同様の処理で、補正画像を取得する。このため、この投影システムでは、補正画像のダイナミックレンジを広くすることができる。その結果、この投影システムでは、例えば、投影部から照射される光の輝度(照度)が低い場合であっても(例えば、投影部として、低照度(低輝度)のプロジェクター装置を用いた場合であっても)、投影画像のダイナミックレンジを広く確保することができ、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
したがって、この投影システムでは、高照度(高輝度)のプロジェクター装置や高性能な撮像装置を用いない場合であっても、投影された画像(映像)の輝度むらや色むら等を適切に低減させ、良好な画像(映像)投影処理を実現することができる。
第6の発明は、第1から第5のいずれかの発明である投影システムに用いられるプロジェクター装置である。
プロジェクター装置は、投影部と、ガンマ特性取得部と、画素対応付け部と、応答特性取得部と、係数設定部と、目標画像取得部と、補正部と、を備える。
これにより、第1から第5のいずれかの発明である投影システムに用いられるプロジェクター装置を実現することができる。
第7の発明は、第1から第5のいずれかの発明である投影システムに用いられる撮像装置であって、撮像部を備える。
これにより、第1から第5のいずれかの発明である投影システムに用いられる撮像装置を実現することができる。
第8の発明は、投影部と撮像部とを備える投影システムに用いられ、入力画像に対して、所定の処理を実行した画像を投影する投影方法をコンピュータに実行させるためのプログラムである。投影方法は、投影ステップと、撮像ステップと、ガンマ特性取得ステップと、ステップと、画素対応付けステップと、応答特性取得ステップと、係数設定ステップと、目標画像取得ステップと、補正ステップと、を備える。
投影ステップは、画像を投影対象に投影する。
撮像ステップは、投影ステップにより投影された画像を撮像画像として取得する。
ガンマ特性取得ステップは、投影部の光学系および撮像部の光学系により決定されるガンマ特性を取得する。
画素対応付けステップは、投影部から投影される画像である投影画像と、撮像部により取得された撮像画像とに基づいて、撮像画像上の画素と、撮像画像上の当該画素に対応する撮像画像上の画素とを対応付けた画素対応付けデータを取得する。
応答特性取得ステップは、画素ごとに、投影部により投影されたW100%画像を撮像部で撮像して取得した撮像画像の画素値であるホワイト値と、投影部により投影されたW0%画像を撮像部で撮像して取得した撮像画像の画素値であるブラック値と、取得するとともに、取得したホワイト値から導出される代表値である代表ホワイト値と、取得したブラック値から導出される代表値である代表ブラック値とを取得する。
係数設定ステップは、第1係数を設定する。
目標画像取得ステップは、投影部により入力画像を投影した画像を、撮像部により撮像したときに取得されると予測される画像において、画素値が飽和する画素が少なくなるように、ガンマ特性取得ステップにより取得されたガンマ特性と、第1係数とに基づいて、入力画像から目標画像を取得する。
補正ステップは、目標画像に対して、ガンマ特性取得ステップにより取得されたガンマ特性と、ホワイト値と、ブラック値とに基づく補正処理を実行することで補正画像を取得する。
これにより、第1の発明と同様の効果を奏する投影方法をコンピュータに実行させるためのプログラムを実現することができる。
本発明によれば、高照度(高輝度)のプロジェクター装置や高性能な撮像装置を用いない場合であっても、投影型プロジェクター装置により投影面に投影された画像(映像)の輝度むらや色むらを、適切に低減させる投影システム、プロジェクター装置、および、プログラムを実現することができる。
第1実施形態に係る投影システム1000の概略構成図。 投影システム1000の処理を示すフローチャート。 投影システム1000に入力される画像Img0(8ビット画像)の一例を示す図。 投影システム1000で投影する対象(投影対象)の画像を示す図。 図3の画像Img0を、図4の投影対象に、目標画像取得部2での処理、補正部3での処理を実行せずに(そのまま)、投影したときの撮像画像を示す図。 図3の画像Img0を、図4の投影対象に、目標画像取得部2での処理、補正部3での処理を実行して、投影したときの撮像画像を示す図。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:投影システムの構成>
図1は、第1実施形態に係る投影システム1000の概略構成図である。
投影システム1000は、図1に示すように、係数設定部1と、目標画像取得部2と、補正部3と、テスト画像生成部4と、セレクタSEL1と、投影部5と、撮像部6と、ガンマ特性取得部7と、画素対応付け部8と、応答特性取得部9とを備える。
係数設定部1は、係数Brを所定の値に設定し、設定した係数Brを目標画像取得部2に出力する。
目標画像取得部2は、投影システム1000に入力される画像信号Din(画像Img0)と、係数設定部1から出力される係数Brと、ガンマ特性取得部7から出力されるガンマ値γ(ガンマ値に関する情報γ)と、応答特性取得部9から出力される目標画像用ブラック値(例えば、Bmax)および目標画像用ホワイト値(例えば、Wave)に関する情報と、を入力する。目標画像取得部2は、画像信号Din(画像Img0)から、係数Br、ガンマ値γ、目標画像用ブラック値Bmaxおよび目標画像用ホワイト値Waveに基づいて、目標画像Img_Tを生成し、生成した目標画像Img_Tを形成する画像信号を、画像信号D1として、補正部3に出力する。
補正部3は、目標画像取得部2から出力される画像信号D1と、ガンマ特性取得部7から出力されるガンマ値γ(ガンマ値に関する情報γ)と、応答特性取得部9から出力されるホワイト値(画像上の座標(u,v)の画素のホワイト値をWu,vと表記する。)およびブラック値(画像上の座標(u,v)の画素のブラック値をBu,vと表記する。)と、を入力する。補正部3は、ガンマ値γ、応答特性取得部9から出力されるホワイト値、ブラック値を用いて、画像信号D1に対して補正処理を実行する。そして、補正部3は、処理後の画像信号(画像Img_Pを形成する画像信号)を、画像信号D2としてセレクタSEL1に出力する。
テスト画像生成部4は、以下の(1)〜(4)のテスト画像を生成し、生成した画像を形成する画像信号を画像信号D0として、セレクタSEL1と、ガンマ特性取得部7と、画素対応付け部8と、に出力する。
(1)投影システム1000の光学系の系全体のガンマ値を取得するためのテスト画像Img_for_gamma
(2)投影部5から投影される投影画像と、当該撮像画像を撮像部6により撮像することで取得される撮像画像との画素対応付けを行うためのテスト画像Img_for_map
(3)W100%画像Img_w100
(4)W0%画像Img_w0
なお、「W100%画像」とは、当該画像を形成する全ての画素の画素値が、画素値の取り得る範囲の上限値である画像のことをいう。例えば、画素値が8ビットデータであり、0〜255の値をとる場合、「W100%画像」の画素の画素値は、「255」である。
「W0%画像」とは、当該画像を形成する全ての画素の画素値が、画素値の取り得る範囲の下限値である画像のことをいう。例えば、画素値が8ビットデータであり、0〜255の値をとる場合、「W0%画像」の画素の画素値は、「0」である。
セレクタSEL1は、テスト画像生成部4から出力される画像信号D0と、補正部3から出力される画像信号D2と、選択信号sel1とを入力する。選択信号sel1は、制御部(不図示)により生成される。セレクタSEL1は、選択信号sel1に従い、画像信号D0および画像信号D2のいずれか一方を選択し、選択した画像信号を画像信号D3として、投影部5に出力する。
投影部5は、画像を投影するための光学系を有している。投影部5は、セレクタSEL1から出力される画像信号D3を入力し、入力した画像信号D3を、投影対象に投影する。
撮像部6は、投影部5により投影された画像を撮像するための光学系を有している。撮像部6は、投影部5により投影された画像を撮像し、撮像画像を取得し、取得した撮像画像を形成する画像信号を、画像信号D4として、ガンマ特性取得部7と、画素対応付け部8と、応答特性取得部9とに出力する。
ガンマ特性取得部7は、撮像部6から出力される画像信号D4と、テスト画像生成部4から出力される画像信号D0とを入力する。ガンマ特性取得部7は、画像信号D4と画像信号D0とに基づいて、投影システム1000の系全体(投影部5の光学系と撮像部6の光学系)のガンマ特性を決定(推定)する。そして、ガンマ特性取得部7は、決定したガンマ特性からガンマ値γを取得し、取得したガンマ値γを、目標画像取得部2と、補正部3とに出力する。
画素対応付け部8は、撮像部6から出力される画像信号D4と、テスト画像生成部4から出力される画像信号D0とを入力する。画素対応付け部8は、画像信号D0により形成される画像の画素が、画像信号D4により形成される画像のどの画素に対応するのかを決定することで、画素対応付けを行う。そして、画素対応付け部8は、すべての画素の対応付けについての情報を含むマップ情報Mapを取得し、取得したマップ情報Mapを応答特性取得部9に出力する。
応答特性取得部9は、撮像部6から出力される画像信号D4と、画素対応付け部8から出力されるマップ情報Mapとを入力する。
応答特性取得部9は、W100%画像が投影されているときの撮像画像を形成する画像信号D4から、目標画像用ホワイト値(例えば、Wave)を取得し、取得した目標画像用ホワイト値(例えば、Wave)を目標画像取得部2に出力する。また、応答特性取得部9は、W0%画像が投影されているときの撮像画像を形成する画像信号D4から、目標画像用ブラック値(例えば、Bmax)を取得し、取得した目標画像用ブラック値(例えば、Bmax)を目標画像取得部2に出力する。
また、応答特性取得部9は、補正部3において、画像上の座標が(u,v)である画素Px(u,v)を処理対象画素とするとき、マップ情報Mapに基づいて、投影画像の画素Px(u,v)に対応する撮像画像上の画素Px(x,y)を特定する。そして、応答特性取得部9は、投影画像の画素Px(u,v)に対応する撮像画像上の画素Px(x,y)のホワイト値(W100%画像が投影されているときの撮像画像の画素Px(x,y)の画素値)を、ホワイト値Wu,vとして、取得し、取得したホワイト値Wu,vを補正部3に出力する。
また、応答特性取得部9は、投影画像の画素Px(u,v)に対応する撮像画像上の画素Px(x,y)のブラック値(W0%画像が投影されているときの撮像画像の画素Px(x,y)の画素値)を、ブラック値Bu,vとして、取得し、取得したブラック値Bu,vを補正部3に出力する。
<1.2:投影システムの動作>
以上のように構成された投影システム1000の動作について、以下、説明する。
図2は、投影システム1000の処理を示すフローチャートである。
以下では、図2のフローチャートを参照しながら、投影システム1000の動作について、説明する。
なお、投影システム1000では、画像信号として、RGB色空間の画像信号に対して処理が実行されるものとして、以下、説明する。
(ステップS1):
ステップS1では、投影システム1000の系全体(投影部5の光学系と撮像部6の光学系)のガンマ特性を決定(推定)する処理が実行される。
テスト画像生成部4は、投影システム1000の光学系の系全体のガンマ値を取得するためのテスト画像Img_for_gammaを生成し、生成したテスト画像Img_for_gammaを形成する画像信号D0をセレクタSEL1に出力する。
制御部は、セレクタSEL1の端子0を選択するための選択信号sel1を生成し、セレクタSEL1に出力する。
セレクタSEL1は、選択信号sel1に従い、端子0を選択し、テスト画像生成部4から出力されるテスト画像Img_for_gammaを形成する画像信号D0を投影部5に出力する。
投影部5は、テスト画像Img_for_gammaを投影対象に投影する。
テスト画像Img_for_gammaは、例えば、全ての画素が同一の値であるR成分のみを有する画像である。つまり、テスト画像Img_for_gammaの画素Px(u,v)のR成分値をR(Px(u,v))とし、G成分値をG(Px(u,v))とし、B成分値をB(Px(u,v))とすると、
R(Px(u,v))=A1 (0≦A1≦255)
G(Px(u,v))=0
B(Px(u,v))=0
となる画像である。
なお、テスト画像Img_for_gammaは、8ビットの画像であり、当該画像の画素値は、0〜255をとるものとする。
テスト画像生成部4は、上記のR成分のみを有するテスト画像を生成し、生成したテスト画像は、投影部5により投影される。
そして、撮像部6は、投影部5により投影されている上記R成分のみを有するテスト画像を撮像した撮像画像を形成する画像信号D4をガンマ特性取得部7に出力する。
ガンマ特性取得部7は、撮像部6から出力される画像信号D4に基づいて、ガンマ特性を決定する処理を行う。
上記処理を、テスト画像Img_for_gammaの画素Px(u,v)のR成分値A1の値を変化させて繰り返し実行することで、ガンマ特性取得部7により、ガンマ特性が決定(推定)される。
つまり、投影部5から投影される投影画像の画素のR成分値を0〜255の範囲で変化させた場合、撮像画像の画素の画素値がどのような値になるかを調べることで、ガンマ特性が決定(推定)される。
テスト画像Img_for_gammaを投影部5が投影した投影画像の画素のR成分値をxR_prjとし、当該投影画像の撮像画像の画素のR成分値をyR_capとすると、
yR_cap=α×(xR_prj/255)^γ+β
α、β:定数
となる。つまり、上記数式が、投影システム1000の系全体(投影部5の光学系と撮像部6の光学系)のガンマ特性を示す数式である。
テスト画像Img_for_gammaの画素Px(u,v)のR成分値A1の値を変化させて繰り返し投影し、ガンマ特性取得部7は、投影画像の画素のR成分値xR_prjと、当該投影画像の撮像画像の画素のR成分値yR_capとから、上記投影システム1000の系全体(投影部5の光学系と撮像部6の光学系)のガンマ特性を示す数式の値γを決定(推定)する。
このようにして取得されたガンマ値γ(R成分用のガンマ値)は、ガンマ特性取得部7から目標画像取得部2および補正部3に出力される。
なお、投影システム1000では、テスト画像Img_for_gammaを、全ての画素が同一の値であるG成分のみを有する画像として、上記と同様の処理を実行し、ガンマ値γ(G成分用のガンマ値)を取得し、取得した当該ガンマ値γ(G成分用のガンマ値)は、ガンマ特性取得部7から目標画像取得部2および補正部3に出力される。
また、投影システム1000では、テスト画像Img_for_gammaを、全ての画素が同一の値であるB成分のみを有する画像として、上記と同様の処理を実行し、ガンマ値γ(B成分用のガンマ値)を取得し、取得した当該ガンマ値(B成分用のガンマ値)は、ガンマ特性取得部7から目標画像取得部2および補正部3に出力される。
(ステップS2):
ステップS2では、投影画像と撮像画像との画素対応付け処理が実行される。
テスト画像生成部4は、投影部5から投影される投影画像と、当該撮像画像を撮像部6により撮像することで取得される撮像画像との画素対応付けを行うためのテスト画像Img_for_mapを生成し、生成したテスト画像Img_for_mapを形成する画像信号D0をセレクタSEL1に出力する。
制御部は、セレクタSEL1の端子0を選択するための選択信号sel1を生成し、セレクタSEL1に出力する。
セレクタSEL1は、選択信号sel1に従い、端子0を選択し、テスト画像生成部4から出力されるテスト画像Img_for_mapを形成する画像信号D0を投影部5に出力する。
投影部5は、テスト画像Img_for_mapを投影対象に投影する。
テスト画像Img_for_mapは、例えば、グレイコード(「0」、「1」のパターン)による画像や、位相パターン画像(所定の周期、位相の正弦波によるパターン画像)である。
撮像部6は、投影部5により投影されているテスト画像Img_for_mapを撮像した撮像画像を形成する画像信号D4を画素対応付け部8に出力する。
画素対応付け部8は、画像信号D0により形成される画像の画素が、画像信号D4により形成される画像のどの画素に対応するのかを決定することで、画素対応付けを行う。そして、画素対応付け部8は、すべての画素の対応付けについての情報を含むマップ情報Mapを取得し、取得したマップ情報Mapを応答特性取得部9に出力する。
(ステップS3):
ステップS3では、応答特性を取得する処理が実行される。
テスト画像生成部4は、テスト画像として、W100%画像Img_w100を生成し、生成したテスト画像Img_w100を形成する画像信号D0をセレクタSEL1に出力する。
制御部は、セレクタSEL1の端子0を選択するための選択信号sel1を生成し、セレクタSEL1に出力する。
セレクタSEL1は、選択信号sel1に従い、端子0を選択し、テスト画像生成部4から出力されるテスト画像Img_w100を形成する画像信号D0を投影部5に出力する。
投影部5は、テスト画像Img_w100を投影対象に投影する。
撮像部6は、投影部5により投影されているテスト画像Img_w100を撮像した撮像画像を形成する画像信号D4を応答特性取得部9に出力する。
応答特性取得部9は、W100%画像が投影されているときの撮像画像の各画素の画素値の平均値を算出する。そして、応答特性取得部9は、算出した値を、目標画像用ホワイト値Waveとして取得する。応答特性取得部9は、取得した目標画像用ホワイト値Waveを目標画像取得部2に出力する。
また、応答特性取得部9は、W100%画像が投影されているときの撮像画像の各画素の値を保持する。具体的には、応答特性取得部9は、マップ情報Mapから、W100%画像が投影されているときの撮像画像の画素Px(x,y)に対応する投影画像の画素P(u,v)を特定するとともに、W100%画像が投影されているときの撮像画像の画素Px(x,y)の画素値をホワイト値Wu,vとして保持する。そして、応答特性取得部9は、補正部3からの要求に応じて、保持しているホワイト値Wu,vを補正部3に出力する。
また、応答特性取得部9は、W0%画像が投影されているときの撮像画像の各画素の値を保持する。具体的には、応答特性取得部9は、マップ情報Mapから、W0%画像が投影されているときの撮像画像の画素Px(x,y)に対応する投影画像の画素P(u,v)を特定するとともに、W0%画像が投影されているときの撮像画像の画素Px(x,y)の画素値をブラック値Bu,vとして保持する。そして、応答特性取得部9は、補正部3からの要求に応じて、保持しているブラック値Bu,vを補正部3に出力する。
次に、テスト画像生成部4は、テスト画像として、W0%画像Img_w0を生成し、生成したテスト画像Img_w0を形成する画像信号D0をセレクタSEL1に出力する。
制御部は、セレクタSEL1の端子0を選択するための選択信号sel1を生成し、セレクタSEL1に出力する。
セレクタSEL1は、選択信号sel1に従い、端子0を選択し、テスト画像生成部4から出力されるテスト画像Img_w0を形成する画像信号D0を投影部5に出力する。
投影部5は、テスト画像Img_w0を投影対象に投影する。
撮像部6は、投影部5により投影されているテスト画像Img_w0を撮像した撮像画像を形成する画像信号D4を応答特性取得部9に出力する。
応答特性取得部9は、W0%画像が投影されているときの撮像画像の各画素の画素値の中で最大値を求める。そして、応答特性取得部9は、求めた値を、目標画像用ブラック値Bmaxとして取得する。応答特性取得部9は、取得した目標画像用ブラック値Bmaxを目標画像取得部2に出力する。
以上のようにして、投影システム1000では、応答特性の取得処理が実行される。
(ステップS4):
ステップS4では、係数設定部1により係数Brが、0≦Br≦1を満たす値として設定される。そして、設定された係数Brは、係数設定部1から目標画像取得部2に出力される。
(ステップS5):
ステップS5では、目標画像取得部2は、画像信号Din(画像Img0)から、係数Br、ガンマ値γ、目標画像用ブラック値Bmaxおよび目標画像用ホワイト値Waveに基づいて、目標画像Img_Tを生成する。具体的には、目標画像取得部2は、入力される画像Img0の画像上の座標(u,v)の画素の画素値をIu,vとし、目標画像Img_Tの画像上の座標(u,v)の画素の画素値をTu,vとすると、以下の(数式4)または(数式5)に相当する処理を実行することで、目標画像Img_Tを生成する。


なお、上記処理は、画像Img0、画像Img_TのR成分の画素値、G成分の画素値、B成分の画素値について、それぞれ、R成分用のガンマ値、G成分用のガンマ値、B成分用のガンマ値を用いて実行される。
上記処理において、Brが0≦Br≦1を満たす値に設定されているので、目標画像Img_Tの各画素の画素値を小さくすることができる。これにより、投影部5から投影した画像において、飽和する画素を少なくすることができ、良好な画像投影を実現することができる。
また、値Waveは、一例であり、他の値としてもよい。例えば、値Waveを、W100%画像が投影されているときの撮像画像の各画素の画素値の上限値や下限値や中間値等の値に代替させてもよい。
なお、目標画像取得部2は、以下の(数式6)、(数式7)に相当する処理を実行することで、目標画像Img_Tを生成するようにしてもよい。


上記(数式6)、(数式7)において、値Wave、値Bmaxは、一例であり、他の値としてもよい。例えば、値Waveを、W100%画像が投影されているときの撮像画像の各画素の画素値の上限値や下限値や中間値等の値に代替させてもよい。また、値Bmaxを、W0%画像が投影されているときの撮像画像の各画素の画素値の平均値、上限値、あるいは、中間値等の値に代替させてもよい。
なお、(数式4)、(数式5)は、それぞれ、(数式6)、(数式7)において、Bmax=0とした数式に相当する。このため、目標画像取得部2において、(数式4)、(数式5)に相当する処理が実行されることで、目標画像のダイナミックレンジを広げる効果を得ることができる。
このようにして生成された目標画像Img_Tを形成する画像信号D1は、目標画像取得部2から補正部3に出力される。
(ステップS6):
ステップS6では、補正部3は、ガンマ特性取得部7から出力されるガンマ値γと、応答特性取得部9から出力されるホワイト値Wu,vとを用いて、画像信号D1に対して補正処理を実行して、補正処理後の画像Img_Pを取得する。具体的には、補正部3は、画像Img_Pの画像上の座標(u,v)の画素の画素値をPu,vとすると、以下の(数式8)に相当する処理を実行することで、補正処理後の画像Img_Pを取得する。

k1:ブラック値調整用第1係数k1(0≦k1≦1)
k2:ブラック値調整用第1係数k2(0≦k2≦1)
なお、ブラック値調整用第1係数k1、および、ブラック値調整用第2係数k2は、例えば、制御部(不図示)により、設定される。
なお、k1=k2=0として、補正部3は、上記(数式8)に相当する処理を実行し、補正処理後の画像Img_Pを取得することが好ましい。
なお、以下の(数式9)に相当する処理を実行することで、補正処理後の画像Img_Pを取得することも考えられる。

u,v:投影画像の画素Px(u,v)に対応する撮像画像上の画素Px(x,y)のブラック値(W0%画像が投影されているときの撮像画像の画素Px(x,y)の画素値)
上記(数式9)に相当する処理を実行する場合、投影部5、撮像部6等の性能が高い場合、良好な結果が得られるが、投影部5に投影された画像を撮像部6により撮像して取得された画像のS/N比が悪い場合等には、上記(数式9)による処理よりも、上記(数式8)による処理を行った方が、ユーザーが、投影されている画像(あるいは撮像画像)を見たときに不快感を抱かないことが、本願発明者らによって見出された。
したがって、投影システム1000の補正部3は、良好な投影画像(撮像画像)を取得するために、上記(数式8)による処理(Bu,v=0とする処理(k1=k2=0とする処理))を実行する。
なお、上記(数式8)による処理は、画像Img_T、画像Img_PのR成分の画素値、G成分の画素値、B成分の画素値について、それぞれ、R成分用のガンマ値、G成分用のガンマ値、B成分用のガンマ値を用いて実行される。
このようにして生成された補正処理後の画像Img_Pを形成する画像信号D2は、補正部3からセレクタSEL1に出力される。
(ステップS7):
ステップS7では、制御部がセレクタSEL1の端子1を選択する選択信号sel1を生成し、当該選択信号sel1に従い、セレクタSEL1は、端子1を選択して、補正部3から出力される画像信号D2を投影部5に出力する。
投影部5は、画像信号D2(画像Img_P)を投影対象に投影する。
以上のようにして、投影システム1000では、処理が実行される。
ここで、実際に投影システム1000において処理された画像を図に示す。
図3は、投影システム1000に入力される画像Img0(8ビット画像)の一例である。具体的には、画像Img0は、8つのパターンからなり、8つのパターン(単一色のパターン)を、図3の上段の左からパターン1、パターン2、パターン3、パターン4とし、図3の下段の左からパターン5、パターン6、パターン7、パターン8とすると、8つのパターンの色(R成分値、G成分値、B成分値)は、下記の通りである。
パターン1:R=150;G=120;B= 30;
パターン2:R= 80;G= 90;B=120;
パターン3:R=120;G=180;B=210;
パターン4:R=150;G= 50;B=100;
パターン5:R= 0;G=150;B=110;
パターン6:R= 50;G=120;B=200;
パターン7:R= 20;G=200;B=100;
パターン8:R=120;G=150;B= 90;
図4は、投影システム1000で投影する対象(投影対象)の画像である。
図5は、図3の画像Img0を、図4の投影対象に、目標画像取得部2での処理、補正部3での処理を実行せずに(そのまま)、投影したときの撮像画像である。
図6は、図3の画像Img0を、図4の投影対象に、目標画像取得部2での処理、補正部3での処理を実行して、投影したときの撮像画像である。
図5の撮像画像では、投影対象の板の部分(板と背景との境界)がはっきり認識できる。一方、図6の撮像画像では、投影対象の板の部分(板と背景との境界)が目立たない状態となっており、良好な補正処理がなされていることが分かる。
以上のように、投影システム1000では、係数Br(0≦Br≦1)により、投影したときに飽和する画素数を低減させる目標画像Img_Tを、投影システム1000の系全体のガンマ特性に基づいて、取得する。そして、投影システム1000では、取得した目標画像Img_Tに対して、投影システム1000の系全体のガンマ特性に基づく変換式において、ブラック値Bu,vを「0」として、投影用の画像Img_Pを取得する。
これにより、投影システム1000では、投影される画像の飽和する画素数を低減させるとともに、投影画像を撮像して取得される撮像画像のS/N比が悪い場合等であっても、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
また、投影システム1000では、係数Brを調整することで、例えば、投影部5から照射される光の輝度(照度)が低い場合であって(例えば、投影部5として、低照度(低輝度)のプロジェクター装置を用いた場合であって)、投影部5からW100%画像を投影した場合において、当該画像の飽和する画素数を低減させることができる。したがって、投影システム1000では、低照度(低輝度)の投影部5(例えば、プロジェクター装置)を用いた場合であっても、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
また、投影システム1000では、目標画像に対して、ブラック値を「0」としたのと同様の処理で、補正画像を取得する。このため、投影システム1000では、補正画像のダイナミックレンジを広くすることができる。その結果、投影システム1000では、例えば、投影部5から照射される光の輝度(照度)が低い場合であっても(例えば、投影部5として、低照度(低輝度)のプロジェクター装置を用いた場合であっても)、投影画像のダイナミックレンジを広く確保することができ、投影画像(あるいは撮像画像)を見たユーザーに不快感を抱かせない画像投影処理を実現することができる。
このように、投影システム1000では、高照度(高輝度)のプロジェクター装置や高性能な撮像装置を用いない場合であっても、投影された画像(映像)の輝度むらや色むら等を適切に低減させ、良好な画像(映像)投影処理を実現することができる。
[他の実施形態]
上記実施形態の投影システムは、1つの装置として実現されるものであってもよいし、また、各機能部の一部を別の装置として実現されるものであってもよい。例えば、撮像部6は、撮像装置に設けられ、撮像部6以外の機能部が、プロジェクター装置に設けられ、撮像装置とプロジェクター装置により、投影システムが実現されるものであってもよい。
上記実施形態で説明した投影システムにおいて、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1000 投影システム
1 係数設定部
2 目標画像取得部
3 補正部
4 テスト画像生成部
5 投影部
6 撮像部
7 ガンマ特性取得部
8 画素対応付け部
9 応答特性取得部

Claims (8)

  1. 入力画像に対して、所定の処理を実行した画像を投影する投影システムであって、
    画像を投影対象に投影する投影部と、
    投影部により投影された画像を撮像画像として取得する撮像部と、
    前記投影部の光学系および前記撮像部の光学系により決定されるガンマ特性を取得するガンマ特性取得部と、
    前記投影部から投影される画像である投影画像と、前記撮像部により取得された撮像画像とに基づいて、前記撮像画像上の画素と、前記撮像画像上の当該画素に対応する前記撮像画像上の画素とを対応付けた画素対応付けデータを取得する画素対応付け部と、
    画素ごとに、前記投影部により投影されたW100%画像を前記撮像部で撮像して取得した撮像画像の画素値であるホワイト値と、前記投影部により投影されたW0%画像を前記撮像部で撮像して取得した撮像画像の画素値であるブラック値と、取得するとともに、取得した前記ホワイト値から導出される代表値である代表ホワイト値と、取得した前記ブラック値から導出される代表値である代表ブラック値とを取得する応答特性取得部と、
    第1係数を設定する係数設定部と、
    前記ガンマ特性取得部により取得された前記ガンマ特性と、前記第1係数とに基づいて、前記入力画像から目標画像を取得する目標画像取得部と、
    前記目標画像に対して、前記ガンマ特性取得部により取得された前記ガンマ特性と、前記ホワイト値と、前記ブラック値とに基づく補正処理を実行することで補正画像を取得する補正部と、
    を備え、
    前記目標画像取得部は、
    前記投影部が前記補正画像を投影したときに、前記撮像部により撮像されると予測される画像において、画素値が飽和する画素が少なくなるように、前記目標画像を取得する、
    投影システム。
  2. 前記入力画像および前記目標画像がNビット画像(N:自然数)であり、前記入力画像および前記目標画像の画素の画素値Pxは、0≦Px≦2^N−1を満たすものとし、
    前記第1係数をBrとし、0≦Br≦1を満たすものとし、
    前記入力画像の画像上の座標(u,v)の画素値をIu,vとし、
    前記目標画像の画像上の座標(u,v)の画素値をTu,vとし、
    前記ガンマ特性を決定するガンマ値をγとし、
    前記代表ホワイト値をWaveとし、
    前記代表ブラック値をBmaxとしたとき、
    前記目標画像取得部は、
    または、
    により、前記目標画像の画素値Tu,vを取得することで、前記目標画像を取得する、
    請求項1に記載の投影システム。
  3. 前記代表ブラック値Bmaxは、「0」である、
    請求項2に記載の投影システム。
  4. 前記目標画像、および、前記補正画像がNビット画像(N:自然数)であり、前記入力画像および前記目標画像の画素の画素値Pxは、0≦Px≦2^N−1を満たすものとし、
    前記目標画像の画像上の座標(u,v)の画素値をTu,vとし、
    前記補正画像の画像上の座標(u,v)の画素値をPu,vとし、
    前記ガンマ特性を決定するガンマ値をγとし、
    前記投影画像の画素Px(u,v)に対応する前記撮像画像上の画素Px(x,y)の前記ホワイト値を、値Wu,vとし、
    前記投影画像の画素Px(u,v)に対応する前記撮像画像上の画素Px(x,y)の前記ブラック値を、値Bu,vとし、
    ブラック値調整用第1係数をk1(0≦k1≦1)とし、
    ブラック値調整用第2係数をk2(0≦k2≦1)としたとき、
    前記補正部は、
    により、前記補正画像の画素値Pu,vを取得することで、前記補正画像を取得する、
    請求項1から3のいずれかに記載の投影システム。
  5. 前記ブラック値調整用第1係数k1は、「0」であり、
    前記ブラック値調整用第2係数k2は、「0」である、
    請求項4に記載の投影システム。
  6. 請求項1から5のいずれかに記載の投影システムに用いられるプロジェクター装置であって、
    前記投影部と、前記ガンマ特性取得部と、前記画素対応付け部と、前記応答特性取得部と、前記係数設定部と、前記目標画像取得部と、前記補正部と、を備える、
    プロジェクター装置。
  7. 請求項1から5のいずれかに記載の投影システムに用いられる撮像装置であって、
    前記撮像部を備える、
    撮像装置。
  8. 投影部と撮像部とを備える投影システムに用いられ、入力画像に対して、所定の処理を実行した画像を投影する投影方法をコンピュータに実行させるためのプログラムであって、
    画像を投影対象に投影する投影ステップと、
    投影ステップにより投影された画像を撮像画像として取得する撮像ステップと、
    前記投影部の光学系および前記撮像部の光学系により決定されるガンマ特性を取得するガンマ特性取得ステップと、
    前記投影部から投影される画像である投影画像と、前記撮像部により取得された撮像画像とに基づいて、前記撮像画像上の画素と、前記撮像画像上の当該画素に対応する前記撮像画像上の画素とを対応付けた画素対応付けデータを取得する画素対応付けステップと、
    画素ごとに、前記投影部により投影されたW100%画像を前記撮像部で撮像して取得した撮像画像の画素値であるホワイト値と、前記投影部により投影されたW0%画像を前記撮像部で撮像して取得した撮像画像の画素値であるブラック値と、取得するとともに、取得した前記ホワイト値から導出される代表値である代表ホワイト値と、取得した前記ブラック値から導出される代表値である代表ブラック値とを取得する応答特性取得ステップと、
    第1係数を設定する係数設定ステップと、
    前記投影部により前記入力画像を投影した画像を、前記撮像部により撮像したときに取得されると予測される画像において、画素値が飽和する画素が少なくなるように、前記ガンマ特性取得ステップにより取得された前記ガンマ特性と、前記第1係数とに基づいて、前記入力画像から目標画像を取得する目標画像取得ステップと、
    前記目標画像に対して、前記ガンマ特性取得ステップにより取得された前記ガンマ特性と、前記ホワイト値と、ブラック値とに基づく補正処理を実行することで補正画像を取得する補正ステップと、
    を備える投影システムをコンピュータに実行させるためのプログラム。
JP2015070677A 2015-03-31 2015-03-31 投影システム、プロジェクター装置、撮像装置、および、プログラム Active JP6543067B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015070677A JP6543067B2 (ja) 2015-03-31 2015-03-31 投影システム、プロジェクター装置、撮像装置、および、プログラム
PCT/JP2016/058679 WO2016158490A1 (ja) 2015-03-31 2016-03-18 投影システム、プロジェクター装置、撮像装置、および、プログラム
US15/720,167 US9964839B2 (en) 2015-03-31 2017-09-29 Projection system, projector apparatus, imaging apparatus, and projection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015070677A JP6543067B2 (ja) 2015-03-31 2015-03-31 投影システム、プロジェクター装置、撮像装置、および、プログラム

Publications (2)

Publication Number Publication Date
JP2016191773A true JP2016191773A (ja) 2016-11-10
JP6543067B2 JP6543067B2 (ja) 2019-07-10

Family

ID=57005679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015070677A Active JP6543067B2 (ja) 2015-03-31 2015-03-31 投影システム、プロジェクター装置、撮像装置、および、プログラム

Country Status (3)

Country Link
US (1) US9964839B2 (ja)
JP (1) JP6543067B2 (ja)
WO (1) WO2016158490A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139206A (ja) * 2018-02-07 2019-08-22 ニンテンドー ヨーロピアン リサーチ アンド ディヴェロップメント 投影画像の測色を補償するための方法及び装置
JP2023506590A (ja) * 2020-02-20 2023-02-16 コーニンクレッカ フィリップス エヌ ヴェ 撮像におけるピクセル強度値の決定

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426055B (zh) * 2017-08-31 2021-04-06 深圳光峰科技股份有限公司 投影系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002072359A (ja) * 2000-08-29 2002-03-12 Olympus Optical Co Ltd 画像投影表示装置
JP2005244835A (ja) * 2004-02-27 2005-09-08 Olympus Corp マルチプロジェクションシステム
JP2009187002A (ja) * 2008-01-11 2009-08-20 Nikon Corp プロジェクタ
JP2011205199A (ja) * 2010-03-24 2011-10-13 Seiko Epson Corp 画像処理装置、画像表示システム、画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055830A (ja) * 2003-08-07 2005-03-03 Sony Corp 画像表示方法及び装置
US7639849B2 (en) * 2005-05-17 2009-12-29 Barco N.V. Methods, apparatus, and devices for noise reduction
WO2009088080A1 (ja) * 2008-01-11 2009-07-16 Nikon Corporation プロジェクタ
JP5320865B2 (ja) * 2008-07-04 2013-10-23 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの制御方法
JP5590668B2 (ja) 2010-07-20 2014-09-17 国立大学法人電気通信大学 プロジェクタ装置、映像信号補正装置、映像信号補正方法及びプログラム
JP6757157B2 (ja) * 2016-03-29 2020-09-16 キヤノン株式会社 投影装置およびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002072359A (ja) * 2000-08-29 2002-03-12 Olympus Optical Co Ltd 画像投影表示装置
JP2005244835A (ja) * 2004-02-27 2005-09-08 Olympus Corp マルチプロジェクションシステム
JP2009187002A (ja) * 2008-01-11 2009-08-20 Nikon Corp プロジェクタ
JP2011205199A (ja) * 2010-03-24 2011-10-13 Seiko Epson Corp 画像処理装置、画像表示システム、画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139206A (ja) * 2018-02-07 2019-08-22 ニンテンドー ヨーロピアン リサーチ アンド ディヴェロップメント 投影画像の測色を補償するための方法及び装置
JP2023506590A (ja) * 2020-02-20 2023-02-16 コーニンクレッカ フィリップス エヌ ヴェ 撮像におけるピクセル強度値の決定
JP7310030B2 (ja) 2020-02-20 2023-07-18 コーニンクレッカ フィリップス エヌ ヴェ 撮像におけるピクセル強度値の決定

Also Published As

Publication number Publication date
JP6543067B2 (ja) 2019-07-10
US20180024423A1 (en) 2018-01-25
WO2016158490A1 (ja) 2016-10-06
US9964839B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
CN110505459B (zh) 适用于内窥镜的图像颜色校正方法、装置和存储介质
CN108668093B (zh) Hdr图像的生成方法及装置
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
CN107590791B (zh) 图像增强方法以及图像处理装置
JP5356666B2 (ja) イメージの輝度補正のための装置および方法
US20150365612A1 (en) Image capture apparatus and image compensating method thereof
JP6486055B2 (ja) 撮像装置およびその制御方法、並びにプログラム
US9473709B2 (en) Image blending system and method for image blending
WO2016158490A1 (ja) 投影システム、プロジェクター装置、撮像装置、および、プログラム
JP2004200971A (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP6617432B2 (ja) 画像処理装置及びプログラム
JP6322058B2 (ja) 画像取得装置
JP2007096437A (ja) 画像生成者の意図の判定
JP7462458B2 (ja) 画像処理装置、画像処理方法
JP2020087005A (ja) 画像処理装置、画像生成方法およびプログラム
CN108810509A (zh) 一种图像色彩校正方法及装置
TWI551141B (zh) A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
KR20070063781A (ko) 색역 내에 존재하는 색상을 영상 적응적으로 조절하는 방법및 장치
CN115587948A (zh) 一种图像暗场校正方法及设备
US11363245B2 (en) Image processing device, image processing method, and image processing program
JP2008252227A (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2020025224A (ja) カメラ評価値測定装置およびカメラ評価値測定方法
JP2013115571A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190614

R150 Certificate of patent or registration of utility model

Ref document number: 6543067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250