JP2020101878A - 画像処理装置、および検出機能付き表示装置 - Google Patents

画像処理装置、および検出機能付き表示装置 Download PDF

Info

Publication number
JP2020101878A
JP2020101878A JP2018237899A JP2018237899A JP2020101878A JP 2020101878 A JP2020101878 A JP 2020101878A JP 2018237899 A JP2018237899 A JP 2018237899A JP 2018237899 A JP2018237899 A JP 2018237899A JP 2020101878 A JP2020101878 A JP 2020101878A
Authority
JP
Japan
Prior art keywords
image
illumination light
position detection
illumination
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018237899A
Other languages
English (en)
Inventor
正博 安藤
Masahiro Ando
正博 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018237899A priority Critical patent/JP2020101878A/ja
Priority to CN201980082512.8A priority patent/CN113168266A/zh
Priority to US17/413,816 priority patent/US11429229B2/en
Priority to PCT/JP2019/045724 priority patent/WO2020129536A1/ja
Publication of JP2020101878A publication Critical patent/JP2020101878A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Projection Apparatus (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】位置検出および画像認識のリアルタイム性を向上させることを可能にする。【解決手段】本開示の画像処理装置は、被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで出射されるように、位置検出用照明部および画像認識用照明部を制御する照明制御部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、撮像部による撮像画像の輝度情報に基づいて、位置検出用照明光と画像認識用照明光との切り替わりを判断し、位置検出用照明光に切り替わった状態における撮像部の撮像結果に基づいて被位置検出物の位置検出を行うと共に、画像認識用照明光に切り替わった状態における撮像部の撮像結果に基づいて被画像認識物の画像認識を行う画像処理部とを備える。【選択図】図２

Description

本開示は、位置検出と画像認識とを行う画像処理装置、および検出機能付き表示装置に関する。
表示装置としてのプロジェクタに、映像の投影面上における指等の位置を検出するタッチ検出（位置検出）機能と、投影面上におけるカードやメディア等の画像認識を行う画像認識機能とを付加した検出機能付き表示装置が提案されている（特許文献１参照）。この検出機能付き表示装置では、例えば、位置検出用照明光と画像認識用照明光とを適宜切り替えて撮像された撮像結果に基づいて、位置検出と画像認識とを行う。
国際公開第２０１８／０５１８８６号
上記の検出機能付き表示装置では、位置検出用照明光と画像認識用照明光とが実際に切り替わるタイミングがシステム遅延等に依存して正確に分からない場合があり得る。このため、無駄な待ち時間が多くなり、位置検出と画像認識とのリアルタイム性が低下する。
位置検出および画像認識のリアルタイム性を向上させることが可能な画像処理装置、および検出機能付き表示装置を提供することが望ましい。
本開示の一実施の形態に係る画像処理装置は、被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで出射されるように、位置検出用照明部および画像認識用照明部を制御する照明制御部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、撮像部による撮像画像の輝度情報に基づいて、位置検出用照明光と画像認識用照明光との切り替わりを判断し、位置検出用照明光に切り替わった状態における撮像部の撮像結果に基づいて被位置検出物の位置検出を行うと共に、画像認識用照明光に切り替わった状態における撮像部の撮像結果に基づいて被画像認識物の画像認識を行う画像処理部とを備える。
本開示の一実施の形態に係る検出機能付き表示装置は、映像投影用照明光を出射する映像投影用照明部と、映像データに基づいて映像投影用照明光を変調して映像光を生成するライトバルブと、被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで出射されるように、位置検出用照明部および画像認識用照明部を制御する照明制御部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、撮像部による撮像画像の輝度情報に基づいて、位置検出用照明光と画像認識用照明光との切り替わりを判断し、位置検出用照明光に切り替わった状態における撮像部の撮像結果に基づいて被位置検出物の位置検出を行うと共に、画像認識用照明光に切り替わった状態における撮像部の撮像結果に基づいて被画像認識物の画像認識を行う画像処理部とを備える。
本開示の一実施の形態に係る画像処理装置、または検出機能付き表示装置では、撮像部による撮像画像の輝度情報に基づいて、位置検出用照明光と画像認識用照明光との切り替わりが判断される。画像処理部は、位置検出用照明光に切り替わった状態における撮像部の撮像結果に基づいて被位置検出物の位置検出を行うと共に、画像認識用照明光に切り替わった状態における撮像部の撮像結果に基づいて被画像認識物の画像認識を行う。
本開示の第１の実施の形態に係る検出機能付き表示装置の一例を概略的に示す構成図である。 第１の実施の形態に係る検出機能付き表示装置の機能的な構成例を概略的に示すブロック図である。 第１の実施の形態に係る検出機能付き表示装置を側面方向から見た一構成例を概略的に示す構成図である。 第１の実施の形態に係る検出機能付き表示装置における撮像部の一構成例を概略的に示す構成図である。 第１の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像部のバンドパスフィルタの透過特性との一例を示す説明図である。 被画像認識物の撮像結果の一例を模式的に示す説明図である。 被位置検出物の撮像結果の一例を模式的に示す説明図である。 ローリングシャッタ方式による撮像素子の露光タイミングの一例を示す説明図である。 ローリングシャッタ方式による撮像を行った場合における位置検出用照明光と画像認識用照明光との切り替わり時の撮像画像の一例を模式的に示す説明図である。 位置検出モード時の撮像画像の輝度分布のヒストグラムの一例を示す説明図である。 画像認識モード時の撮像画像の輝度分布のヒストグラムの一例を示す説明図である。 位置検出用照明光と画像認識用照明光との切り替えタイミングの一例を示すタイミングチャートである。
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例
１．第１の実施の形態（図１〜図１２）
１．１ 構成
１．２ 動作
１．３ 効果
２．その他の実施の形態
＜０．比較例＞
（比較例に係る検出機能付き表示装置の概要と課題）
比較例として、特許文献１（国際公開第２０１８／０５１８８６号）で提案されている検出機能付き表示装置の概要と課題について説明する。この比較例に係る検出機能付き表示装置では、例えば、位置検出用照明光と画像認識用照明光とを適宜切り替えて撮像された撮像結果に基づいて、位置検出と画像認識とを行う。この比較例に係る検出機能付き表示装置では、位置検出用照明光と画像認識用照明光とが実際に切り替わるタイミングがシステム遅延等に依存していて切り替わりタイミングが正確に分からない場合があり得る。このため、例えば、システム的に起こり得る最も長い待ち時間を入れて、照明光の切り替わりの完了とすることが考えられるが、この場合、無駄な待ち時間が多くなり、位置検出と画像認識とのリアルタイム性が損なわれる。
また、特許文献１には、位置検出用と画像認識用とで照明光の波長を変え、それぞれの波長を２つの撮像素子で別々に撮像する構造にすることで位置検出と画像認識とを同時に行うことを可能にする方法が提案されている。しかしながら、この方法では、撮像素子が２つ必要になることで、装置のサイズが大きくなってしまい、１つの撮像素子で位置検出と画像認識とを行う場合に比べて、ポータブル化のメリットが損なわれてしまい、また、コストも高くなってしまう。
また、特許文献１には、位置検出用と画像認識用とで照明光の波長を変えると共に、位置検出用の受光領域と画像認識用の受光領域とを別々に設けることで、１つの撮像素子によって位置検出と画像認識とを同時に行うことを可能にする方法が提案されている。しかしながら、この方法では、１つの撮像素子の画素を位置検出用と画像認識用とで半分ずつ分け合うことになるため、解像度が１／２に劣化してしまい、十分な撮像性能を得ることが困難となる。
そこで、２つの撮像素子を用いることによる装置の複雑化および大型化を招くことなく、また、撮像画像の解像度を１／２に劣化させることもなく、位置検出および画像認識のリアルタイム性を向上させることが可能な技術の開発が望まれる。
以下の第１の実施の形態では、本技術の画像処理装置を検出機能付き表示装置としてのプロジェクタに適用した例を説明する。
＜１．第１の実施の形態＞
［１．１ 構成］
図１は、本開示の第１の実施の形態に係る検出機能付き表示装置の一構成例を概略的に示している。図２は、検出機能付き表示装置の機能的な構成例を概略的に示している。図３は、検出機能付き表示装置を側面方向から見た一構成例を概略的に示している。図４は、検出機能付き表示装置における撮像部５の一構成例を概略的に示している。図５は、検出機能付き表示装置に用いられる複数の照明光のスペクトルと撮像部５のバンドパスフィルタ５２の透過特性との一例を示している。
第１の実施の形態に係る検出機能付き表示装置は、映像を投影面３０に投影するプロジェクタとしての機能と、投影面３０上における例えば人の指等の被位置検出物７１の位置や動作を検出するタッチ検出（位置検出）機能と、投影面３０上におけるカードやメディア等の被画像認識物７２を画像認識する機能とを有している。被画像認識物７２としてのカードは、例えばトレーディングカード等のゲームに用いられるカードであってもよい。被画像認識物７２としてのメディアは、ＣＤ（Compact Disc）（登録商標）、ＤＶＤ（Digital Versatile Disc）（登録商標）、およびＢＤ（Blu-ray Disc）（登録商標）のようなパッケージメディアであってもよい。
なお、投影面３０は投影用のスクリーンであってもよい。また、投影面３０は机の表面や床面等であってもよい。また、投影面３０は、壁面などであってもよい。
図１および図２に示したように、第１の実施の形態に係る検出機能付き表示装置は、映像投影用照明部１と、位置検出用照明部２と、画像認識用照明部３と、投影光学系４と、撮像部５と、検出画像処理部６と、照明制御部７と、表示制御部８とを備えている。第１の実施の形態に係る検出機能付き表示装置は、さらに、ライトバルブ２１と、偏光分離素子２３とを備えている。
映像投影用照明部１は、映像投影用照明光４１を出射する。ライトバルブ２１は、偏光分離素子２３を介して、映像投影用照明部１から出射された映像投影用照明光４１によって照明される。
映像投影用照明部１は、図４に示したように、照明光学系１０と、光源部１１とを有している。光源部１１は、例えば、図５に示したように、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）のスペクトルを持つ光を発するレーザ光源を有している。光源部１１は、例えば、Ｂ光を発する青色レーザ１１Ｂと、Ｇ光を発する緑色レーザ１１Ｇと、Ｒ光を発する赤色レーザ１１Ｒとを有している。赤色レーザ１１Ｒ、緑色レーザ１１Ｇ、および青色レーザ１１Ｂはそれぞれ、例えば図示しない発光制御部によってフィールドシーケンシャル方式で発光制御されてもよい。
照明光学系１０は、光源部１１からの光に基づいてＲＧＢのスペクトルを持つ映像投影用照明光４１を生成する。照明光学系１０は、光源部１１からの各色光を集光するコンデンサレンズ、各色光を均一化する光均一化部材、および各色の光路を合成する光路合成部材等を有していてもよい。
ライトバルブ２１は、表示制御部８から供給された映像データに基づいて映像投影用照明光４１を変調して映像光４４を生成する。ライトバルブ２１は、例えばＬＣＯＳ（Liquid Crystal On Silicon）等の反射型の液晶素子である。ライトバルブ２１で生成された映像光４４は、偏光分離素子２３、および投影光学系４を介して投影面３０に投影される。
位置検出用照明部２は、投影面３０上における被位置検出物７１の位置検出に用いられる位置検出用照明光４２を出射する。位置検出用照明部２は、例えば本体１００の下部に設けられている。位置検出用照明部２は、少なくとも投影面３０における映像光４４の投影エリア３１を所定の高さから覆うように位置検出用照明光４２を出射する。
画像認識用照明部３は、投影面３０上における被画像認識物７２の画像認識に用いられる画像認識用照明光４３を出射する。画像認識用照明部３は、少なくとも投影面３０における映像光４４の投影エリア３１を含む領域を画像認識用照明光４３によって照明する。
位置検出用照明光４２および画像認識用照明光４３の波長帯域は、例えば、図５に示したように、映像投影用照明光４１の波長帯域とは異なり、かつ、位置検出用照明光４２の中心波長と画像認識用照明光４３の中心波長とが互いに略同一となっている。
図５に示したように、例えば、映像投影用照明光４１の波長帯域は可視域であり、位置検出用照明光４２および画像認識用照明光４３の波長帯域は近赤外域となっている。位置検出用照明部２および画像認識用照明部３はそれぞれ、例えば、近赤外光源を含んでいる。画像認識用照明光４３の波長帯域は、例えば、位置検出用照明光４２の波長帯域よりも広いことが望ましい。
照明制御部７は、位置検出用照明部２による位置検出用照明光４２のオン（出射）、オフ（非出射）の切り替え制御と、画像認識用照明部３による画像認識用照明光４３のオン（出射）、オフ（非出射）の切り替え制御とを行うようになっている。
照明制御部７は、位置検出用照明光４２と画像認識用照明光４３とが互いに異なるタイミンクで出射されるように、位置検出用照明部２および画像認識用照明部３を制御する。照明制御部７は、検出画像処理部６において被位置検出物７１の位置検出を行う位置検出モード時には、位置検出用照明光４２および画像認識用照明光４３のうち位置検出用照明光４２のみを出射させるように、位置検出用照明部２および画像認識用照明部３を制御する。また、照明制御部７は、検出画像処理部６において被画像認識物７２の画像認識を行う画像認識モード時には、位置検出用照明光４２および画像認識用照明光４３のうち、画像認識用照明光４３を出射させるように、位置検出用照明部２および画像認識用照明部３を制御する。
照明制御部７は、画像認識用照明光４３による照明期間よりも位置検出用照明光４２による照明期間の方が長くなるように、位置検出用照明部２および画像認識用照明部３を制御することが望ましい。また、照明制御部７は、位置検出用照明光４２が少なくとも３フレームの期間に亘って出射されるように、位置検出用照明部２を制御することが望ましい。
検出画像処理部６は、撮像部５の撮像結果に基づいて、被位置検出物７１の位置検出および被画像認識物７２の画像認識を行う画像処理部となっている。検出画像処理部６は、例えば、撮像部５からの検出信号を解析して、検出された物体の位置データ（座標データ）を取得する。検出画像処理部６は、被位置検出物７１の位置だけでなく、被位置検出物７１によるジェスチャー動作等の動きを解析する機能を有していてもよい。
検出画像処理部６は、撮像部５による撮像画像の輝度情報に基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断する。検出画像処理部６は、位置検出用照明光４２に切り替わった状態における撮像部５の撮像結果に基づいて被位置検出物７１の位置検出を行う。また、検出画像処理部６は、画像認識用照明光４３に切り替わった状態における撮像部５の撮像結果に基づいて被画像認識物７２の画像認識を行う。
検出画像処理部６は、例えば、撮像画像の輝度分布のヒストグラムに基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断する。この検出画像処理部６による位置検出用照明光４２と画像認識用照明光４３との切り替わりの判断手法については、後に詳述する。
表示制御部８から供給される映像データには、検出画像処理部６によって認識された被画像認識物７２の画像に関連する情報を含む映像データが含まれていてもよい。
投影光学系４は、図２に示したように、投射レンズ２４を有している。投射レンズ２４は、超短焦点レンズであってもよい。投影光学系４は、映像を投影するための機能の他、位置検出および画像認識のための結像光学系としての機能を有している。投影光学系４には、ライトバルブ２１で生成された映像光４４が入射すると共に、画像認識用照明光４３と、被位置検出物７１による位置検出用照明光４２の散乱光Ｌａとが投影面３０側から取り込まれる。
撮像部５は、撮像素子２２と、撮像光学系２５とを有している。撮像部５には、位置検出用照明光４２と画像認識用照明光４３とが互いに異なるタイミンクで入射する。
撮像素子２２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの固体撮像素子で構成されている。撮像素子２２は、投影面３０と光学的に共役な位置に配置されている。また、撮像素子２２は、ライトバルブ２１と光学的に共役な位置に配置されている。より具体的には、ライトバルブ２１が反射型の液晶素子である場合、映像を作り出す表示面（液晶面）と撮像素子２２の撮像面とが光学的に共役な位置となるように配置されている。撮像素子２２には、投影光学系４および偏光分離素子２３を介して、位置検出用照明光４２の散乱光Ｌａおよび画像認識用照明光４３が入射する。撮像素子２２は、少なくとも投影面３０上の投影エリア３１と略同一のエリアを撮像エリアとした撮像を行うことが可能となっている。
撮像光学系２５は、図４に示したように、ライトバルブ２１の光学的な共役面５０と撮像素子２２との間に配置されている。撮像光学系２５は、例えば図４に示したように、複数枚のリレーレンズ５３を含む縮小光学系５１と、バンドパスフィルタ５２とを有している。
リレーレンズ５３を含む縮小光学系５１を配置することで、ライトバルブ２１と光学的に共役な位置を共役面５０よりも遠方に設けることができる。また、縮小光学系５１を配置することで、ライトバルブ２１と光学的に共役な位置に配置しつつ、撮像素子２２のサイズをライトバルブ２１よりも小さくすることができる。
バンドパスフィルタ５２は、映像投影用照明光４１と位置検出用照明光４２および画像認識用照明光４３とを分離するために設けられている。バンドパスフィルタ５２は、例えば図５に示したように、映像投影用照明光４１を抑制し、位置検出用照明光４２および画像認識用照明光４３の中心帯域を透過するような透過特性とされている。
撮像素子２２上に結像する光は微弱であるため、画像認識および位置検出の際に信号のサチレーションを防ぐ目的でバンドパスフィルタ５２を挿入することが重要となる。バンドパスフィルタ５２の特性を、近赤外領域を透過し、可視光、および近赤外以外の赤外光は抑制する特性にすることにより、プロジェクタとしての機能と位置検出および画像認識の機能とを両立させることが可能となる。バンドパスフィルタ５２によって位置検出および画像認識の際に不要となる光を抑制することで、撮像素子２２上には位置検出光（位置検出用照明光４２の散乱光Ｌａ）と画像認識光（画像認識用照明光４３）とを信号光として導くことが可能となる。これにより、撮像素子２２上でＳ／Ｎのよい鮮明な画像情報を得ることが可能となる。この特性に律速し、上述したように、位置検出用照明光４２および画像認識用照明光４３の中心波長は略同一の波長帯とすることが望ましい。
偏光分離素子２３は、例えば図４に示したように、４つの光学面を有する偏光ビームスプリッタとなっている。ここでは、図４における水平方向に対向する２つの面を第１の光学面および第３の光学面とし、垂直方向に対向する２つの面を第２の光学面および第４の光学面として説明する。図４に示したように、第１の光学面には、映像投影用照明部１からの映像投影用照明光４１が入射する。ライトバルブ２１は、偏光分離素子２３の第２の光学面側に配置されている。偏光分離素子２３の第３の光学面側には、撮像部５が配置されている。偏光分離素子２３の第４の光学面側には、投影光学系４が配置されている。
偏光分離素子２３は、入射した光を第１の偏光成分（例えばＳ偏光成分）と第２の偏光成分（例えばＰ偏光成分）とに分離し、それぞれを互いに異なる方向に出射する。偏光分離素子２３は、特定の第１の偏光成分を選択的に反射させると共に、特定の第２の偏光成分を選択的に透過させる。偏光分離素子２３は、第１の光学面に入射した映像投影用照明光４１に含まれる第１の偏光成分をライトバルブ２１に向けて反射する。ライトバルブ２１で変調され、第２の偏光成分とされた光が、偏光分離素子２３の第４の光学面から出射し、映像光４４として投影光学系４に入射する。
また、偏光分離素子２３の第４の光学面には、投影光学系４を介して位置検出用照明光４２の散乱光Ｌａと画像認識用照明光４３とが入射する。偏光分離素子２３は、位置検出用照明光４２の散乱光Ｌａおよび画像認識用照明光４３に含まれる第１の偏光成分を第３の光学面を介して撮像部５に向けて反射する。
［１．２ 動作］
（画像認識について）
図６は、撮像部５による被画像認識物７２の撮像結果の一例を模式的に示している。
図６の撮像結果は、映像光４４を投影しつつ、画像認識モードにした場合の被画像認識物７２の撮像結果の一例を模式的に示している。ここでの画像認識モードとは、画像認識用照明オン、かつ位置検出照明オフにした状態とする。
上記の構成により、映像光４４によって投影面３０に投影された映像情報には影響を受けずに、投影エリア３１に配置された被画像認識物７２の情報を、図６のように画像認識用照明光４３で照らされた輝度の情報として、撮像素子２２によって撮像することができる。検出画像処理部６は、撮像素子２２による検出信号を画像処理し、被画像認識物７２を個体認識する。被画像認識物７２がカードやＣＤ等の場合、検出画像処理部６は、表面に印刷された絵柄といった特徴点を認識することで、被画像認識物７２を個体認識する。検出画像処理部６は、認識した被画像認識物７２に関連する情報を表示制御部８にフィードバックする。表示制御部８は、認識した被画像認識物７２に関連する情報が含まれる映像データをライトバルブ２１に供給する。これにより、認識した被画像認識物７２に関連する情報を映像として投影することができる。
図６は、撮像素子２２によって撮像された被画像認識物７２の画像を模式的に示しているが、図６を見ても分かるとおり、撮像素子２２で撮像された画像には台形歪や位置ずれはほとんど無い。仮に、検出機能付き表示装置とは別体として設けられたカメラで撮像した画像の場合には、位置ずれが発生しやすく、また、第１の実施の形態に係る検出機能付き表示装置とは投射スタイル（撮像スタイル）が異なり、カメラの画角や物体との像関係のずれにより台形歪が容易に発生してしまう。第１の実施の形態に係る検出機能付き表示装置の構成では、被画像認識物７２から撮像素子２２に至る光路上に投影光学系４が配置され、画像認識のための光学系が映像投影用の光学系と部分的に共通化されている。これにより、台形歪や位置ずれの発生が抑制される。台形歪や位置ずれの発生を抑制するために、投影光学系４に超短焦点の投射レンズ２４を用いることが望ましい。
（位置検出について）
図７は、撮像部５による被位置検出物７１の撮像結果の一例を模式的に示している。図７の撮像結果は、映像光４４を投影しつつ、位置検出モードにした場合の被位置検出物７１の撮像結果の一例を模式的に示している。ここでの位置検出モードとは、画像認識用照明オフ、かつ位置検出照明オンにした状態とする。
第１の実施の形態に係る検出機能付き表示装置では、画像認識だけではなく、位置検出機能があり、タブレット端末等での直感的な操作を踏襲したタッチインタラクションの機能を実現可能となっている。これにより、ユーザに対して、より自然な操作や、映像提供側が意図した映像体験を実現することができる。
位置検出用照明部２は、図１および図３に示すように、少なくとも投影面３０における映像光４４の投影エリア３１を所定の高さから覆うように広角で広げられた位置検出用照明光４２を、本体１００の下部から出射する。これにより、少なくとも投影面３０における投影エリア３１が、所定の高さから位置検出用照明光４２による近赤外光バリアで覆われる。このような近赤外光バリアで覆うことにより、指等の被位置検出物７１による指示が無い場合は位置検出用照明光４２は拡散しない。一方、指等で投影エリア３１を指し示した場合には、近赤外光バリアを遮る形となり、指等に当たった位置検出用照明光４２の散乱光Ｌａが生じる。この位置検出用照明光４２の散乱光Ｌａが、上記した画像認識の場合と同様に、投影光学系４および偏光分離素子２３を介して、撮像素子２２に入射する。ここで、撮像素子２２と投影面３０は光学的に共役の関係にある位置に配置してあるため、映像投影位置と指等による指し示した位置とが１：１の関係にある。従って、検出画像処理部６によって撮像素子２２の撮像結果に基づく検出信号を解析することで、投影面３０上で指等で指し示した位置（座標）を特定することができる。検出画像処理部６は、特定した位置情報を表示制御部８にフィードバックすることで、投影する映像データに反映させる。これにより、ユーザは指等をマウスのポインタのような役割として、映像を操作することが可能となる。
検出画像処理部６において、指等で指示した位置を特定する場合、例えば、適切なしきい値を設けて検出信号を２値化することで、ノイズ成分と分離して位置信号を抽出することができる。ただし、第１の実施の形態検出機能付き表示装置では、位置検出用照明光４２および画像認識用照明光４３の中心波長を略同一にしているため、画像認識用照明光４３を投影面３０に照らしていると、ノイズレベルが非常に高くなり、位置信号を抽出することが困難となる。従って、位置検出モードでは、画像認識用照明光４３を適切なタイミングでオフすることが望ましい。
（位置検出用照明光４２の高さと被画像認識物７２の高さとの関係）
位置検出用照明部２は、上述したように、投影面３０に対して所定の高さから位置検出用照明光４２を出射する。この場合において、位置検出用照明部２は、投影面３０に対して被画像認識物７２を所定数重ねた高さよりも高い位置から、投影面３０に対して略平行となる光を、位置検出用照明光４２として出射することが望ましい。
上述したように、本実施の形態に係る検出機能付き表示装置では、指等の被位置検出物７１を検出する場合、指等によって位置検出用照明光４２による近赤外光バリアが遮られた場合に発生する散乱光Ｌａを検出する。このため、指等で投影面３０の近傍を指し示していない場合には、散乱光Ｌａが発生しない状態にすることが望ましい。従って、位置検出用照明光４２の投影面３０に対する高さが低すぎると、投影面３０に配置される被画像認識物７２によって散乱光Ｌａが発生しまうので、被画像認識物７２によって散乱光Ｌａが発生しないような高さから位置検出用照明光４２を出射することが望ましい。
なお、上記した所定数とは、想定される被画像認識物７２に応じた数に設定することが望ましい。例えば、本実施の形態に係る装置をカードゲームに適用する場合、被画像認識物７２はカードになるが、その場合、カードは複数枚重ねて使用する形態があり得る。この場合、所定数とは複数枚となり得る。また、被画像認識物７２がＣＤやＤＶＤ等のパッケージメディアである場合、通常は、メディアを重ねて使用しない形態であり得る。この場合、所定数とは１枚となり得る。
（画像認識用照明光４３の拡散角について）
画像認識用照明光４３の出射拡散角θ２は、図３に示したように、位置検出用照明光４２の出射拡散角θ１よりも大きいことが望ましい。また、画像認識用照明光４３の出射拡散角θ２の大きさは、位置検出用照明光４２の出射拡散角θ１の大きさの１０倍以上であることが望ましい。なお、ここでいう出射拡散角θ１，θ２とは、投影面３０に対して垂直方向の拡散角である。
例えば、位置検出用照明光４２の出射拡散角θ１は２°以内であってもよい。また、画像認識用照明光４３の出射拡散角θ２は、投影エリア３１の大きさにも依存するが、３０°以上であってもよい。
（各照明光の出射位置）
画像認識用照明部３における画像認識用照明光４３の出射位置Ｐ３は、図３に示したように、投影面３０に対して、位置検出用照明部２における位置検出用照明光４２の出射位置Ｐ２よりも遠方であることが望ましい。
また、投影光学系４における映像光４４の出射位置Ｐ１は、図３に示したように、投影面３０に対して、位置検出用照明部２における位置検出用照明光４２の出射位置Ｐ２よりも遠方であることが望ましい。また、画像認識用照明部３における画像認識用照明光４３の出射位置Ｐ３は、図３に示したように、投影面３０に対して、投影光学系４における映像光４４の出射位置Ｐ１よりも遠方であることが望ましい。
（位置検出用照明光４２と画像認識用照明光４３との切り替わりの判断について）
図８は、ローリングシャッタ方式による撮像素子２２の露光タイミングの一例を示している。図９は、ローリングシャッタ方式による撮像を行った場合における位置検出用照明光と画像認識用照明光との切り替わり時の撮像画像の一例を模式的に示している。
第１の実施の形態に係る検出機能付き表示装置では、例えば、画像認識モードと位置検出モードとを所定のタイミングで切り替え、画像認識と位置検出とを時分割で交互に行う。この際、第１の実施の形態に係る検出機能付き表示装置では、モードの切り替えを高速に行うことにより、位置検出と画像認識とを略同時に近いタイミングで行うことが可能となる。しかしながら、特に、撮像部５において、撮像素子２２がＣＭＯＳセンサ等のローリングシャッタ方式による撮像を行うものである場合、照明光の切り替え時に図９に示すような画像が発生してしまう。
図８において、ＶＤは垂直同期信号のタイミングを示す。図８には、撮像素子２２の各水平画素ラインごとの露光タイミングの一例を示す。ローリングシャッタ方式では、図８に示したように、露光タイミングが１水平画素ラインごとに異なり、１水平画素ラインごとに画素データのデータ転送を行う。このため、どのタイミングで照明光を切り替えても、切り替えの照明光による画像と切り替え後の照明光による画像とが混在した画像が発生してしまう。
例えば、画像認識用照明光４３から位置検出用照明光４２に切り替える場合、切り替え前には理想的には図６に示したような撮像画像が得られる。切り替え後には理想的には図７に示したような撮像画像が得られるが、実際には切り替え直後には、図９に示したように、切り替え前の照明光による画像と切り替え後の照明光による画像とが混在した撮像画像が発生してしまう。従って、この２つの照明光が混在した画像を判別することで、照明光の切り替えの終了タイミングを判断することが可能となる。２つの照明光が混在した画像の後に取得される画像は、完全に照明光が切り替わった状態における画像になる。
図１０は、図７に示したような位置検出用照明光４２のみによって照明された状態における位置検出モード時の撮像画像の輝度分布のヒストグラムの一例を示している。図１１は、図６に示したような画像認識用照明光４３のみによって照明された状態における画像認識モード時の撮像画像の輝度分布のヒストグラムの一例を示している。図１０および図１１において、横軸は輝度、縦軸は画素数を示す。
図１０に示したように、位置検出モード時の撮像画像の輝度分布のヒストグラムは、輝度分布が暗い方に偏っている。逆に、図１１に示したように、画像認識モード時の撮像画像の輝度分布のヒストグラムは、輝度分布が明るい方に偏っている。従って、取得された画像の上部の輝度と下部の輝度との差が著しく異なる場合、照明光の切り替え途中の図９のような画像が取得されたことが判明するため、その後に取得される画像は、照明光の切り替わり後の画像になることがわかる。
以上のことから、検出画像処理部６は、撮像画像の輝度分布のヒストグラムに基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断することが可能となる。
検出画像処理部６は、例えば、少なくとも撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とに基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断することができる。上述したように、図９に示したような２つの照明光が混在した撮像画像では、画像の上部の輝度と下部の輝度との差が著しく異なるため、例えば最上部の１ライン分の画素の輝度と最下部の１ライン分の画素の輝度とに基づいて、照明光の切り替わりを判断することが可能となる。
また、検出画像処理部６は、例えば、撮像画像の全画素の輝度情報に基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断するようにしてもよい。図１０および図１１に示したように、位置検出モード時の撮像画像の輝度分布と画像認識モード時の撮像画像の輝度分布は全体的に異なっているので、全画素の輝度情報に基づいて、照明光の切り替わりを判断することが可能となる。
また、検出画像処理部６は、例えば、撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とのいずれか一方に基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断するようにしてもよい。例えば、撮像素子２２の仕様として、画素データの切り替わりが上側から切り替わるのか、下側から切り替わるのかが、あらかじめ分かっていれば、画素データの切り替わりが終わる上側または下側の１ライン分の画素の輝度分布を見るだけで、照明光の切り替わりの判断が可能となる。
（位置検出用照明光４２と画像認識用照明光４３との各照明期間について）
以下で説明するように、照明制御部７は、画像認識用照明光４３による照明期間よりも位置検出用照明光４２による照明期間の方が長くなるように、位置検出用照明部２および画像認識用照明部３を制御することが望ましい。また、照明制御部７は、位置検出用照明光４２が少なくとも３フレームの期間に亘って出射されるように、位置検出用照明部２を制御することが望ましい。
図１２は、位置検出用照明光４２と画像認識用照明光４３との切り替えタイミングの一例を示すタイミングチャートである。図１２の上側には、画像認識用照明光４３による照明期間よりも位置検出用照明光４２による照明期間の方を長くした例を示す。図１２の上側には、一例として、位置検出用照明光４２による照明期間と画像認識用照明光４３による照明期間との割合をフレーム数に換算して８：２にした例を示す。図１２の上側の例では、図１２の下側には、画像認識用照明光４３による照明期間と位置検出用照明光４２による照明期間とを同じにした例を示す。図１２の下側の例では、位置検出用照明光４２による照明期間と画像認識用照明光４３による照明期間との割合をフレーム数に換算して２：２にした例を示す。
上述したように、照明光の切り替わり直後のタイミングでは図９のような２つの照明光が混在した画像が取得される。この画像は、図１２に示したように位置検出用または画像認識用の画像としては使えない捨てフレームとなる。ここで、画像認識モードと位置検出モードの特性として、画像認識モードでは、画像の認識を頻繁に行わなくてもリアルタイム性を損ねることはないという特徴がある。一方、位置検出モードでは、動いている指等の位置検出するなど、かなりのリアルタイム性が必要となるため、できるだけ検出不可能な期間を少なくすることが好ましい。
従って、１秒間に取得できる画像のフレーム数に対して、画像認識モード時には少な目に、位置検出モード時には多めにフレームを割り当てることで、位置検出と画像認識のどちらもリアルタイム性を高めることができる。その際に、位置検出モード時の照明期間を図１２の上側の例のように、３フレーム以上、連続して取るようにすると、単位時間内に発生する照明の切り替え回数を減らすことができる。このため、ローリングシャッタの特性によって、切り替え前後の画像が混在する回数を減らすことができ、図１２の下側の例のように位置検出用の画像と画像認識用の画像とを同じ割合で取得する場合に比べて、単位時間内に取得できる有効画像のフレーム数を増やすことができる。
なお、位置検出用照明光４２による照明期間を長くしすぎると、画像認識のリアルタイム性が低下するため、位置検出用照明光４２による連続する照明期間は例えば０．５秒以下にすることが好ましい。１秒間の撮像フレーム数が３０フレームの場合、位置検出用照明光４２による連続する照明期間は、例えば１２フレーム以下にすることが好ましい。
［１．３ 効果］
以上説明したように、第１の実施の形態に係る検出機能付き表示装置によれば、２つの撮像素子を用いることによる装置の複雑化および大型化を招くことなく、また、撮像画像の解像度を１／２に劣化させることもなく、位置検出および画像認識のリアルタイム性を向上させることが可能となる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、上記第１の実施の形態では、本技術の画像処理装置を検出機能付き表示装置としてのプロジェクタに適用した場合について説明したが、本技術の画像処理装置はプロジェクタ以外の表示装置にも適用可能である。また、本技術の画像処理装置は、画像表示の機能を有さない装置にも適用可能である。
例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、位置検出および画像認識のリアルタイム性を向上させることが可能となる。
（１）
被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、
被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、
前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで出射されるように、前記位置検出用照明部および前記画像認識用照明部を制御する照明制御部と、
前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、
前記撮像部による撮像画像の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断し、前記位置検出用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被位置検出物の位置検出を行うと共に、前記画像認識用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被画像認識物の画像認識を行う画像処理部と
を備える
画像処理装置。
（２）
前記画像処理部は、前記撮像画像の輝度分布のヒストグラムに基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
上記（１）に記載の画像処理装置。
（３）
前記画像処理部は、少なくとも前記撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とに基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
上記（１）または（２）に記載の画像処理装置。
（４）
前記画像処理部は、前記撮像画像の全画素の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
上記（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
前記画像処理部は、前記撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とのいずれか一方に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
上記（１）または（２）に記載の画像処理装置。
（６）
前記照明制御部は、前記画像認識用照明光による照明期間よりも前記位置検出用照明光による照明期間の方が長くなるように、前記位置検出用照明部および前記画像認識用照明部を制御する
上記（１）ないし（５）のいずれか１つに記載の画像処理装置。
（７）
前記照明制御部は、前記位置検出用照明光が少なくとも３フレームの期間に亘って出射されるように、前記位置検出用照明部を制御する
上記（６）に記載の画像処理装置。
（８）
前記撮像部は、ローリングシャッタ方式による撮像を行う
上記（１）ないし（７）のいずれか１つに記載の画像処理装置。
（９）
映像投影用照明光を出射する映像投影用照明部と、
映像データに基づいて前記映像投影用照明光を変調して映像光を生成するライトバルブと、
被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、
被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、
前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで出射されるように、前記位置検出用照明部および前記画像認識用照明部を制御する照明制御部と、
前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、
前記撮像部による撮像画像の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断し、前記位置検出用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被位置検出物の位置検出を行うと共に、前記画像認識用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被画像認識物の画像認識を行う画像処理部と
を備える
検出機能付き表示装置。
（１０）
前記映像光を投影面に投影する投影光学系、をさらに備える
上記（９）に記載の検出機能付き表示装置。
１…映像投影用照明部、２…位置検出用照明部、３…画像認識用照明部、４…投影光学系、５…撮像部、６…検出画像処理部、７…照明制御部、８…表示制御部、１０…照明光学系、１１…光源部、１１Ｂ…青色レーザ、１１Ｇ…緑色レーザ、１１Ｒ…赤色レーザ、２１…ライトバルブ、２２…撮像素子、２３…偏光分離素子、２４…投射レンズ、２５…撮像光学系、３０…スクリーン（投影面）、３１…投影エリア、４１…映像投影用照明光、４２…位置検出用照明光、４３…画像認識用照明光、４４…映像光、５０…共役面、５１…縮小光学系、５２…バンドパスフィルタ、５３…リレーレンズ、７１…被位置検出物、７２…被画像認識物、１００…本体、Ｌａ…散乱光、Ｐ１…映像光の出射位置、Ｐ２…位置検出用照明光の出射位置、Ｐ３…画像認識用照明光の出射位置、θ１…位置検出用照明光の出射拡散角、θ２…画像認識用照明光の出射拡散角。

Claims (10)

  1. 被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、
    被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、
    前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで出射されるように、前記位置検出用照明部および前記画像認識用照明部を制御する照明制御部と、
    前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、
    前記撮像部による撮像画像の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断し、前記位置検出用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被位置検出物の位置検出を行うと共に、前記画像認識用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被画像認識物の画像認識を行う画像処理部と
    を備える
    画像処理装置。
  2. 前記画像処理部は、前記撮像画像の輝度分布のヒストグラムに基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
    請求項１に記載の画像処理装置。
  3. 前記画像処理部は、少なくとも前記撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とに基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
    請求項１に記載の画像処理装置。
  4. 前記画像処理部は、前記撮像画像の全画素の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
    請求項１に記載の画像処理装置。
  5. 前記画像処理部は、前記撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とのいずれか一方に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
    請求項１に記載の画像処理装置。
  6. 前記照明制御部は、前記画像認識用照明光による照明期間よりも前記位置検出用照明光による照明期間の方が長くなるように、前記位置検出用照明部および前記画像認識用照明部を制御する
    請求項１に記載の画像処理装置。
  7. 前記照明制御部は、前記位置検出用照明光が少なくとも３フレームの期間に亘って出射されるように、前記位置検出用照明部を制御する
    請求項６に記載の画像処理装置。
  8. 前記撮像部は、ローリングシャッタ方式による撮像を行う
    請求項１に記載の画像処理装置。
  9. 映像投影用照明光を出射する映像投影用照明部と、
    映像データに基づいて前記映像投影用照明光を変調して映像光を生成するライトバルブと、
    被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、
    被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、
    前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで出射されるように、前記位置検出用照明部および前記画像認識用照明部を制御する照明制御部と、
    前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、
    前記撮像部による撮像画像の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断し、前記位置検出用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被位置検出物の位置検出を行うと共に、前記画像認識用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被画像認識物の画像認識を行う画像処理部と
    を備える
    検出機能付き表示装置。
  10. 前記映像光を投影面に投影する投影光学系、をさらに備える
    請求項９に記載の検出機能付き表示装置。
JP2018237899A 2018-12-20 2018-12-20 画像処理装置、および検出機能付き表示装置 Pending JP2020101878A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018237899A JP2020101878A (ja) 2018-12-20 2018-12-20 画像処理装置、および検出機能付き表示装置
CN201980082512.8A CN113168266A (zh) 2018-12-20 2019-11-22 具有检测功能的图像处理设备和显示设备
US17/413,816 US11429229B2 (en) 2018-12-20 2019-11-22 Image processing apparatus and display apparatus with detection function
PCT/JP2019/045724 WO2020129536A1 (ja) 2018-12-20 2019-11-22 画像処理装置、および検出機能付き表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018237899A JP2020101878A (ja) 2018-12-20 2018-12-20 画像処理装置、および検出機能付き表示装置

Publications (1)

Publication Number Publication Date
JP2020101878A true JP2020101878A (ja) 2020-07-02

Family

ID=71100429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018237899A Pending JP2020101878A (ja) 2018-12-20 2018-12-20 画像処理装置、および検出機能付き表示装置

Country Status (4)

Country Link
US (1) US11429229B2 (ja)
JP (1) JP2020101878A (ja)
CN (1) CN113168266A (ja)
WO (1) WO2020129536A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149537A1 (ja) * 2022-02-07 2023-08-10 パナソニックＩｐマネジメント株式会社 投影撮像光学系及び投写型映像表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3994672B2 (ja) * 2000-03-31 2007-10-24 セイコーエプソン株式会社 画像処理を用いた指示位置の検出
JP4497890B2 (ja) * 2003-10-30 2010-07-07 キヤノン株式会社 投射型画像表示装置
JP2009031798A (ja) * 2008-07-28 2009-02-12 Seiko Epson Corp 画像表示方法及び装置並びにプロジェクタ
JP5423222B2 (ja) * 2009-08-07 2014-02-19 ソニー株式会社 位置検出装置および位置検出方法
JP2012014668A (ja) * 2010-06-04 2012-01-19 Sony Corp 画像処理装置、画像処理方法、プログラム、および電子装置
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
US9207812B2 (en) * 2012-01-11 2015-12-08 Smart Technologies Ulc Interactive input system and method
JP2013196475A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
JP6128008B2 (ja) * 2013-08-26 2017-05-17 ソニー株式会社 投射型表示装置
CN104092941A (zh) * 2014-07-10 2014-10-08 深圳市得意自动化科技有限公司 摄像元件的摄像方法
WO2016017315A1 (ja) * 2014-07-29 2016-02-04 ソニー株式会社 投射型表示装置
JP2016186674A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6596501B2 (ja) * 2015-10-07 2019-10-23 マクセル株式会社 映像表示装置およびこれに用いる操作検出方法
JP6888628B2 (ja) * 2016-09-13 2021-06-16 ソニーグループ株式会社 検出機能付き表示装置
JP6199472B2 (ja) * 2016-11-01 2017-09-20 日立マクセル株式会社 プロジェクタ及びヘッドマウント型表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149537A1 (ja) * 2022-02-07 2023-08-10 パナソニックＩｐマネジメント株式会社 投影撮像光学系及び投写型映像表示装置

Also Published As

Publication number Publication date
US11429229B2 (en) 2022-08-30
CN113168266A (zh) 2021-07-23
WO2020129536A1 (ja) 2020-06-25
US20220019301A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
JP5431312B2 (ja) プロジェクタ
KR100917524B1 (ko) 위치 검출 장치
JP4707034B2 (ja) 画像処理方法、入力インタフェース装置
US9785267B2 (en) Display apparatus, display system, and control method
US10627962B2 (en) Projector
CN104658462B (zh) 投影机以及投影机的控制方法
JP2013064827A (ja) 電子機器
US10671221B2 (en) Display apparatus with detection function
JP6525603B2 (ja) 撮像装置
WO2020129536A1 (ja) 画像処理装置、および検出機能付き表示装置
CN107731198A (zh) 显示装置和显示装置的控制方法
JP2012181264A (ja) 投影装置、投影方法及びプログラム
US8752962B2 (en) Ophthalmic apparatus
JP7062751B2 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
WO2020250739A1 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
JP6883256B2 (ja) 投影装置
JP2016057363A (ja) 投影装置
JP2013026656A (ja) 撮影装置、撮影方法、および撮影プログラム
US8573786B2 (en) Projector apparatus and method for dynamically masking objects
JP2016220080A (ja) 撮像装置及び投影システム
JP2019109273A (ja) プロジェクタ
JP6969606B2 (ja) 検出機能付きプロジェクタ
JP2017201380A (ja) 投影撮像装置
CN115112042A (zh) 检测装置、检测方法以及空间投影装置
JP2010276912A (ja) 投写型映像表示装置