JP2013069272A - ユーザインタフェース表示装置 - Google Patents
ユーザインタフェース表示装置 Download PDFInfo
- Publication number
- JP2013069272A JP2013069272A JP2012185198A JP2012185198A JP2013069272A JP 2013069272 A JP2013069272 A JP 2013069272A JP 2012185198 A JP2012185198 A JP 2012185198A JP 2012185198 A JP2012185198 A JP 2012185198A JP 2013069272 A JP2013069272 A JP 2013069272A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- optical
- image
- user interface
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Abstract
【課題】空間に投影される空間像の周囲に、操作の障害となるような構造物がなく、操作者の手先を用いた空間像とのインタラクションを自然な形で行うことのできるユーザインタフェース表示装置を提供する。
【解決手段】結像機能を有するレンズ等の光学パネルOを、その光軸Qが操作者を基準とする仮想水平面Pと直交するように、この仮想水平面Pと平行に配置し、表示機能を有するフラットパネルディスプレイDを、仮想水平面Pに対して表示面Daを所定角度(θ)傾けた状態で、光学パネルOの下方に、その表示面を上向きにしてオフセット配置する。また、光学パネルOの上方に結像する空間像I’の下方または上方に、手先Hに向けて光を投射する光源Lと、この手先Hによる光の反射を撮影する光学的撮像手段(カメラC)とを配設する。
【選択図】図1
【解決手段】結像機能を有するレンズ等の光学パネルOを、その光軸Qが操作者を基準とする仮想水平面Pと直交するように、この仮想水平面Pと平行に配置し、表示機能を有するフラットパネルディスプレイDを、仮想水平面Pに対して表示面Daを所定角度(θ)傾けた状態で、光学パネルOの下方に、その表示面を上向きにしてオフセット配置する。また、光学パネルOの上方に結像する空間像I’の下方または上方に、手先Hに向けて光を投射する光源Lと、この手先Hによる光の反射を撮影する光学的撮像手段(カメラC)とを配設する。
【選択図】図1
Description
本発明は、空間像の周囲に配置された手先を動かすことにより、この手先の動きと双方向に連係するように(インタラクティブに)上記空間像を変化させるユーザインタフェース表示装置に関するものである。
空間に映像を表示する方式としては、二眼方式,多眼方式,空間像方式,体積表示方式,ホログラム方式等が知られており、近年では、映像を表示する表示装置において、空間に表示された二次元映像または三次元映像(空間像)を、手先や指等を用いて直感的に操作することができ、この空間像とインタラクション可能な表示装置が提案されている。
このような表示装置における手先や指等の認識入力手段(ユーザインタフェース)として、多数のLEDやランプ等により、検知領域(平面)に縦横の光の格子を形成し、この光の格子の入力体による遮蔽を受光素子等で検知して、その入力体(手先)の位置や座標等を検出するシステムが提案されている(特許文献1,2を参照)。
しかしながら、上記のように、検知領域(平面)に形成した光の格子の遮蔽を検知して入力体の位置や座標等を検出するユーザインタフェースを有する表示装置は、上記LEDや受光素子の設置に利用される枠(フレーム)が、空間像の手前位置(操作者側)に必ず配置され、この枠が操作者の視野に入って障害物として意識されてしまうため、操作者の手の動きが不自然になったり、滑らかでなくなってしまう場合がある。
本発明は、このような事情に鑑みなされたもので、空間に投影される空間像の周囲に、操作の障害となるような構造物がなく、操作者の手先を用いた空間像とのインタラクションを自然な形で行うことのできるユーザインタフェース表示装置の提供をその目的とする。
上記の目的を達成するため、本発明のユーザインタフェース表示装置は、フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学パネルを用いて所定距離離れた空間位置に結像させ、この空間像の周囲に位置する手先の動きに関連して、上記フラットパネルディスプレイの映像をインタラクティブに制御するユーザインタフェース表示装置であって、上記光学パネルは、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイは、上記仮想水平面に対して表示面を所定角度傾けた状態で、上記光学パネルの下方に、その表示面を上向きにしてオフセット配置されているとともに、上記光学パネルの上方に結像する空間像の下方または上方に、上記手先に向けて光を投射する光源と、この手先による上記光の反射を撮影するひとつの光学的撮像手段とが、対になって配設されているという構成をとる。
すなわち、本発明者は、前記課題を解決するため鋭意研究を重ね、手先を用いた入力時における操作者の心理的負担を軽減するために、空間像より離れた位置から少ない台数のカメラで手先を撮影することを着想した。そして、カメラで撮影した時の手先の動き(画像)に着目し、さらに研究を重ねた結果、ディスプレイとこのディスプレイの表示を結像させる光学パネルとを所定の位置関係に配置し、上記光学パネルの上方空間にディスプレイの表示(空間像)を投影するとともに、上記空間像の近傍に差し入れられる手先を、この空間像の下方または上方に配置されたカメラ等の光学的撮像手段で撮影し、この画像にもとづいて、上記手先の位置や座標を識別することにより、カメラ1台というシンプルな構成でも、入力体としての手先の動きを充分に検出できることを見出し、本発明に到達した。
本発明は、以上のような知見にもとづきなされたものであり、本発明のユーザインタフェース表示装置は、映像を表示するフラットパネルディスプレイと、映像を空間に投影するレンズ等の光学パネルとを備え、上記光学パネルが、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイが、上記光学パネルの下方に、その表示面を上向きにして傾けた状態で配置され、上記光学パネルの下方または上方に、光源およびひとつの光学的撮像手段が、対になって配設されている。これにより、本発明のユーザインタフェース表示装置は、操作者が、入力体の位置や座標等を検出するシステムを意識することなく、手先を用いた上記空間像とのインタラクション(相互作用的対話)を自然な形で行うことができる、ユーザフレンドリーな表示装置とすることができる。
さらに、本発明のユーザインタフェース表示装置は、上記のように、ひとつの光学的撮像手段のみで済むことから、簡単な設備かつ低コストで、手先の動きを検出するユーザインタフェース表示装置を構成することができるというメリットがある。しかも、上記光学的撮像手段(カメラ等)の配置の自由度が向上するため、このカメラ等を、操作者が意識することのない位置に配設する(隠す)ことも可能である。
また、本発明のユーザインタフェース表示装置のなかでも、特に、上記光源と光学的撮像手段とが、上記光学パネルの周囲に隣接して配置され、この光学的撮像手段が、上記光学パネルの上方に位置する手先による光の反射を撮影するようになっているものは、上記各光学部品を一体にユニット化することが可能で、これら光学部品の配置の自由度がより向上するとともに、ユーザインタフェース表示装置の構成の簡素化と低コスト化を進めることができる。
そして、本発明のユーザインタフェース表示装置は、なかでも、上記光源と上記光学的撮像手段およびフラットパネルディスプレイを制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像を演算により二値化して手先の形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先の位置を比較し、この手先の動きにもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する表示更新手段と、を備える構成を、好適に採用する。これにより、本発明のユーザインタフェース表示装置は、ひとつの光学的撮像手段のみを用いて、その画像解析から、人の手先の動きを高感度に検出することができる。また、上記検出にもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する(変化させる)ことにより、空間像と操作者の手先とのインタラクションが可能になる。
つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。
図1は、本発明のユーザインタフェース表示装置の構成を原理的に説明する図である。
本発明のユーザインタフェース表示装置は、手先Hの後方に位置する操作者(図示省略)の眼前に、フラットパネルディスプレイDに映し出される映像を、二次元的な空間像I’として投影・表示するものであり、上記操作者(の感覚)を基準とする仮想水平面P(二点鎖線)に平行に配置された光学パネルOと、この光学パネルOから離れた位置の下方に、その表示面Daを上向きにして所定角度θ傾けた状態で配置されたフラットパネルディスプレイDとを備える。そして、上記ユーザインタフェース表示装置は、上記手先Hに向けて光を投射する少なくともひとつの光源Lと、この手先Hによる反射光を撮影するための光学的撮像手段(カメラC)とが、上記光学パネルOにより投影される空間像I’の下方に、対になって配設されている。これが、本発明のユーザインタフェース表示装置の特徴である。
本発明のユーザインタフェース表示装置は、手先Hの後方に位置する操作者(図示省略)の眼前に、フラットパネルディスプレイDに映し出される映像を、二次元的な空間像I’として投影・表示するものであり、上記操作者(の感覚)を基準とする仮想水平面P(二点鎖線)に平行に配置された光学パネルOと、この光学パネルOから離れた位置の下方に、その表示面Daを上向きにして所定角度θ傾けた状態で配置されたフラットパネルディスプレイDとを備える。そして、上記ユーザインタフェース表示装置は、上記手先Hに向けて光を投射する少なくともひとつの光源Lと、この手先Hによる反射光を撮影するための光学的撮像手段(カメラC)とが、上記光学パネルOにより投影される空間像I’の下方に、対になって配設されている。これが、本発明のユーザインタフェース表示装置の特徴である。
上記ユーザインタフェース表示装置の構成をより詳しく説明すると、上記光学パネルOには、光学的に像を結像させることのできる、フレネル,レンチキュラー,フライアイ等のレンズやレンズアレイ、ミラー、マイクロミラーアレイ,プリズム等の光学部品(結像光学素子)が使用されており、なかでも、本実施形態においては、鮮明な空間像I’を結像することの可能なマイクロミラーアレイが、好適に採用されている。なお、この光学パネルOは、図1のように、その光軸Qが操作者を基準とする仮想水平面Pと直交する状態となるように、すなわち、このパネルOの表面または裏面が上記仮想水平面Pと平行になるように配置されている。
また、上記フラットパネルディスプレイDには、液晶ディスプレイ(LCD),有機ELディスプレイ,プラズマディスプレイ(PDP)等の平板型の自発光ディスプレイが好適に採用される。このフラットパネルディスプレイDは、光学パネルOから離れた位置の下方に、その表示面Daを上向きにして、上記仮想水平面Pに対して所定角度θ傾けた状態で配置される。なお、上記フラットパネルディスプレイDの仮想水平面Pに対する角度θは、10〜85°に設定される。また、上記フラットパネルディスプレイDとして、外部光源により反射光で発色するディスプレイや、ブラウン管式のディスプレイを利用することも可能である。
上記カメラCは、CMOSあるいはCCD等のイメージセンサを備えるもので、上記空間像Vの下方に、その撮影方向を上に向けて、1台のみ配設される。また、光源Lは、上記空間像I’に対して上記カメラCと同じ側(この例では下側)に配置されるもので、この光源Lとしては、例えばLEDや半導体レーザ(VCSEL)等、入力する操作者の視界を妨げないように、可視光以外の領域の光(例えば、波長700〜1000nm程度の赤外光)を発する発光体またはランプ等が使用される。なお、上記カメラCと光源Lとは、両者を対に(セットに)して空間像I’(手先H)の上方に配設してもよい。なお、本発明の入力デバイスで使用する光学的撮像手段としては、上記CMOSイメージセンサまたはCCDイメージセンサを用いたカメラCの他、フォトダイオード,フォトトランジスタ,フォトIC,フォトリフレクタ,CdS等の光電変換素子を用いた各種の光学式センサを用いることができる。
つぎに、本発明のユーザインタフェース表示装置のより具体的な実施形態について説明する。図2(a)は、第1実施形態のユーザインタフェース表示装置の概略構成を示す図であり、図2(b)は、このユーザインタフェース表示装置の光学パネル1周辺の平面図である。
この実施形態におけるユーザインタフェース表示装置においては、光学パネル1として、平凸状のフレネルレンズ(外形:170mm角,焦点距離:305mm)を2枚重ねたものを使用している。また、カメラ2として、1/4インチCMOSカメラ(アサヒ電子研究所製 NCM03−S)を使用し、光源3として、赤外LED(波長850nm,出力:8mW,ソーラボ社製 LED851W)を使用するとともに、フラットパネルディスプレイDとして、液晶ディスプレイ(パナソニック社製 12インチTFTディスプレイ)を使用している。
なお、図示は省略したが、上記ユーザインタフェース表示装置には、上記光源3とカメラ2およびフラットパネルディスプレイDを制御する制御手段と、上記光源3から手先Hに向かって投射された光の反射を二次元画像(H’)として取得し、この二次元画像を演算により二値化(H”)して手先Hの形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先Hの位置を比較し、この手先Hの動きにもとづいて、上記フラットパネルディスプレイDの映像を、上記手先Hの動きに対応した映像に更新する表示更新手段の各機能を備えるコンピュータが配設されている。また、上記フラットパネルディスプレイDの光学パネル1(仮想水平面P)に対する角度(表示面Daの角度)θは、この例では45°に設定されている。
つぎに、上記ユーザインタフェース表示装置の空間像I’周辺(検知領域内)に差し入れた手先Hの位置の特定と、その動きを検出する方法を、その過程(ステップ)ごとに順を追って説明する。
上記手先Hの位置(座標)の特定は、まず、図3(a)に示すように、手先Hの下方に配置された各光源3から、この手先Hに向けて光を投射する。なお、この投光は間欠発光でもよい〔投光ステップ〕。ついで、光を投射した状態で、上記手先Hに対して光源3と同じ側(この例では下方)に配設されたカメラ2によりこの手先Hを撮影し、その手先Hによる上記光の反射(反射光あるいは反射像)を、図3(b)に示すように、互いに直交するXY方向の座標軸を有する二次元画像H’(上記仮想水平面Pに平行な仮想撮影平面P’上の画像)として取得する〔撮像ステップ〕。
つぎに、得られた上記二次元画像H’を、しきい値にもとづいて二値化した後、図3(c)に示すように、その二値化画像H”のなかから、上記手先Hの外形形状(図中の斜線部分)を認識した後、例えば、拳から突出する指を識別して、その先端位置に相当する座標(指先座標T)を、演算により算出する。そして、この指先座標Tを制御手段(コンピュータ)等の記憶手段に記憶する〔座標特定ステップ〕。
上記手先Hの動きを検出する過程は、上記特定された指先座標Tを利用する。その方法は、まず、決められた時間間隔で、上記光を投射するステップ〔投光ステップ〕と、二次元画像を取得するステップ〔撮像ステップ〕と、指先座標Tを算出するステップ〔座標特定ステップ〕とを繰り返し、この繰り返し後の指先座標Tを改めて計測する〔計測ステップ〕。
そして、上記繰り返しの経過前後の指先座標T(Xm,Yn)の値を用いて、上記指先座標Tの移動距離と方向を算出し、その結果にもとづいて、フラットパネルディスプレイDの映像、すなわち空間像I’を、上記手先Hの動きに対応した映像に更新する〔表示更新ステップ〕。
例えば、図4に示すように、手先(入力体)が水平方向にスライド移動(H0→H1)した場合、先に述べた指先座標Tは、図5(a)の二値化画像(H0”→H1”)のように移動する。すなわち、上記指先座標Tは、移動前の最初の位置(座標T0)から、実線で示す移動後の位置(座標T1)まで移動する。この際、上記〔計測ステップ〕の繰り返しにより、その前後の座標(X0,Y0)および座標(X1,Y1)の値を用いて、上記指先の移動距離と方向を算出することができる。
なお、上記手先Hの動きを検出する際に、図5(b)に示すように、XY方向の座標軸を有する仮想撮影平面P’上に、指先座標Tの動き(T0→T2)をエリアごとに4つの方向〔X(+),X(−),Y(+),Y(−)〕に割り当てる識別領域を設定しておいてもよい。このように構成すれば、上記手先Hを、コンピュータにおけるマウス装置やタブレット装置等のように、指先座標Tの移動により4方向(XYそれぞれの+−方向)の信号を簡易的に出力するポインティングデバイスとして取り扱うことができる。すなわち、上記〔判定ステップ〕による手先Hの動きの検出と同時に、上記フラットパネルディスプレイDの表示を、手先Hの動きに対応して、リアルタイムで更新することができる。なお、上記識別領域におけるエリアの設定角度αや形状,配置等は、上記信号を出力する機器やアプリケーション等に応じて設定すればよい。
上記のように、本発明の第1実施形態のユーザインタフェース表示装置によれば、シンプルかつ低コストな構成で、手先Hの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置は、空間に投影される空間像I’の周囲に、操作の障害となるような構造物がなく、操作者の手先Hを用いた空間像I’とのインタラクションを自然な形で行うことができる。
つぎに、本発明の第2実施形態のユーザインタフェース表示装置について説明する。
図6,図10,図11は、本発明の第2実施形態におけるユーザインタフェース表示装置の構成を示す図であり、図7は、このユーザインタフェース表示装置における空間像I’の投影方法を説明する図である。なお、各図において一点鎖線で表す平面Pは、上記第1実施形態と同様、操作者の感覚を基準とする「仮想水平面」(光学素子内においては「素子面」)であり、一点鎖線で表す平面P’およびP”は、第1実施形態のカメラ2による仮想撮影平面P’(図3〜図5参照)に相当する「仮想撮影平面」である。
図6,図10,図11は、本発明の第2実施形態におけるユーザインタフェース表示装置の構成を示す図であり、図7は、このユーザインタフェース表示装置における空間像I’の投影方法を説明する図である。なお、各図において一点鎖線で表す平面Pは、上記第1実施形態と同様、操作者の感覚を基準とする「仮想水平面」(光学素子内においては「素子面」)であり、一点鎖線で表す平面P’およびP”は、第1実施形態のカメラ2による仮想撮影平面P’(図3〜図5参照)に相当する「仮想撮影平面」である。
本実施形態におけるユーザインタフェース表示装置も、フラットパネルディスプレイDの表示面Daに表示された映像(画像I)を、結像機能を有する光学パネル(マイクロミラーアレイ10)を用いてパネル上方の空間位置に結像(空間像I’)させるもので、上記フラットパネルディスプレイDは、操作者を基準とする仮想水平面Pに対して、表示面Daを所定角度θ傾けた状態で、上記マイクロミラーアレイ10の下方に、その表示面Daを上向きにしてオフセット配置されている。そして、上記マイクロミラーアレイ10により投影される空間像I’の下方(図6,図10)または上方(図11)に、操作者の手先Hに向けて光を投射する光源3と、この手先Hによる光の反射を撮影する光学的撮像手段(PSD,符号4)とが、対になって配設されている。
上記第2実施形態のユーザインタフェース表示装置が、構成上、第1実施形態のユーザインタフェース表示装置と異なる点は、光学的に像を結像させることのできる結像光学素子として、多数の凸型コーナーリフレクタ(単位光学素子)を有するマイクロミラーアレイ10が用いられ、手先Hによる光の反射を撮影する光学的撮像手段として、PSD(Position Sensitive Detector)が使用されている点である。
上記マイクロミラーアレイ(凸型コーナーリフレクタアレイ)10について、詳しく説明すると、このマイクロミラーアレイ10は、図8に示すように、基板(基盤)11の下面(図6,図7における光学パネルの下面側)に、下向き凸状の多数の微小な四角柱状単位光学素子12(コーナーリフレクタ)が、斜め碁盤目状に並ぶように配列されている〔図8はアレイを下側から見上げた図である。〕。
上記マイクロミラーアレイ10の各四角柱状の単位光学素子12は、その断面を図8に示すように、コーナーリフレクタを構成する一対(2つ)の光反射面(四角柱側方の第1の側面12a,第2の側面12b)が、それぞれ、「基板表面方向の横幅(幅w)に対する基板厚さ方向の縦長さ(高さv)の比」〔アスペクト比(v/w)〕が1.5以上の長方形状に形成されている。
また、それぞれの単位光学素子12は、各コーナー12cを構成する一対の光反射面(第1の側面12a,第2の側面12b)が、操作者の視点の方向(図6,図7における手先Hの付け根側)を向くようになっている。なお、このマイクロミラーアレイ10とその周囲を上から見た場合、図7のように、上記アレイ10は、その外縁(外辺)を操作者の正面(手先Hの方向)に対して45°回転させて配設されており、マイクロミラーアレイ10の下側の画像Iが、このアレイ10に対して面対称の位置(光学パネルの上方)に投影され、空間像I’が結像するようになっている。なお、図7において、符号3は、上記マイクロミラーアレイ10の周囲に配置されて手先Hを照らす光源である。
また、上記手先Hを検出するPSD(符号4)は、図7のように、マイクロミラーアレイ10の手前側(操作者側)で、かつ、この手先Hの下方の位置に配設されており、上記各光源3から投射された赤外光等の反射を検出可能な位置に配置されている。このPSD(4)は、手先Hによる光反射(反射光または反射像)を認識して、この手先Hまでの距離を位置信号として出力するもので、予め、距離と位置信号(電圧)との相関(リファレンス)を取得しておくことにより、入力体までの距離を高精度に計測することが可能である。上記PSD(4)として、2次元PSDを使用する場合は、そのまま上記カメラ2に代えて、この2次元PSDを配置すればよい。また、1次元PSDを使用する場合は、2個以上の1次元PSDを、上記手指Hの座標を三角測量により計測可能な複数の位置に分散して配置すればよい。これらPSD(またはユニット化されたPSDモジュール)を使用することにより、手指Hの位置検出精度を向上させることができる。
なお、図6,図7では、空間像I’の下方で、かつ、マイクロミラーアレイ10の周囲の位置に、各光源3およびPSD(4)を配設した例を示したが、これらの配設位置は特に限定されるものではなく、例えば、図10のように、手先Hによる光反射を認識するPSD(4)を、マイクロミラーアレイ10から離れた下方の位置(この例では手先Hの下側の位置)に配置してもよい。また、図11のように、上記各光源3およびPSD(4)を、空間像I’および手先Hの上方に配置してもよい。いずれの場合も、上記各光源3およびPSD(4)は、PSD(4)が光源3から投射され手先Hで反射した光を、マイクロミラーアレイ10の影(死角)になることなく受光することのできる位置関係に配置される。
さらに、上記フラットパネルディスプレイDには、第1実施形態と同様、液晶ディスプレイ(LCD),有機ELディスプレイ,プラズマディスプレイ(PDP)等の平板型の自発光ディスプレイが好適に採用され、マイクロミラーアレイ10の下方に、その表示面Daを上向きにして、上記仮想水平面Pに対して所定角度θ(この例では、10〜85°)傾けた状態で配設される。
また、光源3としては、例えばLEDや半導体レーザ(VCSEL)等、入力する操作者の視界を妨げないように、可視光以外の領域の光(例えば、波長700〜1000nm程度の赤外光)を発する発光体またはランプ等が使用される。
そして、上記構成の第2実施形態のユーザインタフェース表示装置においても、空間像I’の周辺(検知領域内)に差し入れられた手先Hの位置の特定と、その動きを検出する方法は、第1実施形態と同様のステップで行われる(図3〜図5と、前記〔投光ステップ〕−〔撮像ステップ〕−〔座標特定ステップ〕−〔計測ステップ〕−〔表示更新ステップ〕を参照)。なお、上記PSD(4)を用いた場合は、上記〔撮像ステップ〕と〔座標特定ステップ〕とが、PSD(4)の内部処理として一貫して行われ、結果の座標のみが出力される。
上記第2実施形態のユーザインタフェース表示装置によっても、シンプルかつ低コストな構成で、手先Hの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置も、空間に投影される空間像I’の周囲に、操作の障害となるような構造物がなく、操作者の手先Hを用いた空間像I’とのインタラクションを自然な形で行うことができるという効果を奏する。
つぎに、本発明の第3実施形態のユーザインタフェース表示装置について説明する。
図12は、本発明の第3実施形態におけるユーザインタフェース表示装置の構成を示す図であり、図13,図15,図17,図19は、このユーザインタフェース表示装置で用いられているマイクロミラーアレイ(20,30,40,50)の斜視図である。なお、第1,第2実施形態と同様、各図において一点鎖線で表す平面Pは、操作者の感覚を基準とする「仮想水平面」(光学素子内においては「素子面」)であり、一点鎖線で表す平面P’は、第1実施形態のカメラ2および第2実施形態のPSD(4)による仮想撮影平面P’(図3〜図5参照)に相当する「仮想撮影平面」である。
図12は、本発明の第3実施形態におけるユーザインタフェース表示装置の構成を示す図であり、図13,図15,図17,図19は、このユーザインタフェース表示装置で用いられているマイクロミラーアレイ(20,30,40,50)の斜視図である。なお、第1,第2実施形態と同様、各図において一点鎖線で表す平面Pは、操作者の感覚を基準とする「仮想水平面」(光学素子内においては「素子面」)であり、一点鎖線で表す平面P’は、第1実施形態のカメラ2および第2実施形態のPSD(4)による仮想撮影平面P’(図3〜図5参照)に相当する「仮想撮影平面」である。
本実施形態におけるユーザインタフェース表示装置も、フラットパネルディスプレイDの表示面Daに表示された映像(画像I)を、結像機能を有する光学パネル(マイクロミラーアレイ20,30,40,50)を用いてパネル上方の空間位置に結像(空間像I’)させるもので、上記フラットパネルディスプレイDは、操作者を基準とする仮想水平面Pに対して、表示面Daを所定角度θ傾けた状態で、上記マイクロミラーアレイ20(30,40,50)の下方に、その表示面Daを上向きにしてオフセット配置されている。そして、上記マイクロミラーアレイ20(30,40,50)により投影される空間像I’の下方(図12)または上方(図示省略)に、操作者の手先Hに向けて光を投射する光源3と、この手先Hによる光の反射を撮影する光学的撮像手段(PSD,符号4)とが、対になって配設されている。
上記第3実施形態のユーザインタフェース表示装置が、構成上、前記第2実施形態のユーザインタフェース表示装置と異なる点は、光学的に像を結像させることのできる結像光学素子(光学パネル)として、平板状の透明基板の表面に、回転刃を用いたダイシング加工により、互いに平行な複数本の直線状溝が所定の間隔で形成された2枚または1枚の光学素子を用いたマイクロミラーアレイ20,30,40,50のいずれかを、使用している点である。
これらのマイクロミラーアレイ20,30,40,50は、表面に複数本の平行溝が設けられた2枚の光学素子(基板)の一方を90°回転させた状態で重ね合わせる(図14,図16,図18)か、あるいは、1枚の平板状基板の表裏面それぞれに、平面視互いに直交する複数本の平行溝が形成されている(図19)ことにより、基板表裏方向(上下方向)から見た場合、一方の平行溝グループと他方の平行溝グループとが平面視直交する交差箇所(格子の交点)に、それぞれ、一方の平行溝グループの光反射性の垂直面(壁面)と他方の平行溝グループの光反射性の垂直面(壁面)とからなるコーナーリフレクタが形成されるようになっている。
なお、上記コーナーリフレクタを構成する、上記一方の基板の平行溝グループの光反射性の壁面と他方の基板の平行溝グループの光反射性の壁面とは、立体的(三次元的)に見た場合、いわゆる「ねじれの位置」関係にある。また、上記各平行溝およびその光反射性の壁面が、回転刃を用いたダイシング加工により形成されているため、上記コーナーリフレクタにおける光反射面のアスペクト比〔高さ(基板厚さ方向の長さ)/幅(基板水平方向の幅)の比〕を高くする等、光学素子の光学性能の調整を、比較的簡単に行うことができるという点で有利である。
上記各マイクロミラーアレイの構造を、個別により詳しく説明すると、図13,図14に示すマイクロミラーアレイ20は、これを構成する各光学素子(21,21’)が、透明な平板状の基板21,21’の上側の表面21a,21’aに、回転刃を用いたダイシング加工により、互いに平行な直線状の溝21gまたは溝21’gが、所定の間隔で複数本形成されている。そして、上記マイクロミラーアレイ20(図13)は、これら同じ形状の2枚の光学素子(基板21,21’)を用いて、各基板21,21’上に設けられた各溝21gと溝21’gの連続方向が平面視互いに直交するように、上側の一方の基板21’を下側の他方の基板21に対して回転させた状態で、下側の基板21における溝21gが形成された表面21aに、上側の基板21’の裏面21’b(溝21’gが形成されていない)を当接させ、これら基板21,21’どうしを上下に重ね合わせて固定することにより、一組のアレイ20として構成されている。
同様に、図15に示すマイクロミラーアレイ30は、上記と同じ形状・製法の2枚の光学素子(基板21,21’)を用いて、図16のように、上側の一方の基板21’を表裏反転させ、この基板21’を下側の他方の基板21に対して90°回転させた状態で、上側の基板21’における溝21’gが形成された表面21’aを、下側の基板21における溝21gが形成された表面21aに当接させ、これら基板21,21’どうしを上下に重ね合わせて固定することにより、各基板21,21’上に設けられた各溝21gと溝21’gの連続方向が平面視互いに直交する一組のアレイ30として構成されている。
さらに、図17に示すマイクロミラーアレイ40は、上記と同じ形状・製法の2枚の光学素子(基板21,21’)を用いて、図18のように、下側の一方の基板21’を表裏反転させ、この基板21’を上側の他方の基板21に対して90°回転させた状態で、上側の基板21の裏面21bと下側の基板21’の裏面21’bとを突き合わせ、これら基板21,21’どうしを上下に重ね合わせて固定することにより、各基板21,21’上に設けられた各溝21gと溝21’gの連続方向が平面視互いに直交する一組のアレイ40として構成されている。
そして、図19に示すマイクロミラーアレイ50は、透明な平板状の基板51の上側の表面51aおよび下側の裏面51bに、それぞれ、回転刃を用いたダイシング加工により、互いに平行な直線状の溝51gおよび溝51g’が、所定の間隔で複数本形成されており、これら表面51a側の各溝51gと裏面51b側の各溝51g’とは、その形成方向(連続方向)が平面視互いに直交するように形成されている。
なお、上記各マイクロミラーアレイ20,30,40,50を用いた第3実施形態のユーザインタフェース表示装置においても、光源3,PSD(4),フラットパネルディスプレイD等の構成や配置は、前記第2実施形態と同様のものが適用されるとともに、空間像I’の周辺(検知領域内)に差し入れられた手先Hの位置の特定と、その動きを検出する方法は、第1実施形態と同様のステップで行われる(図3〜図5を参照)。
上記構成の第3実施形態のユーザインタフェース表示装置によっても、シンプルかつ低コストな構成で、手先Hの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置も、空間に投影される空間像I’の周囲に、操作の障害となるような構造物がなく、操作者の手先Hを用いた空間像I’とのインタラクションを自然な形で行うことができるという効果を奏する。しかも、上記第3実施形態のユーザインタフェース表示装置は、その使用するマイクロミラーアレイ(20,30,40,50)が安価なため、装置全体のコストを低減できるという利点がある。
本発明のユーザインタフェース表示装置は、1台の光学的撮像手段で、人の手先の位置や座標を遠隔から認識・検出することができる。これにより、操作者は、入力システムの存在を意識することなく、空間像を直感的に操作することができる。
C カメラ
D フラットパネルディスプレイ
Da 表示面
H 手先
L 光源
O 光学パネル
P 仮想水平面
Q 光軸
I’ 空間像
D フラットパネルディスプレイ
Da 表示面
H 手先
L 光源
O 光学パネル
P 仮想水平面
Q 光軸
I’ 空間像
Claims (3)
- フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学パネルを用いて所定距離離れた空間位置に結像させ、この空間像の周囲に位置する手先の動きに関連して、上記フラットパネルディスプレイの映像をインタラクティブに制御するユーザインタフェース表示装置であって、上記光学パネルは、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイは、上記仮想水平面に対して表示面を所定角度傾けた状態で、上記光学パネルの下方に、その表示面を上向きにしてオフセット配置されているとともに、上記光学パネルの上方に結像する空間像の下方または上方に、上記手先に向けて光を投射する光源と、この手先による上記光の反射を撮影するひとつの光学的撮像手段とが、対になって配設されていることを特徴とするユーザインタフェース表示装置。
- 上記光源と光学的撮像手段とが、上記光学パネルの周囲に隣接して配置され、この光学的撮像手段が、上記光学パネルの上方に位置する手先による光の反射を撮影するようになっている請求項1記載のユーザインタフェース表示装置。
- 上記光源と上記光学的撮像手段およびフラットパネルディスプレイを制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像を演算により二値化して手先の形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先の位置を比較し、この手先の動きにもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する表示更新手段と、を備える請求項1または2記載のユーザインタフェース表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012185198A JP2013069272A (ja) | 2011-09-07 | 2012-08-24 | ユーザインタフェース表示装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011194937 | 2011-09-07 | ||
JP2011194937 | 2011-09-07 | ||
JP2012185198A JP2013069272A (ja) | 2011-09-07 | 2012-08-24 | ユーザインタフェース表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013069272A true JP2013069272A (ja) | 2013-04-18 |
Family
ID=47832003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012185198A Pending JP2013069272A (ja) | 2011-09-07 | 2012-08-24 | ユーザインタフェース表示装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140240228A1 (ja) |
JP (1) | JP2013069272A (ja) |
KR (1) | KR20140068927A (ja) |
TW (1) | TW201324259A (ja) |
WO (1) | WO2013035553A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5509391B1 (ja) * | 2013-06-07 | 2014-06-04 | 株式会社アスカネット | 再生画像の指示位置を非接触で検知する方法及び装置 |
WO2014196088A1 (ja) * | 2013-06-07 | 2014-12-11 | 株式会社アスカネット | 再生画像の指示位置を非接触で検知する方法及び装置 |
WO2015065341A1 (en) * | 2013-10-29 | 2015-05-07 | Intel Corporation | Gesture based human computer interaction |
JP2016136381A (ja) * | 2015-01-15 | 2016-07-28 | 株式会社アスカネット | 非接触入力装置及び方法 |
JP2016154035A (ja) * | 2015-02-16 | 2016-08-25 | 株式会社アスカネット | 光センサ付きディスプレイ及び非接触入力方法 |
US9698849B2 (en) | 2013-11-05 | 2017-07-04 | Nitto Denko Corporation | Portable information device case and video picture display device case |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5947333B2 (ja) * | 2014-05-29 | 2016-07-06 | 日東電工株式会社 | 表示装置 |
US11188154B2 (en) * | 2018-05-30 | 2021-11-30 | International Business Machines Corporation | Context dependent projection of holographic objects |
TWM617658U (zh) * | 2021-03-31 | 2021-10-01 | 全台晶像股份有限公司 | 浮空影像觸控顯示裝置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334299A (ja) * | 1994-04-13 | 1995-12-22 | Toshiba Corp | 情報入力装置 |
JPH09190278A (ja) * | 1996-01-09 | 1997-07-22 | Mitsubishi Motors Corp | 機器の操作系選択装置 |
JPH09222954A (ja) * | 1996-02-16 | 1997-08-26 | Dainippon Printing Co Ltd | 拡散ホログラムタッチパネル |
JPH11134089A (ja) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | ハンドポインティング装置 |
JP2005234676A (ja) * | 2004-02-17 | 2005-09-02 | Alpine Electronics Inc | 空間操作系生成システム |
JP2005292976A (ja) * | 2004-03-31 | 2005-10-20 | Alpine Electronics Inc | 仮想インタフェース制御装置 |
JP2006099749A (ja) * | 2004-08-31 | 2006-04-13 | Matsushita Electric Works Ltd | ジェスチャースイッチ |
JP2006209359A (ja) * | 2005-01-26 | 2006-08-10 | Takenaka Komuten Co Ltd | 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム |
JP2011154389A (ja) * | 2003-07-03 | 2011-08-11 | Holotouch Inc | ホログラフィックヒューマンマシンインタフェース |
JP2011159273A (ja) * | 2010-01-29 | 2011-08-18 | Pantech Co Ltd | ホログラムを利用したユーザインターフェース装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070216601A1 (en) * | 2004-03-31 | 2007-09-20 | Pioneer Corporation | Stereoscopic Two-Dimensional Image Display Apparatus |
US9160996B2 (en) * | 2008-06-27 | 2015-10-13 | Texas Instruments Incorporated | Imaging input/output with shared spatial modulator |
KR20100030404A (ko) * | 2008-09-10 | 2010-03-18 | 김현규 | 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법 |
-
2012
- 2012-08-24 JP JP2012185198A patent/JP2013069272A/ja active Pending
- 2012-08-24 TW TW101130802A patent/TW201324259A/zh unknown
- 2012-08-24 US US14/343,021 patent/US20140240228A1/en not_active Abandoned
- 2012-08-24 WO PCT/JP2012/071455 patent/WO2013035553A1/ja active Application Filing
- 2012-08-24 KR KR1020147005969A patent/KR20140068927A/ko not_active Application Discontinuation
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334299A (ja) * | 1994-04-13 | 1995-12-22 | Toshiba Corp | 情報入力装置 |
JPH09190278A (ja) * | 1996-01-09 | 1997-07-22 | Mitsubishi Motors Corp | 機器の操作系選択装置 |
JPH09222954A (ja) * | 1996-02-16 | 1997-08-26 | Dainippon Printing Co Ltd | 拡散ホログラムタッチパネル |
JPH11134089A (ja) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | ハンドポインティング装置 |
JP2011154389A (ja) * | 2003-07-03 | 2011-08-11 | Holotouch Inc | ホログラフィックヒューマンマシンインタフェース |
JP2005234676A (ja) * | 2004-02-17 | 2005-09-02 | Alpine Electronics Inc | 空間操作系生成システム |
JP2005292976A (ja) * | 2004-03-31 | 2005-10-20 | Alpine Electronics Inc | 仮想インタフェース制御装置 |
JP2006099749A (ja) * | 2004-08-31 | 2006-04-13 | Matsushita Electric Works Ltd | ジェスチャースイッチ |
JP2006209359A (ja) * | 2005-01-26 | 2006-08-10 | Takenaka Komuten Co Ltd | 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム |
JP2011159273A (ja) * | 2010-01-29 | 2011-08-18 | Pantech Co Ltd | ホログラムを利用したユーザインターフェース装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105264470B (zh) * | 2013-06-07 | 2018-06-22 | 亚斯卡奈特股份有限公司 | 非接触地检测再现图像的指示位置的方法及装置 |
JP5509391B1 (ja) * | 2013-06-07 | 2014-06-04 | 株式会社アスカネット | 再生画像の指示位置を非接触で検知する方法及び装置 |
US10275096B2 (en) | 2013-06-07 | 2019-04-30 | Asukanet Compan, Ltd. | Apparatus for contactlessly detecting indicated position on reproduced image |
CN105264470A (zh) * | 2013-06-07 | 2016-01-20 | 亚斯卡奈特股份有限公司 | 非接触地检测再现图像的指示位置的方法及装置 |
EP3007045A4 (en) * | 2013-06-07 | 2017-05-24 | Asukanet Company, Ltd. | Method and device for non-contact sensing of reproduced image pointing location |
CN108762585A (zh) * | 2013-06-07 | 2018-11-06 | 亚斯卡奈特股份有限公司 | 非接触地检测再现图像的指示位置的方法及装置 |
WO2014196088A1 (ja) * | 2013-06-07 | 2014-12-11 | 株式会社アスカネット | 再生画像の指示位置を非接触で検知する方法及び装置 |
US10019115B2 (en) | 2013-06-07 | 2018-07-10 | Asukanet Company, Ltd. | Method and apparatus for contactlessly detecting indicated position on reproduced image |
US9304597B2 (en) | 2013-10-29 | 2016-04-05 | Intel Corporation | Gesture based human computer interaction |
WO2015065341A1 (en) * | 2013-10-29 | 2015-05-07 | Intel Corporation | Gesture based human computer interaction |
US9698849B2 (en) | 2013-11-05 | 2017-07-04 | Nitto Denko Corporation | Portable information device case and video picture display device case |
JP2016136381A (ja) * | 2015-01-15 | 2016-07-28 | 株式会社アスカネット | 非接触入力装置及び方法 |
JP2019053749A (ja) * | 2015-01-15 | 2019-04-04 | 株式会社アスカネット | ディスプレイ及びこれを用いた非接触入力装置 |
JP2016154035A (ja) * | 2015-02-16 | 2016-08-25 | 株式会社アスカネット | 光センサ付きディスプレイ及び非接触入力方法 |
US10365769B2 (en) | 2015-02-16 | 2019-07-30 | Asukanet Company, Ltd. | Apparatus and method for contactless input |
Also Published As
Publication number | Publication date |
---|---|
US20140240228A1 (en) | 2014-08-28 |
KR20140068927A (ko) | 2014-06-09 |
TW201324259A (zh) | 2013-06-16 |
WO2013035553A1 (ja) | 2013-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013035553A1 (ja) | ユーザインタフェース表示装置 | |
US20180063390A1 (en) | Spatially tiled structured light projector | |
WO2010122762A1 (en) | Optical position detection apparatus | |
CN102449584A (zh) | 光学位置检测设备 | |
CN109146945B (zh) | 一种显示面板及显示装置 | |
US8922526B2 (en) | Touch detection apparatus and touch point detection method | |
TWI437476B (zh) | 互動式立體顯示系統及計算三維座標的方法 | |
EP3069100B1 (en) | 3d mapping device | |
JP6721875B2 (ja) | 非接触入力装置 | |
US11048363B2 (en) | Floating display device and method for a floating display device to indicate touch position | |
JP2011070625A (ja) | 光学式タッチ制御システム及びその方法 | |
US20110074738A1 (en) | Touch Detection Sensing Apparatus | |
TW201214245A (en) | Touch system using optical components to image multiple fields of view on an image sensor | |
WO2013161498A1 (ja) | 表示入力装置 | |
JP2010191961A (ja) | 検出モジュール及び検出モジュールを含む光学的検出システム | |
TW201128489A (en) | Object-detecting system and method by use of non-coincident fields of light | |
JP5493702B2 (ja) | 位置検出機能付き投射型表示装置 | |
KR20150062952A (ko) | 위치 감지가 가능한 레이저 프로젝터 및 이를 이용한 위치 감지 방법 | |
TWI587196B (zh) | 光學觸控系統及光學觸控位置檢測方法 | |
US20130099092A1 (en) | Device and method for determining position of object | |
TW201101153A (en) | Optical detecting device, method and touch panel comprising the same | |
JP2022188689A (ja) | 空間入力システム | |
WO2024079832A1 (ja) | インタフェース装置 | |
JP2017139012A (ja) | 入力装置、空中像インタラクションシステム、及び入力方法 | |
JP2022048040A (ja) | 指示入力装置、及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160809 |