JP2019078845A - プロジェクターおよびプロジェクターの制御方法 - Google Patents
プロジェクターおよびプロジェクターの制御方法 Download PDFInfo
- Publication number
- JP2019078845A JP2019078845A JP2017204524A JP2017204524A JP2019078845A JP 2019078845 A JP2019078845 A JP 2019078845A JP 2017204524 A JP2017204524 A JP 2017204524A JP 2017204524 A JP2017204524 A JP 2017204524A JP 2019078845 A JP2019078845 A JP 2019078845A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- indicator
- correction
- projection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000012937 correction Methods 0.000 claims abstract description 233
- 230000033001 locomotion Effects 0.000 claims abstract description 122
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 230000008859 change Effects 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 description 38
- 239000004973 liquid crystal related substance Substances 0.000 description 25
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 239000003550 marker Substances 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/147—Optical correction of image distortions, e.g. keystone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/16—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
- H04N3/22—Circuits for controlling dimensions, shape or centering of picture on screen
- H04N3/23—Distortion correction, e.g. for pincushion distortion correction, S-correction
- H04N3/233—Distortion correction, e.g. for pincushion distortion correction, S-correction using active elements
- H04N3/2335—Distortion correction, e.g. for pincushion distortion correction, S-correction using active elements with calculating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
この態様によれば、指示体の指示位置と指示体の動きとに基づいて、投射画像の歪みが補正される。このため、利用者は、指示体を使って直感的に投射画像の歪みを補正できる。よって、投射画像の歪み補正を容易に行うことが可能になり、操作性が向上する。
この態様によれば、利用者は、指示体を使うことで、補正箇所の指定と当該補正箇所の位置の補正とを容易に行うことが可能になる。
この態様によれば、利用者は、指示体で補正箇所を直接指示しなくても、補正箇所が含まれる領域を指示体で指示すれば、補正箇所を指定できる。このため、補正箇所の指定を容易に行うことが可能になる。
この態様によれば、利用者は、指定領域を容易に視認することが可能になる。
この態様によれば、指示体の動きの方向および大きさに応じて、補正箇所の移動を調整することが可能になる。
この態様によれば、指示体の指示位置が検出されたタイミング以降に、指示体の動きが検出される。このため、使用者は、直感的に分かり易い順番で、補正箇所の指定と補正箇所の移動の調整とを行うことができる。
この態様によれば、使用者は、指示体を投射面と接触させるという簡単な操作で指示位置の検出タイミングを決定することができる。
この態様によれば、投射面に指示体が接触した状態が所定時間継続した場合に、指示位置が検出される。このため、誤って一時的に指示体が投射面に接触したときに、指示位置が検出されることを抑制可能になる。
この態様によれば、使用者は、補正箇所の移動を調整する場合には、指示体を投射面と接触させて移動させ、当該調整を終了する場合には、指示体を投射面から離せばよい。このため、使用者は、補正箇所の移動の調整を直感的に行うことが可能になる。
この態様によれば、使用者は、指示体を投射面に接触させなくても、補正箇所の移動を調整可能になる。よって、使用者は、投射面から離れていて投射面を触ることができない状況でも、投射画像の歪みを補正可能になる。
この態様によれば、指示体の指示位置と当該指示体の変化とに基づいて、投射画像の歪みが補正される。このため、利用者は、指示体を使って直感的に投射画像の歪みを補正できる。よって、投射画像の歪み補正を容易に行うことが可能になり、操作性が向上する。
この態様によれば、利用者は、指示体を使うことで、補正箇所の指定と補正箇所の位置の補正とを容易に行うことが可能になる。
この態様によれば、指示体の指示位置と指示体の動きとに基づいて、投射画像の歪みが補正される。このため、利用者は、指示体を使って直感的に投射画像の歪みを補正できる。よって、投射画像の歪み補正を容易に行うことが可能になり、操作性が向上する。
この態様によれば、指示体の指示位置と指示体の動きとに基づいて、投射画像の歪みが補正される。このため、利用者は、指示体を使って直感的に投射画像の歪みを補正できる。よって、投射画像の歪み補正を容易に行うことが可能になり、操作性が向上する。
図1は、本発明を適用した第1実施形態に係るプロジェクター100を示した図である。プロジェクター100は、例えば、天井から吊るされている。プロジェクター100は、天井に吊るされずに、会議用テーブル等に置かれてもよい。プロジェクター100は、PC(パーソナルコンピューター)等の画像供給装置(不図示)から画像情報を受け取り、その画像情報に応じた投射画像を投射面200に投射する。画像供給装置は、PCに限らず適宜変更可能である。投射面200は、例えば、スクリーンまたは壁である。
プロジェクター100は、投射画像の歪みの補正に用いる画像(以下「投射画像I」とも称する)も投射面200に投射する。
プロジェクター100は、領域I1〜I4の中から、指示体300の指示位置を含む領域(以下「指定領域」とも称する)を特定する。図1では、領域I1が指定領域として特定される。
プロジェクター100は、点C1〜C4のうち指定領域に含まれる点(補正箇所の候補)を、補正箇所として決定する。図1では、点C1が補正箇所として決定される。
プロジェクター100は、指示体300の指示位置が指定領域内である状態で指示体300が投射面200に接触すると、指示体300の動きの検出を開始する。プロジェクター100は、指示体300の動きに基づいて補正箇所(図1では、点C1)の位置を補正して投射画像Iの歪みを補正する。図2は、補正後の投射画像Iの一例を示した図である。図2に示した投射画像Iは、図1に示した投射画像Iに対して、点C1の位置が移動している。
図1では、点C1の移動による補正後の投射画像Iの輪郭を点線で示し、図2では、補正前の投射画像Iの輪郭を点線で示している。図1の矢印は、指示体300の先端301の動きを示し、図2の矢印は、指示体300の先端301の動きに対応して、点C1の位置が移動したことを示している。
また、プロジェクター100は、指定領域を強調表示(ハイライト表示)する。例えば、プロジェクター100は、領域I1〜I4のうち指定領域とは異なる領域については背景色を「青色」にし、指定領域の背景色を「緑色」にする。強調表示に用いる背景色の組合せは、「青色」と「緑色」の組合せに限らず、適宜変更可能である。図1では、指定領域における強調表示を説明するために、指定領域(領域I1)にハッチングが施されている。
プロジェクター100は、操作部110と、画像処理部120と、ライトバルブ駆動部130と、光源駆動部140と、投射部150と、撮像部160と、受光部170と、記憶部180と、制御部190と、バス100aと、を含む。操作部110と、画像処理部120と、ライトバルブ駆動部130と、光源駆動部140と、撮像部160と、受光部170と、記憶部180と、制御部190は、バス100aを介して相互に通信可能である。
第1レイヤーには、例えば、受信画像情報等が書き込まれる。第2レイヤーには、OSD(On Screen Display)画像を示すOSD画像情報が書き込まれる。また、第2レイヤーには、キャリブレーション用パターン情報も書き込まれる。キャリブレーション用パターン情報は、投射部150の液晶ライトバルブ152(図3参照)における座標(例えば、パネル座標)を撮像部160の撮像素子163(図4参照)における座標(例えば、CMOS座標)に対応させるキャリブレーション(以下、単に「キャリブレーション」とも称する)のためのパターンを示す。また、第2レイヤーには、歪み補正用パターンを示す歪み補正用パターン情報も書き込まれる。図1に示した投射画像Iは、歪み補正用パターンが投射されることによって生成される。
受信画像情報とOSD画像情報とキャリブレーション用パターン情報と歪み補正用パターン情報の各々は、画像情報である。
第1レイヤーに画像情報が書き込まれておらず、第2レイヤーに画像情報が書き込まれている場合、画像合成部121は、第2レイヤーに書き込まれた画像情報を出力する。
第1レイヤーと第2レイヤーとの双方に画像情報が書き込まれている場合、画像合成部121は、第1レイヤーに書き込まれた画像情報と第2レイヤーに書き込まれた画像情報とを合成して合成画像情報を生成し、当該合成画像情報(画像情報)を出力する。
発光部320は、操作スイッチ310の近傍(先端301付近)に設けられている。発光部320は、光を発光する。本実施形態では、発光部320は、赤外光を発する。
制御部330は、操作スイッチ310の状態に基づいて、発光部320を制御する。制御部330は、操作スイッチ310がオン状態である場合と、操作スイッチ310がオフ状態である場合とで、発光部320の発光パターンを変える。以下、操作スイッチ310がオン状態である場合の発光パターンを「第1発光パターン」と称し、操作スイッチ310がオフ状態である場合の発光パターンを「第2発光パターン」と称する。このため、指示体300が投射面200と接触せずに投射面200の近傍に存在する状態(ホバーリング状態)であるとき、指示体300は、第2発光パターンで赤外光を発光することになる。
図4は、撮像部160の一例を示した図である。撮像部160は、レンズ等の光学系161と、光学系161にて集光された光のうち、赤外光のみを透過するフィルター162と、フィルター162を透過した赤外光を電気信号に変換する撮像素子163と、を備えたカメラである。撮像素子163は、例えば、CCD(Charge Coupled Device)イメージセンサーまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーである。
プロジェクター100は、受光部170が受光した赤外光の発光パターンに基づいて、指示体300が投射面200に接触しているか否かを判定する。
なお、プロジェクター100は、時系列で生成される撮像画像情報を用いて指示体300の発光パターンを特定し、その発光パターンに基づいて、指示体300が投射面200に接触しているか否かを判定してもよい。この場合、受光部170を省略することができる。
また、指示体300の発光パターンの発光タイミングと撮像部160の撮像タイミングとの同期をとるために、プロジェクター100が同期用の赤外光を発光する発光部(不図示)を備え、指示体300がその発光された同期用の赤外光を受光する受光部(不図示)を備える構成であってもよい。この場合、プロジェクター100は、撮像画像情報を用いて指示体300の発光パターンをより確実に特定することができる。
画像合成部121で使用される画像情報のうち、キャリブレーション用パターン情報と、歪み補正用パターン情報について説明する。本実施形態では、キャリブレーション用パターン情報として、第1パターン情報と第2パターン情報とが用いられる。
キャリブレーションのためのパターンは、図5、図6に示したパターンに限らず適宜変更可能である。キャリブレーション用のパターンは、クロスハッチパターンでもよいし、カメラレンズ歪みの影響を加味したパターンであってもよい。
また、キャリブレーション時には、撮像部160が、赤外光のみを透過するフィルター162を、可視光を透過するフィルターに切り替えて撮像し、その撮像によって生成された撮像画像情報を用いて、パネル座標とCMOS座標との関連づけが行われる。
なお、その際に、例えば、赤外光用のフィルター162と可視光用のフィルターとの光学特性の違いを補正するパラメーターと、指示体300のペン先発光位置の高さ分を補正するパラメーターと、の少なくともいずれかが設けられ、プロジェクター100が、当該パラメーターを加味して指定部300の指示位置を特定してもよい。
また、プロジェクター100は、キャリブレーションのためのパターンを用いずに、投射面200に、M×N点のポイントを順次表示し、指示体300でその点を順次タッチすることで、キャリブレーションを行うような構成でもよい。この際は、赤外光用のフィルター162を可視光用のフィルターへ切り替える必要はない。
歪み補正用パターンP3には、矩形の歪み補正用パターンP3を4等分する十字を示す十字パターンP3aと、円形の円パターンP3bとが示されている。十字パターンP3aは、投射画像Iにおける4つの領域I1〜I4の境界として機能する。十字パターンP3aの中央と円パターンP3bの中心は、歪み補正用パターンP3の中央P3cに位置している。
歪み補正用パターンP3では、青色の背景に、白色の十字パターンP3aと、白色の円パターンP3bが表示される。
歪み補正用パターンP3が表すパターンは、図7に示したパターンおよび上述した色彩に限らず適宜変更可能である。
なお、画像合成部121で使用される画像情報は、記憶部180に予め記憶されずに、プログラムの実行によって生成されてもよい。
通常モードは、例えば、画像情報に応じた投射画像が投射されるモードである。通常モードでは、歪み補正は実行されない。歪み補正モードでは、歪み補正が実行される。
まず、キャリブレーションについて説明する。
操作部110が、歪み補正開始操作を受け取ると、モード制御部191は、動作モードを「歪み補正モード」に設定する。
図11は、歪み補正モードでの画像歪み補正を説明するためのフローチャートである。
歪み補正モードになると、投射制御部192は、記憶部180から歪み補正用パターン情報を読み取り、歪み補正用パターン情報を第2レイヤーに書き込む。歪み補正用パターン情報が第2レイヤーに書き込まれると、画像処理部120は、歪み補正用パターン情報に応じた画像信号を生成し、投射部150は、この画像信号に応じて、歪み補正用パターンP3(図7参照)を、投射面200に投射する(ステップS11)。図12は、歪み補正用パターンP3を投射面200に投射した投射画像Iを示した図である。
ステップS13では、表示制御部196は、まず、射影変換行列の逆行列を算出する。続いて、表示制御部196は、この逆行列を用いて、撮像画像上の指示体300の指示位置を、液晶ライトバルブ152上の位置に変換する。続いて、表示制御部196は、液晶ライトバルブ152上の指示体300の指示位置にマーカー400が表された画像を示すマーカー画像情報を生成する。このため、マーカー400は、指示体300の指示位置を示す。続いて、表示制御部196は、マーカー画像情報を第1レイヤーに書き込む。マーカー画像情報が第1レイヤーに書き込まれると、画像処理部120は、歪み補正用パターンP3上にマーカー400が示された画像に応じた画像信号を生成し、投射部150は、この画像信号に応じた画像を投射面200に投射する。
投射画像Iにおいてマーカー400が表示されるため、使用者は、指示体300の指示位置を容易に認識することができる(図13参照)。使用者は、指示体300の指示位置を、領域I1〜I4のうち、使用者が補正したい点(点C1〜C4のいずれか)が存在する領域に移動する。
ステップS14では、表示制御部196は、射影変換行列を用いて、液晶ライトバルブ152上の歪み補正用パターンP3の位置を撮像画像上の位置に変換する。
続いて、表示制御部196は、撮像画像上の領域I1〜I4の中から、指示体300の指示位置を含む指定領域を特定する。
ステップS15では、表示制御部196は、第2レイヤーに書き込まれている歪み補正用パターンP3において、指定領域の背景色を青色から緑色に変更する。
図13は、指定領域である領域I4が強調表示された例を示した図である。図13では、緑色で強調表示された領域I4をハッチングで示し、また、指示体300の指示位置にマーカー400が表示されていることを示している。
指定領域が強調表示されるため、使用者は、指示体300の指示位置の存在する領域が指定領域になったか否かを容易に認識できる。
使用者は、指示体300の指示位置が指定領域に含まれるように、指示体300の指示位置を変更する。指示体300の指示位置が指定領域に含まれると、使用者は、補正箇所を移動する画像歪み補正を実行するために、指示体300を指定領域に接触させ、その後、指示体300を移動させる。この移動の方向は、補正箇所の移動方向を決定するために用いられ、この移動の大きさは、補正箇所の移動量を決定するために用いられる。
ステップS16では、動き検出部197は、受光部170が第1発光パターンの赤外光を受光した場合、指示体300が投射面200に接触していると判定する。一方、受光部170が第2発光パターンの赤外光を受光した場合、動き検出部197は、指示体300が投射面200と接触していない(ホバーリング状態)と判定する。
指示体300が投射面200と接触していない場合(ステップS16:NO)、処理がステップS12に戻り、再度、指示位置が検出される。図14は、指示体300の移動等により、指定領域が領域I4から領域I1に変更された例を示した図である。
ステップS17では、動き検出部197は、受光部170が第2発光パターンの赤外光を継続して受光している間において、すなわち、指示体300が投射面200と接触している間において、位置検出部195が検出した指示位置の推移に基づいて、指示体300の動きの方向と、指示体300の動きの大きさと、を検出する。つまり、位置検出部195は、指示体300が投射面200と接触したときに応じたタイミングでも指示体300の指示位置を検出し、動き検出部197は、指示体300が投射面200と接触していることを検出したタイミング以降(第1タイミング以降)に生じる指示体300の動きを検出する。
ステップS18では、補正量算出部198は、まず、投射画像Iにおいて、四隅の点C1〜C4の中から指定領域に含まれる点を、補正箇所として決定する。
続いて、補正量算出部198は、指示体300の動きの方向に応じて補正箇所の移動方向を決定し、指示体300の動きの大きさに応じて補正箇所の移動量を決定する。
例えば、補正量算出部198は、補正箇所の移動方向として、指示体300の動きの方向を用いる。また、補正量算出部198は、補正箇所の移動量として、指示体300の動きの大きさに定数A(例えば、定数A=1)を乗じた値(以下「移動量」とも称する)を決定する。なお、定数Aは1に限らず適宜変更可能である。
続いて、補正量算出部198は、補正箇所を補正箇所の移動方向に補正箇所の移動量だけ移動させる画像歪み補正用のパラメーターを算出する。
ステップS19では、補正量算出部198は、画像歪み補正用のパラメーターを画像歪み補正部122に設定する。画像歪み補正部122は、当該画像歪み補正用のパラメーターに従って、補正箇所を、補正箇所の移動方向に補正箇所の移動量だけ移動させて、画像歪み補正を実行する。
図16は、指示体300の指示位置の移動に応じた投射画像Iの補正例を示した図である。図16では、補正後の投射画像Iの輪郭を点線で示している。図16の矢印は、指示体300の先端301の動きを示す。点C1を移動させると、投射画像Iの全体に画像歪み補正が施される。
一方、操作部110が、歪み補正終了操作および通常モード開始操作のいずれも受け取っていないと、モード制御部191は歪み補正モードを継続して(ステップS20:NO)、処理をステップS12に戻す。処理がステップS12に戻ることで、使用者は、点C1とは異なる点を用いて画像歪み補正を実行できる。
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。
動き検出部197は、指示体300の動きとして、実質的に指示体300の発光部320の動きを検出した。
しかしながら、動き検出部197は、指示体300の動きとして、発光部320の動き以外の動きを検出してもよい。例えば、動き検出部197は、指示体300の動きとして、指示体300の姿勢の動きを検出してもよい。
この場合、指示体300は、例えば、ジャイロセンサー等を有する姿勢検出部と、姿勢検出開始ボタンと、送信部と、を有する。送信部は、姿勢検出開始ボタンが操作されると、その後の姿勢検出部の検出結果を、プロジェクター100に送信する。
プロジェクター100は、姿勢検出部の検出結果を受信する受信部を有する。動き検出部197は、姿勢検出部の検出結果に基づいて、指示体300の姿勢の動きを検出する。具体的には、動き検出部197は、指示体300の姿勢の変化方向と、指示体300の姿勢の変化量とを検出する。指示体300の姿勢の変化方向は指示体300の動きの方向として用いられ、指示体300の姿勢の変化量は指示体300の動きの大きさとして用いられる。
指示体300にレーザーポインターが備えられてもよい。この場合、撮像部160が、レーザーポインターから照射されて投射面200を指示するレーザー光線も撮像できるように、フィルター162が、撮像素子163の前面からずれ、さらに撮像素子163の前面に戻るように構成される。
位置検出部195は、撮像部160が生成した撮像画像情報に基づいて、レーザーポインターから照射されるレーザー光線による指示位置も検出してもよい。
プロジェクター100は、図17に示すように変化検出部199を含んでもよい。変化検出部199は、撮像部160が生成した撮像画像情報に基づいて、投射面200におけるレーザー光線による指示位置の変化を検出する。例えば、変化検出部199は、レーザー光線による指示位置の変化方向と、レーザー光線による指示位置の移動量と、を検出する。
補正量算出部198は、レーザー光線による指示位置の変化方向を指示体300の動きの方向として用い、レーザー光線による指示位置の移動量を指示体300の動きの大きさとして用いて、画像歪み補正用のパラメーターを算出する。
上述した実施形態では、図1および図2に示したように、十字パターンP3aの中心位置は、画像歪み補正の実行に伴って移動した。しかしながら、十字パターンP3aの中心位置は、画像歪み補正の実行の有無にかかわらず、液晶ライトバルブ152の特定の位置に固定されてもよい。
指示領域の強調表示は、背景色の変更に限らず適宜変更可能である。例えば、強調表示として、指定領域の一部(例えば、点C1〜C4のうち、指定領域に含まれる点の近傍)に所定の画像(例えば、丸印または星印を示す画像)を表示する態様が用いられてもよい。所定の画像は、丸印または星印を示す画像に限らず、使用者が視認できる画像であればよい。
また、表示制御部196は、操作の補助となるメッセージを表示させてもよい。このメッセージの一例としては、補正箇所を動かせる範囲を明示するメッセージが挙げられる。表示制御部196は、このメッセージと共に、補正箇所を動かせる範囲を示す境界線を投射画像I内に表示してもよい。
指示領域の全体について背景色を変更する代わりに、指示領域の一部について背景色が変更されてもよい。
動き検出部197および変化検出部199は、指示領域内での指示位置の移動(変化)のみを検出してもよい。
投射画像の歪み補正としては、上述した実施形態で用いられた台形歪み補正の代わりに、投射画像を格子状に区切った各交点の位置調整により投射画像の歪みを補正するポイント補正、湾曲する投射画像を調整する湾曲補正、または、投射画像の上下左右の各辺に対して弧状の補正を行う弓型補正等が用いられてもよい。
OSD画像が、動作モードを切り替え可能なメニュー画像を示す場合、モード制御部191は、メニュー画像への操作に従って動作モードを変更してもよい。また、指示体300による操作が可能なアイコン等を含むインタラクティブツールバーが表示される場合、モード制御部191は、インタラクティブツールバーへの操作に従って動作モードを変更してもよい。
キャリブレーションは、上述した実施形態のようにプロジェクター100が自動的に行うオートキャリブレーションに限らず、マニュアルキャリブレーションでもよい。
マニュアルキャリブレーションを実行する場合、キャリブレーション実行部194は、投射面200に、マニュアルキャリブレーション用の画像を投射する。マニュアルキャリブレーション用の画像には複数のマークが表示される。マニュアルキャリブレーションでは、投射面200に表示されたマニュアルキャリブレーション用の画像のマークの1つ1つを、使用者が指示体300により指示する。キャリブレーション実行部194は、マニュアルキャリブレーション用の画像に対する指示体300の操作を、撮像画像情報に基づいて検出して、射影変換行列を生成する。
補正部100bは、指示体300の移動に追従して、画像歪み補正用のパラメーターの算出および画像歪み補正用のパラメーターの設定を行い、リアルタイムで、歪み補正を実行してもよい。
また、補正部100bは、歪み補正モードにおいて歪み補正終了操作を受け取った際に、画像歪み補正用のパラメーターの設定を行って歪み補正を実行してもよい。また、補正部100bは、歪み補正モードにおいて歪み補正終了操作を受け取った際に、それまでに算出された画像歪み補正用のパラメーターの設定を行って歪み補正を実行してもよい。
また、補正部100bは、歪み補正モードにおいては、歪み補正を施す前の投射画像Iと、歪み補正を施した後の投射画像Iとを表示させ、歪み補正モードにおいて歪み補正終了操作を受け取った際に、歪み補正を施した後の投射画像Iを残して、歪み補正を施す前の投射画像Iを削除してもよい。
画像歪み補正が行われると、マーカー400と指示体300の指示位置とがずれる。このずれを抑止するために、キャリブレーション実行部194は、画像歪み補正が行われると、画像歪み補正に基づいて射影変換行列を自動的に調整してもよいし、再度、キャリブレーションを実行してもよい。
プロジェクター100が、投射面200に接触している使用者の指に対して層状検出光を照射する照射部を有してもよい。照射部は、使用者の指等の非発光指示体が投射面200に接触していることを検出するために、投射面200の表面全体に亘って層状(またはカーテン状)の検出光を射出する。層状検出光としては、赤外光が用いられる。ここで、「層状」または「カーテン状」とは、ほぼ一様な厚さの薄い空間形状を意味する。投射面200と層状検出光との間の距離は、例えば1〜10mm(好ましくは1〜5mm)の範囲の値に設定される。
この場合、撮像部160は、投射面200と接触している使用者の指によって反射された層状検出光を撮像して撮像画像情報を生成する。
このため、位置検出部195は、例えば、使用者の指が投射面200に接触した状態が所定時間(例えば2秒)継続した場合に、使用者の指が指示する指示位置を検出し、その指示位置に基づいて指定領域を特定する。なお、所定時間は2秒に限らず適宜変更可能である。使用者の指が投射面200に接触した状態が所定時間(例えば2秒)継続したタイミングは、第1タイミングの他の例である。または、位置検出部195は、接触あるいは所定時間の接触を検出したタイミングで、「指定領域決定しますか?OK/NG」等の選択メッセージを投射部150に投射させ、使用者が指の操作でOKまたはNGを選択することで、指定領域を確定してもよい。
動き検出部197は、例えば、使用者の指が投射面200に接触した状態が当該所定時間継続したとき以降において、使用者の指の動きを検出する。
その場合、表示制御部196は、使用者の指が投射面200に接触した状態が所定時間継続した場合に、すなわち、歪み補正が実行可能になった場合に、マーカー400の表示態様(例えば、マーカー400の色および形状の少なくとも一方)を変更してもよい。この場合、使用者は、マーカー400の表示態様によって、歪み補正が実行可能になったことを認識可能になる。
プロジェクター100が、投射面200を撮像するステレオカメラを含み、位置検出部195が、ステレオカメラが生成した撮像画像情報に基づいて、指示体300の位置を検出してもよい。この場合、位置検出部195は、投射面200が平面でなく、曲面、または、凹部と凸部との少なくとも一方を有する面である状況において、指示体300が投射面200に沿って移動しても、その移動を検出することが可能になる。
記憶部180が画像情報を記憶している場合には、画像合成部121は、受信画像情報の代わりに、記憶部180が記憶している画像情報を用いてもよい。
制御部190がプログラムを実行することによって実現される要素の全部または一部は、例えばFPGA(field programmable gate array)またはASIC(Application Specific IC)等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。
投射部150では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、3枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、1枚の液晶パネルを用いた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として1枚のみの液晶パネルまたはDMDが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびDMD以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。
Claims (14)
- 投射画像を投射面に投射する投射部と、
指示体が前記投射面において指示する指示位置を検出する位置検出部と、
前記指示体の動きを検出する動き検出部と、
前記指示位置と前記動きとに基づいて、前記投射画像の歪みを補正する補正部と、
を含むことを特徴とするプロジェクター。 - 前記補正部は、
前記指示位置に基づいて前記投射画像における補正箇所を決定し、
前記動きに基づいて前記補正箇所の位置を補正することによって前記投射画像の歪みを補正する、
ことを特徴とする請求項1に記載のプロジェクター。 - 前記投射画像は、複数の領域を有し、
前記領域には、前記補正箇所の候補が含まれ、
前記補正部は、
前記複数の領域の中から前記指示位置を含む指定領域を特定し、
前記指定領域に含まれる前記補正箇所の候補を前記補正箇所として決定する、
ことを特徴とする請求項2に記載のプロジェクター。 - 前記指定領域の少なくとも一部の表示態様を、前記複数の領域のうち前記指定領域とは異なる領域の表示態様と異ならせる表示制御部をさらに含む、
ことを特徴とする請求項3に記載のプロジェクター。 - 前記補正部は、
前記動きの方向に応じて、前記補正箇所の移動方向を決定し、
前記動きの大きさに応じて、前記補正箇所の移動量を決定し、
前記補正箇所を、前記補正箇所の移動方向に前記補正箇所の移動量だけ移動する、
ことを特徴とする請求項2から4のいずれか1項に記載のプロジェクター。 - 前記位置検出部は、第1タイミングにおいて前記指示位置を検出し、
前記動き検出部は、前記第1タイミング以降に生じる前記動きを検出する、
ことを特徴とする請求項1から5のいずれか1項に記載のプロジェクター。 - 前記第1タイミングは、前記指示体が前記投射面と接触したときに応じたタイミングである、
ことを特徴とする請求項6に記載のプロジェクター。 - 前記第1タイミングは、前記投射面に前記指示体が接触した状態が所定時間継続したときに応じたタイミングである、
ことを特徴とする請求項6に記載のプロジェクター。 - 前記動き検出部は、前記指示体が前記投射面と接触している状況において当該指示体の動きを検出する、
ことを特徴とする請求項1から8のいずれか1項に記載のプロジェクター。 - 前記動き検出部は、前記指示体の姿勢の動きを検出する、
ことを特徴とする請求項1から8のいずれか1項に記載のプロジェクター。 - 投射画像を投射面に投射する投射部と、
指示体が前記投射面において指示する指示位置を検出する位置検出部と、
前記指示位置の変化を検出する変化検出部と、
前記指示位置と前記指示位置の変化とに基づいて、前記投射画像の歪みを補正する補正部と、
を含むことを特徴とするプロジェクター。 - 前記補正部は、
前記指示位置に基づいて前記投射画像における補正箇所を決定し、
前記指示位置の変化に基づいて前記補正箇所の位置を補正することによって前記投射画像の歪みを補正する、
ことを特徴とする請求項11に記載のプロジェクター。 - 投射画像を投射面に投射し、
指示体が前記投射面において指示する指示位置を検出し、
前記指示体の動きを検出し、
前記指示位置と前記動きとに基づいて、前記投射画像の歪みを補正する、
ことを特徴とするプロジェクターの制御方法。 - 投射画像を投射面に投射し、
指示体が前記投射面において指示する指示位置を検出し、
前記指示位置の変化を検出し、
前記指示位置と前記指示位置の変化とに基づいて、前記投射画像の歪みを補正する、
ことを特徴とするプロジェクターの制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017204524A JP2019078845A (ja) | 2017-10-23 | 2017-10-23 | プロジェクターおよびプロジェクターの制御方法 |
US16/166,461 US20190124309A1 (en) | 2017-10-23 | 2018-10-22 | Projector and method for controlling projector |
CN201811228493.9A CN109698947A (zh) | 2017-10-23 | 2018-10-22 | 投影仪和投影仪的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017204524A JP2019078845A (ja) | 2017-10-23 | 2017-10-23 | プロジェクターおよびプロジェクターの制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019078845A true JP2019078845A (ja) | 2019-05-23 |
JP2019078845A5 JP2019078845A5 (ja) | 2020-10-08 |
Family
ID=66170829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017204524A Pending JP2019078845A (ja) | 2017-10-23 | 2017-10-23 | プロジェクターおよびプロジェクターの制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190124309A1 (ja) |
JP (1) | JP2019078845A (ja) |
CN (1) | CN109698947A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022003876A1 (ja) * | 2020-07-01 | 2022-01-06 | 日本電気株式会社 | 制御装置、制御方法、及びコンピュータ可読媒体 |
WO2022044386A1 (ja) * | 2020-08-28 | 2022-03-03 | 富士フイルム株式会社 | 制御装置、制御方法、制御プログラム、及び投影システム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11002999B2 (en) * | 2019-07-01 | 2021-05-11 | Microsoft Technology Licensing, Llc | Automatic display adjustment based on viewing angle |
JP7036133B2 (ja) * | 2020-02-20 | 2022-03-15 | セイコーエプソン株式会社 | プロジェクションシステム、プロジェクターの制御方法およびプロジェクター |
JP2021197028A (ja) * | 2020-06-17 | 2021-12-27 | セイコーエプソン株式会社 | 位置検出方法、プロジェクターの制御方法、位置検出装置およびプロジェクター |
JP7439682B2 (ja) * | 2020-07-29 | 2024-02-28 | セイコーエプソン株式会社 | 画像補正方法、及び、プロジェクター |
JP2023017206A (ja) * | 2021-07-26 | 2023-02-07 | セイコーエプソン株式会社 | プロジェクターの制御方法、及びプロジェクター |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009182435A (ja) * | 2008-01-29 | 2009-08-13 | Seiko Epson Corp | 投影システム、リモコン、プロジェクタ、投影システムの操作方法およびプログラム |
JP2010250041A (ja) * | 2009-04-15 | 2010-11-04 | Seiko Epson Corp | プロジェクター及びその制御方法 |
JP2011118533A (ja) * | 2009-12-01 | 2011-06-16 | Tokyo Denki Univ | タッチ位置入力装置及びタッチ位置入力方法 |
US20110242421A1 (en) * | 2010-04-01 | 2011-10-06 | Samsung Electronics Co., Ltd. | Image distortion correction apparatus and method |
JP2012129594A (ja) * | 2010-12-13 | 2012-07-05 | Seiko Epson Corp | プロジェクターおよびプロジェクターの画面形状補正方法 |
JP2012127993A (ja) * | 2010-12-13 | 2012-07-05 | Seiko Epson Corp | プロジェクターおよびプロジェクターの画面形状補正方法 |
JP2012194424A (ja) * | 2011-03-17 | 2012-10-11 | Seiko Epson Corp | プロジェクター、及び、プロジェクターの制御方法 |
JP2014074825A (ja) * | 2012-10-05 | 2014-04-24 | Seiko Epson Corp | プロジェクター、およびプロジェクターの制御方法 |
WO2014208168A1 (ja) * | 2013-06-26 | 2014-12-31 | ソニー株式会社 | 情報処理装置、制御方法、プログラム、および記憶媒体 |
JP2016188892A (ja) * | 2015-03-30 | 2016-11-04 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
JP2017181540A (ja) * | 2016-03-28 | 2017-10-05 | セイコーエプソン株式会社 | プロジェクターおよび制御方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4746573B2 (ja) * | 2007-03-08 | 2011-08-10 | Lunascape株式会社 | プロジェクタシステム |
US20120044140A1 (en) * | 2010-08-19 | 2012-02-23 | Sanyo Electric Co., Ltd. | Information display system and program, and optical input system, projection-type images and display apparatus |
WO2013124901A1 (ja) * | 2012-02-24 | 2013-08-29 | 日立コンシューマエレクトロニクス株式会社 | 光学投射型表示装置、携帯端末、プログラム |
-
2017
- 2017-10-23 JP JP2017204524A patent/JP2019078845A/ja active Pending
-
2018
- 2018-10-22 US US16/166,461 patent/US20190124309A1/en not_active Abandoned
- 2018-10-22 CN CN201811228493.9A patent/CN109698947A/zh not_active Withdrawn
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009182435A (ja) * | 2008-01-29 | 2009-08-13 | Seiko Epson Corp | 投影システム、リモコン、プロジェクタ、投影システムの操作方法およびプログラム |
JP2010250041A (ja) * | 2009-04-15 | 2010-11-04 | Seiko Epson Corp | プロジェクター及びその制御方法 |
JP2011118533A (ja) * | 2009-12-01 | 2011-06-16 | Tokyo Denki Univ | タッチ位置入力装置及びタッチ位置入力方法 |
US20110242421A1 (en) * | 2010-04-01 | 2011-10-06 | Samsung Electronics Co., Ltd. | Image distortion correction apparatus and method |
JP2012129594A (ja) * | 2010-12-13 | 2012-07-05 | Seiko Epson Corp | プロジェクターおよびプロジェクターの画面形状補正方法 |
JP2012127993A (ja) * | 2010-12-13 | 2012-07-05 | Seiko Epson Corp | プロジェクターおよびプロジェクターの画面形状補正方法 |
JP2012194424A (ja) * | 2011-03-17 | 2012-10-11 | Seiko Epson Corp | プロジェクター、及び、プロジェクターの制御方法 |
JP2014074825A (ja) * | 2012-10-05 | 2014-04-24 | Seiko Epson Corp | プロジェクター、およびプロジェクターの制御方法 |
WO2014208168A1 (ja) * | 2013-06-26 | 2014-12-31 | ソニー株式会社 | 情報処理装置、制御方法、プログラム、および記憶媒体 |
JP2016188892A (ja) * | 2015-03-30 | 2016-11-04 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
JP2017181540A (ja) * | 2016-03-28 | 2017-10-05 | セイコーエプソン株式会社 | プロジェクターおよび制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022003876A1 (ja) * | 2020-07-01 | 2022-01-06 | 日本電気株式会社 | 制御装置、制御方法、及びコンピュータ可読媒体 |
WO2022044386A1 (ja) * | 2020-08-28 | 2022-03-03 | 富士フイルム株式会社 | 制御装置、制御方法、制御プログラム、及び投影システム |
Also Published As
Publication number | Publication date |
---|---|
CN109698947A (zh) | 2019-04-30 |
US20190124309A1 (en) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019078845A (ja) | プロジェクターおよびプロジェクターの制御方法 | |
US11016582B2 (en) | Position detecting device, position detecting system, and controlling method of position detecting device | |
JP6349838B2 (ja) | 位置検出装置、位置検出システム、及び、位置検出装置の制御方法 | |
KR101811794B1 (ko) | 위치 검출 장치, 위치 검출 시스템 및, 위치 검출 방법 | |
US11131911B2 (en) | Projector and method for controlling projector | |
JP2015158887A (ja) | 位置検出システム、及び、位置検出システムの制御方法 | |
JP6809292B2 (ja) | プロジェクターおよびプロジェクターの制御方法 | |
JP2012129594A (ja) | プロジェクターおよびプロジェクターの画面形状補正方法 | |
JP6562124B2 (ja) | 位置検出システム、及び、位置検出システムの制御方法 | |
JP2015158885A (ja) | 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法 | |
CN104898894B (zh) | 位置检测装置以及位置检测方法 | |
JP2012127993A (ja) | プロジェクターおよびプロジェクターの画面形状補正方法 | |
JP2019096098A (ja) | 画像表示装置及びその制御方法 | |
JP2012181721A (ja) | 位置入力装置、プロジェクター、プロジェクターの制御方法、及び、表示システム | |
JP6586891B2 (ja) | プロジェクター及びプロジェクターの制御方法 | |
JP2015053734A (ja) | プロジェクター、画像投写システムおよび画像投写方法 | |
JP6642032B2 (ja) | プロジェクター及びプロジェクターの制御方法 | |
JP6291912B2 (ja) | 位置検出装置、及び、位置検出方法 | |
JP6291911B2 (ja) | 位置検出装置、及び、位置検出方法 | |
US11061512B2 (en) | Projector, image display system, and method for controlling image display system | |
JP6340860B2 (ja) | 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法 | |
JP2018138946A (ja) | プロジェクターおよびプロジェクターの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200826 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221206 |