JP2020003754A - 投影装置、投影方法及びプログラム - Google Patents

投影装置、投影方法及びプログラム Download PDF

Info

Publication number
JP2020003754A
JP2020003754A JP2018125873A JP2018125873A JP2020003754A JP 2020003754 A JP2020003754 A JP 2020003754A JP 2018125873 A JP2018125873 A JP 2018125873A JP 2018125873 A JP2018125873 A JP 2018125873A JP 2020003754 A JP2020003754 A JP 2020003754A
Authority
JP
Japan
Prior art keywords
projection
unit
distance
distance measurement
tof
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018125873A
Other languages
English (en)
Other versions
JP6822445B2 (ja
Inventor
須釜 浩介
Kosuke Sugama
浩介 須釜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2018125873A priority Critical patent/JP6822445B2/ja
Priority to US16/458,798 priority patent/US11252387B2/en
Priority to CN201910584654.6A priority patent/CN110677630B/zh
Publication of JP2020003754A publication Critical patent/JP2020003754A/ja
Application granted granted Critical
Publication of JP6822445B2 publication Critical patent/JP6822445B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/16Optical objectives specially designed for the purposes specified below for use in conjunction with image converters or intensifiers, or for use with projectors, e.g. objectives for projection TV
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/145Housing details, e.g. position adjustments thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】操作ボタンを用いることなく、簡易な構成ながら投影動作に関する各種操作を実現する。【解決手段】画像を投影する投影部14と、装置本体と投影対象物との距離を取得するフォーカス処理部13と、投影部14の投影光軸と略平行な測距軸を有するToFセンサ10D,10Eと、フォーカス処理部13で取得した距離を基準としたToFセンサ10D,10Eの測距結果に基づいて、投影動作を制御する制御部11とを備える。【選択図】 図3

Description

本発明は、特にウェアラブルな超小型のプロジェクタ等に好適な投影装置、投影方法及びプログラムに関する。
プロジェクタ本体に操作ボタンを配置せずに画像を投射することができる小型のプロジェクタを提供するための技術が提案されている。(例えば、特許文献1)
特開2011−175051号公報
上記特許文献1に記載された技術は、例えばテーブルや卓上等にプロジェクタを設置して、その接地面に画像を投影することを前提としている。そのため、設置面上で操作される装置の動きを検出し、検出結果から操作に対応した処理を実行するものとしている。
一方で、近年は非常に小型で持ち運びが容易なモバイルプロジェクタが種々製品化されている。この種のモバイルプロジェクタは、バッテリ駆動により、例えば胸ポケットに装着することで、装着者自身が胸の前にかざした掌に画像を投影することが可能となる。
このようなモバイルプロジェクタでは、装置本体が小型であるが故に、投影に関する各種の操作を行なうための複数のボタンを装備したとしても、それらの操作が煩雑となり、特に投影動作中に投影される画像の乱れ等を誘発することなくボタンを操作することはきわめて困難となる。
そのため、プロジェクタとは別体のリモートコントローラを用いる方法や、投影画角をカバーするような撮影画角を有する撮像系の部材を投影面に併設して、その撮影画像から、画像を投影している掌による、操作を指示するための動きを認識する方法などが考えられる。
しかしながら、上記前者の別体のリモートコントローラを用いる方法は、小型のモバイルプロジェクタ自体の携帯の容易さを阻害する要因となり得る。
また上記後者の、投影系に対して撮像系の部材を併設して、操作を指示するための掌の動きを認識させる方法は、固体撮像素子や撮影レンズ光学系を含む複雑なハードウェア回路が必要となり、モバイルプロジェクタの製造コストや消費電力等も含めて、実用的ではない。
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、簡易な構成ながら投影動作に関する各種操作を実現することが可能な投影装置、投影方法及びプログラムを提供することにある。
本発明の一態様は、画像を投影する投影部と、装置本体と投影対象物との距離を取得する取得部と、上記投影部の投影光軸と略平行な測距軸を有する測距部と、上記取得部が取得した距離を基準とした上記測距部の測距結果に基づいて、投影動作を制御する制御部と、を備える。
本発明によれば、簡易な構成ながら投影動作に関する各種操作を実現することが可能となる。
本発明の一実施形態に係る小型モバイルプロジェクタ装置の外観構成と装着方法とを示す図。 同実施形態に係る基本的なジェスチャ操作の概要を示す図。 同実施形態に係る電子回路の機能構成を示すブロック図。 同実施形態に係るユーザのジェスチャ操作に対応した処理内容を示すフローチャート。 同実施形態に係るToFセンサ(ToF−A,ToF−B)の検知出力の経時変化特性を例示する図。 同実施形態に係る「掌投影モード」での投影環境とジェスチャ判定内容とを説明する図。 同実施形態に係る「壁面投影モード」での投影環境を説明する図。 同実施形態に係る「壁面投影モード」での投影環境とジェスチャ判定内容とを投影環境を説明する図。 同実施形態に係る「静置投影モード」でのジェスチャ判定内容を説明する図。 同実施形態に係る「挟所投影モード」での投影環境とジェスチャ判定内容とを投影環境を説明する図。
以下、本発明をウェアラブルタイプの小型モバイルプロジェクタに適用した場合の一実施形態について、図面を参照して詳細に説明する。
図1は、本実施形態に係る小型モバイルプロジェクタ10の外観構成と装着例とを示す図である。同図(A)に示すように、小型モバイルプロジェクタ10は、筐体10Aと筐体10Bとがヒンジを介して開閉自在に接続された二つ折り構造となっており、筐体10Aの外面側に、投影レンズ部10Cと、この投影レンズ部10Cを挟んで2つのToFセンサ10D(ToF−A),10E(ToF−B)とが配設される。
投影レンズ部10Cは、内部の図示しない半導体発光素子による光源と表示素子であるマイクロミラー素子とにより形成された光像を、筐体10Aの盤面と直交する方向に出射して、被投影対象に画像を投影する。
ToFセンサ10D,10Eは共に、投影レンズ部10Cの投影光軸と平行となる軸方向に沿って極小出力の不可視レーザ光を出射し、その反射光の受信タイミングとの時間差により、上記軸方向上に存在する外部物体との距離を測定するセンサである。
2つのToFセンサ10D,10Eの各検知出力と、ToFセンサ10D,10Eの配列方向とを勘案することで、上記配列方向に沿った外部物体の動きを検出できる。
加えて、筐体10Aの側面には、投影レンズ部10Cの焦点距離を調整するためのフォーカスダイヤル10Fが配設される。マニュアルフォーカスレンズ(取得部)のレンズ位置に応じた被写体距離を検出することで、小型モバイルプロジェクタ10(装置本体)と投影対象物との距離を取得することができる。一方の筐体10Bの側面には、電源のオン/オフを指示する電源キー10Gが配設される。
図1(B)は、筐体10A,10Bを折り畳んだ状態の小型モバイルプロジェクタ10の外観を示す。
図1(C)は、シャツSTの胸ポケットPKに小型モバイルプロジェクタ10を装着した状態を例示している。筐体10Aと筐体10Bとで胸ポケットPKを挟み、且つ筐体10A側を胸ポケットPKの外側として、シャツSTを着たユーザの前方を向くように小型モバイルプロジェクタ10を装着することで、この小型モバイルプロジェクタ10の投影状態となる。
図2(A)は、上記図1(C)のように装着した小型モバイルプロジェクタ10から、同ユーザの手HDに画像を投影している状態を例示している。
加えて図2(B)に示すように、本実施形態における小型モバイルプロジェクタ10では、ToFセンサ10D,10Eの検知出力により、ユーザの手HDによるハンドジェスチャを基本的な操作指示として受け付ける。
すなわち、小型モバイルプロジェクタ10に対してユーザの手HDを近付ける場合(near)、遠ざける場合(far)、上げる場合(up)、下げる場合(down)の4つの移動を操作指示として受け付けることが可能であるものとする。
このうち、上げる場合(up)及び下げる場合(down)に関しては、ToFセンサ10D,10Eの配列方向に沿ってユーザの手HDを移動させることで、ToFセンサ10D,10Eの一方の検知結果が他方の検知結果より急に距離が「大」となった場合に、ユーザの手HDの上げ下げされた方向を判断するものである。
図3は、小型モバイルプロジェクタ10内に設けられる電子回路の機能構成を示すブロック図である。同図において、小型モバイルプロジェクタ10全体の制御を司る制御部11に対して、メモリ12が直接接続されると共に、バスBを介して、フォーカス処理部13、投影部14、キー操作部15、測距部16、及び通信部17が接続される。
メモリ12は、RAMで構成されるワークメモリ12Aと、不揮発性のメモリ、例えばフラッシュROMで構成されるプログラムメモリ12B、及びコンテンツメモリ12Cとを有する。
制御部11は、CPU等のプロセッサで構成され、プログラムメモリ12Bに記憶される動作プログラムを読み出し、ワークメモリ12Aで展開した上で実行することにより、小型モバイルプロジェクタ10内での投影動作を制御する。
投影部14は、上記投影レンズ部10Cに加え、図示しない半導体発光素子による光源、表示素子であるマイクロミラー素子を含み、コンテンツメモリ12Cに記憶される画像コンテンツを用いて光像を形成させ、投影レンズ部10Cにより出射して投影させる。
フォーカス処理部13は、制御部11の制御の下に、投影レンズ部10C中の図示しないフォーカスレンズの位置を駆動制御する。
キー操作部15は、フォーカスダイヤル10F、電源キー10Gを含み、それらの操作に応じた操作信号を制御部11へ送出する。
測距部16は、ToFセンサ10D,10Eを所定のサンプリング周期、例えば0.2[ミリ秒]〜0.35[ミリ秒](サンプリング周波数:約2850[Hz]〜5000[Hz])で駆動して、それぞれの検知出力から距離データを取得し、取得した距離データを制御部11へ送出する。
通信部17は、例えば無線LANインタフェイス(I/F)18、ブルートゥース(登録商標)インタフェイス(I/F)19、USBインタフェイス(I/F)20を介して、この小型モバイルプロジェクタ10と無線または有線で外部接続される機器との間のデータの送受を制御する。
無線LANインタフェイス18は、例えばIEEE802.11a/11b/11g/11n規格に則って外部機器と無線データの送受を行なう。
ブルートゥースインタフェイス19は、例えばBluetooth(登録商標)BR/EDRバージョン5.0に対応し、比較的低い消費電力で画像コンテンツ等包括線の無線データの送受を行なう。
USBインタフェイス20は、ここでは図示しないUSBケーブルを介して接続された外部機器と画像コンテンツ等のデータの送受を行なう。
次に上記実施形態の動作について説明する。
図4は、主として制御部11が周期的に実行する、ユーザのジェスチャ操作に対応した処理内容を示すフローチャートである。
処理当初に制御部11は、フォーカスダイヤル10Fの操作位置に対応した現在の画像投影の焦点距離fをフォーカス処理部13から取得する(ステップS101)。
次に制御部11は、現在の使用状況を、主として直前の一定時間分のToFセンサ10D,10Eの検知出力として取得する(ステップS102)。
図5は、例えばサンプリング周期を0.3[ミリ秒]とした場合のToFセンサ10D,10Eの検知出力の経時変化特性を例示する図である。同図において、例えば実線で示す特性図がToFセンサ10D(ToF−A)の出力、破線で示す特性図がToFセンサ10E(ToF−B)の出力であるものとする。
焦点距離fを中心として、その上下で閾値として第1検知線、第2検知線を設定して、所定時間内の変化の度合いを判定するものとしている。
図5(A)は、例えば小型モバイルプロジェクタ10を上記図1(C)で示したようにシャツSTの胸ポケットPKに装着し、投影面としてユーザの手HDを用いる場合のように、小型モバイルプロジェクタ10本体も投影面も共に揺れている「ケースI」状態のToFセンサ10D,10Eの出力を例示している。
制御部11では、一定時間中で焦点距離fに対してより乖離の大きい閾値である第2検知線を越えた回数をカウントして、この「ケースI」状態となっていることを判定する。
図5(B)は、例えば小型モバイルプロジェクタ10を上記図1(C)で示したようにシャツSTの胸ポケットPKに装着し、投影面として壁面など固定された被投影対象を用いる場合のように、小型モバイルプロジェクタ10本体のみが揺れている「ケースII」状態のToFセンサ10D,10Eの出力を例示している。
制御部11では、一定時間中で焦点距離fに対してより乖離の大きい閾値である第2検知線を越えていないものの、より乖離の小さい閾値である第1検知線を越えている場合には、その第1検知線を超えた回数をカウントして、この「ケースII」状態となっていることを判定する。
図5(C)は、例えば小型モバイルプロジェクタ10を三脚等により固定化し、且つ投影面としても壁面など固定された被投影対象を用いる場合のように、小型モバイルプロジェクタ10と投影面が共に固定化されている「ケースIII」状態のToFセンサ10D,10Eの出力を例示している。
制御部11では、一定時間中で焦点距離fに対してより乖離の大きい閾値である第2検知線、乖離の小さい閾値である第1検知線のいずれも越えていないことから、この「ケースIII」状態となっていることを判定する。
上記ステップS102において、現在の使用状況としてToFセンサ10D,10Eの検知出力を取得した上で、次に制御部11は、ToFセンサ10D,10Eの検知出力の直近の一定時間分から使用状況が、「ケースI」「ケースII」「ケースIII」「挟所」「非投影中」のいずれであるかの判定を行なう(ステップS103)。
使用状況が「ケースI」であると判定した場合、次に制御部11は、「掌投影モード」に対応したジェスチャ判定テーブルを選定する(ステップS105)。
図6は、「掌投影モード」での投影環境とジェスチャ判定内容とを説明する図である。図6(A)に示すように、フォーカスダイヤル10Fの操作位置に応じて焦点距離fが求まるもので、ここでは図示する如く掌上に投影面が位置するものとなっている。
この焦点距離fを基準として、小型モバイルプロジェクタ10からの距離に応じて、
エリア3:0以上、且つa(=f−0.30f)以下、
エリア2:a(=f−0.30f)以上、且つb(=f+0.30f)以下、
エリア1:b(=f+0.30f)以上、且つc(=f+0.5f)以下、
エリア0:c(=f+0.5f)以上、
の計4つのエリアに分割する。
制御部11では、図6(B)に示すように掌投影モードでのジェスチャ判定テーブルをプログラムメモリ12Bから読み出してワークメモリ12Aにセットした上で、以後のジェスチャ操作に備える。
すなわち、ToFセンサ10D,10Eの検知出力から得られる、ユーザの手の位置の遷移状態から、ここでは7種類のジェスチャ操作を検知するものである。同テーブルにおいては、例えばToFセンサ10D,10Eの各出力から得たエリア3〜エリア0いずれかの値を組として(x,y)のように判定している。テーブル中の変数N(=1〜3)は、エリア0以外のエリア1〜エリア3のいずれかに位置していることを示す。
例えば、内部記憶媒体であるコンテンツメモリ12Cに保存されていた画像ファイルを閲覧するビューワモードにおいて、一連の画像ファイル中のファイル「Image001」を投影動作中に、2番目のジェスチャコマンド「Down」が検知されると、そのジェスチャに関連付けされた操作指示「SlideBack」により、1つ前の画像「Image000」を投影する。
その状態からさらに、3番目のジェスチャコマンド「Up」が検知されると、そのジェスチャに関連付けされた操作指示「SlideFWD」により、1つ次の画像「Image001」を投影する。
上記図2(B)に示した、4つの基本的なジェスチャ操作「Up」「Down」「Near」「Far」を、特に画像投影時での使用頻度の高い操作指示、例えば「Near」を投影画角を増大させる拡大投影、「Far」を投影画角を減少させる縮小投影のように、関連付けて設定しておくことで、より操作性を向上させることができる。
加えて、1番目のジェスチャコマンド「Out」(外側へ大きく逃げるような手の動き)を、操作指示「焦点距離fの延長」に関連付けて設定していた場合、当該ジェスチャを検知することで、フォーカスダイヤル10Fの操作に代えて、焦点距離fの一定分の延長を実行させることができる。
また上記ステップS103において、使用状況が「ケースII」であると判定した場合、次に制御部11は、「壁面投影モード」に対応したジェスチャ判定テーブルを選定する(ステップS106)。
図7は、「壁面投影モード」での投影環境を説明する図である。この場合、投影レンズ部10Cの焦点距離fは、図中に実際の投影面を示すように、壁WLの表面もしくはその近傍にあって、上記図6(A)におけるエリア2の奥側、エリア1及びエリア0に相当する、焦点距離f以遠の位置では、掌によるジェスチャ操作を行なうことができないことになる。
したがって本実施形態では、ジェスチャ操作の基準位置を、焦点距離fよりも手前側、例えば焦点距離f′=f/2として、ジェスチャ操作に対する制御を行なうものとする。
図8は、上記のように代理となる基準位置を設定した状態での「壁面投影モード」での投影環境とジェスチャ判定内容とを説明する図である。図8(A)に示すように、フォーカスダイヤル10Fの操作位置に応じた焦点距離fの半値f′を基準として、小型モバイルプロジェクタ10からの距離に応じて、
エリア3:0以上、且つa′(=f′−0.30f′)以下、
エリア2:a′(=f′−0.30f′)以上、且つb′(=f′+0.30f′)以下、
エリア1:b′(=f′+0.30f′)以上、且つc′(=f′+0.50f′)以下、
エリア0:c′(=f′+0.50f′)以上、fまで
の計4つのエリアに分割する。
図8(B)に示すジェスチャ判定テーブル自体は、上記図6(B)に示した内容と同様となる。
また上記ステップS103において、使用状況が「ケースIII」であると判定した場合、次に制御部11は、「静置投影モード」に対応したジェスチャ判定テーブルを選定する(ステップS107)。
この「ケースIII」においては、小型モバイルプロジェクタ10と投影面の壁面が共に固定された設置環境であるものと思われるため、エリアの分割に関しては上記図8(A)に示した「ケースII」と同様に、焦点距離fの半値f′を基準としたエリアを分割してジェスチャの判定を行なうものとする。
図9(A)における、エリア分割後の、ジェスチャ判定テーブルの内容に関しては、上記「掌投影モード」「壁面投影モード」の内容と同様であるものとし、さらにこの「静置投影モード」においては、8番目のジェスチャ操作「Tilt−1」、9番目のジェスチャ操作「Tilt−2」を追加するものとする。
図9(B)は、これらのジェスチャ操作「Tilt−1」「Tilt−2」の掌の動きを示すもので、ToFセンサ10D,10Eの測距軸に直交する掌の面を0°とした場合に、傾きが前後45°未満から、前側(Tilt−1)、または後ろ側(Tilt−2)に45°以上傾いたことを検知する。
具体的には、ToFセンサ10D,10Eの出力から、掌の位置がエリア内で移動しておらず、且つ、ToFセンサ10D,10Eで得られる距離値の差が、2つのToFセンサ10D,10Eの配列間隔と等しい距離値d以上となった否かにより判断する。
また上記ステップS103において、使用状況が「挟所」であると判定した場合、次に制御部11は、「挟所投影モード」に対応したジェスチャ判定テーブルを選定する(ステップS108)。
なお、「挟所投影モード」に関しては、ユーザによる特定の操作、例えば電源キー10Gを一定時間0.2[秒]以内の短い時間のみ1回操作することで、強制的に当該モードに移行するものとしても良い。
図10は、「挟所投影モード」での投影環境とジェスチャ判定内容とを説明する図である。図10(A)に示すように、非常に短い焦点距離fで掌に投影を行なっている状態で、壁WL等の存在によりジェスチャ操作を行なう空間的な余裕があまりない場合に、上述した如く当該モードを指定することで、小さなジェスチャ操作による指示を行なうことを可能とする。
この場合、焦点距離fを基準として、小型モバイルプロジェクタ10からの距離に応じて、
エリア3:0以上、且つa(=f−0.15f)以下、
エリア2:a(=f−0.15f)以上、且つb(=f+0.15f)以下、
エリア1:b(=f+0.15f)以上、且つc(=f+0.25f)以下、
エリア0:c(=f+0.25f)以上、
の計4つのエリアに分割する。
制御部11では、図10(B)に示すように挟所投影モードでのジェスチャ判定テーブルをプログラムメモリ12Bから読み出してワークメモリ12Aにセットした上で、以後のジェスチャ操作に備える。
また上記ステップS103において、その時点で投影部14による画像の投影動作を行なっていない場合には、無条件に使用状況が「被投影中」であるものと判定して、次に制御部11は、暫定的に「掌投影モード」に対応したジェスチャ判定テーブルを選定する(ステップS104)。
この場合、ジェスチャ操作による指示を受け付けることで、コンテンツメモリ12Cに記憶している画像ファイルの選択や通信部17を介しての外部からの画像ファイルの入力を設定しての投影動作の開始に移行できるようにする。
上記ステップS104〜S108のいずれかの処理により、ジェスチャ判定テーブルの選定を終えると、続いて実際にToFセンサ10D,10Eの検知出力に応じて、ジェスチャ操作によるコマンド指示がなされたか否かを判断する(ステップS109)。
ジェスチャ操作によるコマンド指示がなされたと判断した場合(ステップS109のYes)、制御部11は、その時点で選定しているジェスチャ判定テーブルを用いてジェスチャコマンドを判定し、判定した結果に基づいた投影動作上の制御を実行し(ステップS110)、以上で一連の処理を一旦終了して、再び未上記ステップS101からの処理に戻る。
また上記ステップS109において、ジェスチャ判定テーブルを選定した状態から、ToFセンサ10D,10Eの検知出力により、何ら具体的なジェスチャ操作によるコマンド指示がなされていないと判断した場合(ステップS109のNo)、制御部11は、上記ステップS110での投影動作上の制御を行なうことなく、以上で一連の処理を一旦終了して、再び未上記ステップS101からの処理に戻る。
以上詳述した如く本実施形態によれば、それぞれ軸方向のみに測距する単純な構造のToFセンサを少なくとも一対用いることで、簡易なジェスチャ操作を検知可能としたので、簡易な構成ながら投影動作に関する各種操作を実現することが可能となる。
また上記実施形態では、ToFセンサの検知出力の経時変化に応じたものとしたことにより、ジェスチャ操作として検知可能なバリエーションが多く、より複雑な操作を指示できる。
また上記実施形態では、その時点で画像を投影している焦点距離を基準とした、投影光軸に沿った遠近の複数範囲をエリア分けしてジェスチャ操作を勘案するものとしたので、投影環境に即した、きわめて直感的なジェスチャ操作による制御が実現できる。
加えて上記実施形態では、ToFセンサの検知出力の経時変化の度合いにより、投影装置及び投影面の状態の少なくとも一方が固定化されている場合や、双方が固定化されている場合などによって、ジェスチャ操作として受け付ける内容を増減させるものとしたので、不安定な投影環境では判定できないジェスチャ操作を適宜受け付けることを可能とした。
なお上記実施形態は、本発明を、内部にコンテンツ用のメモリを内蔵する一方で、外部機器との通信機能を有する、ウェアラブルタイプの小型モバイルプロジェクタに適用した場合の一実施形態について説明したものであるが、本発明は投影装置としての用途や、発光光源、表示装置等に応じたプロジェクタ方式、投影対象とする画像情報の入力系統などを限定するものではない。
また、上記実施形態において、小型モバイルプロジェクタ10は、筐体10Aの外面側に、投影レンズ部10Cを挟んでToFセンサ10D(ToF−A)とToFセンサ10E(ToF−B)とが配設されるとした。しかし、この構成には限らない。ToFセンサは複数個ではなく1個でも構わない。ToFセンサが、筐体10Aの外面側に1個のみ配設された場合は、小型モバイルプロジェクタ10に対して、複数のジェスチャコマンド、具体的には、ユーザの手HDが焦点付近から外へ逃げる動き(Out)、ユーザの手HDを近付ける動き(near)、ユーザの手HDを遠ざける動き(far)、ユーザの手HDを焦点付近にかざした状態(Set)、ユーザの手HDが3秒以上エリア1〜エリア3のいずれかの位置にもいない状態(Clear)、を操作指示として受け付けることが可能である。
さらに、測距部として、ToFセンサ10D、10E以外を用いても良い。例えば、筐体10Aの外面側にレーザ光線の発信孔を配設し、微弱な赤外線のレーザ光線を対象物に当てて、その反射の状況を検知して対象物迄の距離を測るレーザオートフォーカスを用いることができる。あるいは、撮影する画像の情報からピントを合わせる方式を用いることができる。具体的には、オートフォーカス用にセパレーターレンズや位相差センサを設け、画像のピントが正しく合っていると、撮像用センサの後ろにセパレーターレンズを置いて画像を2つに分けたとき、2つの像の位置は一定になるという考えに基づいた位相差オートフォーカスを使用できる。また、記録画像用の撮像素子を活用し、焦点をずらして複数枚撮像するコントラストオートフォーカスを使用できる。
さらに、2つのカメラを平行に並べて同時に撮影し、画像処理を行なうことで、撮影した物体の奥行き情報を取得するステレオカメラを用いて距離を測定することもできる。他には、ストライプまたは格子状のパターンを物体に投影し、それを別の角度のカメラで撮影し、投影されたパターンは物体の形によって歪むため、その歪み方から物体の形や奥行きを求めるストラクチャードライトにより距離を測定しても良い。
上記実施形態において、マニュアルフォーカスレンズ(取得部)のレンズ位置に応じた被写体距離を検出することで、小型モバイルプロジェクタ10(装置本体)と投影対象物との距離を取得するとしたが、この構成に限らない。投影部の投影光軸と略平行な測距軸を有する測距部の測距結果を、取得部が取得しても良い。
その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
画像を投影する投影部と、
装置本体と投影対象物との距離を取得する取得部と、
上記投影部の投影光軸と略平行な測距軸を有する測距部と、
上記取得部が取得した距離を基準とした上記測距部の測距結果に基づいて、投影動作を制御する制御部と、
を備える投影装置。
[請求項2]
上記測距部は、上記投影部と近接配置された複数のToF(Time of Flight)センサであり、
上記制御部は、上記複数のToFセンサの検知出力の所定時間内の変化の度合に応じて上記投影部による投影動作を制御する、
請求項1記載の投影装置。
[請求項3]
上記測距部は、上記投影部と近接配置された複数のToF(Time of Flight)センサであり、
上記制御部は、上記投影部の合焦位置を基準として投影光軸上の距離範囲を複数に分割し、上記複数のToFセンサの検知出力と、上記分割した複数の距離範囲とに応じて、上記投影部による投影動作を制御する、
請求項1または2記載の投影装置。
[請求項4]
上記制御部は、上記複数のToFセンサの検知出力の所定時間内の変化の度合いにより、投影装置及び投影面の状態の少なくとも一方を判定し、判定結果に応じて、その後の上記ToFセンサの検知出力に応じた投影動作の制御内容を制限する、請求項2または3記載の投影装置。
[請求項5]
上記制御部は、上記複数のToFセンサの検知出力の直近の一定時間分から使用状況を判定し、判定した使用状況に対応した投影モードを選択する、請求項2乃至4いずれか記載の投影装置。
[請求項6]
上記制御部は、上記投影モードに対応したジェスチャ判定テーブルを選定する、請求項5記載の投影装置。
[請求項7]
画像を投影する投影部と、装置本体と投影対象物との距離を取得する取得部と、上記投影部の投影光軸と略平行な測距軸を有する測距部と、を備えた装置での投影方法であって、
上記取得部が取得した距離を基準とした上記測距部の測距結果に基づいて、投影動作を制御する制御工程を有する投影方法。
[請求項8]
画像を投影する投影部と、装置本体と投影対象物との距離を取得する取得部と、上記投影部の投影光軸と略平行な測距軸を有する測距部と、を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
上記取得部が取得した距離を基準とした上記測距部の測距結果に基づいて、投影動作を制御する制御部として機能させるプログラム。
10…小型モバイルプロジェクタ、
10A,10B…筐体、
10C…投影レンズ部、
10D…ToFセンサ(ToF−A)、
10E…ToFセンサ(ToF−B)、
10F…フォーカスダイヤル、
10G…電源キー、
11…制御部、
12…メモリ、
12A…ワークメモリ、
12B…プログラムメモリ、
12C…コンテンツメモリ、
13…フォーカス処理部、
14…投影部、
15…キー操作部、
16…測距部、
17…通信部、
18…無線LANインタフェイス(I/F)、
19…ブルートゥースインタフェイス(I/F)、
20…USBインタフェイス(I/F)、
B…バス、
HD…ユーザの手、
ST…シャツ
ブルートゥースインタフェイス19は、例えばBluetooth(登録商標)BR/EDRバージョン5.0に対応し、比較的低い消費電力で画像コンテンツ等の無線データの送受を行なう。
また上記ステップS103において、その時点で投影部14による画像の投影動作を行なっていない場合には、無条件に使用状況が「投影中」であるものと判定して、次に制御部11は、暫定的に「掌投影モード」に対応したジェスチャ判定テーブルを選定する(ステップS104)。
ジェスチャ操作によるコマンド指示がなされたと判断した場合(ステップS109のYes)、制御部11は、その時点で選定しているジェスチャ判定テーブルを用いてジェスチャコマンドを判定し、判定した結果に基づいた投影動作上の制御を実行し(ステップS110)、以上で一連の処理を一旦終了して、再び上記ステップS101からの処理に戻る。
また上記ステップS109において、ジェスチャ判定テーブルを選定した状態から、ToFセンサ10D,10Eの検知出力により、何ら具体的なジェスチャ操作によるコマンド指示がなされていないと判断した場合(ステップS109のNo)、制御部11は、上記ステップS110での投影動作上の制御を行なうことなく、以上で一連の処理を一旦終了して、再び上記ステップS101からの処理に戻る。
また上記実施形態では、ジェスチャ操作をToFセンサの検知出力の経時変化に応じたものとしたことにより、ジェスチャ操作として検知可能なバリエーションが多く、より複雑な操作を指示できる。

Claims (8)

  1. 画像を投影する投影部と、
    装置本体と投影対象物との距離を取得する取得部と、
    上記投影部の投影光軸と略平行な測距軸を有する測距部と、
    上記取得部が取得した距離を基準とした上記測距部の測距結果に基づいて、投影動作を制御する制御部と、
    を備える投影装置。
  2. 上記測距部は、上記投影部と近接配置された複数のToF(Time of Flight)センサであり、
    上記制御部は、上記複数のToFセンサの検知出力の所定時間内の変化の度合に応じて上記投影部による投影動作を制御する、
    請求項1記載の投影装置。
  3. 上記測距部は、上記投影部と近接配置された複数のToF(Time of Flight)センサであり、
    上記制御部は、上記投影部の合焦位置を基準として投影光軸上の距離範囲を複数に分割し、上記複数のToFセンサの検知出力と、上記分割した複数の距離範囲とに応じて、上記投影部による投影動作を制御する、
    請求項1または2記載の投影装置。
  4. 上記制御部は、上記複数のToFセンサの検知出力の所定時間内の変化の度合いにより、投影装置及び投影面の状態の少なくとも一方を判定し、判定結果に応じて、その後の上記ToFセンサの検知出力に応じた投影動作の制御内容を制限する、請求項2または3記載の投影装置。
  5. 上記制御部は、上記複数のToFセンサの検知出力の直近の一定時間分から使用状況を判定し、判定した使用状況に対応した投影モードを選択する、請求項2乃至4いずれか記載の投影装置。
  6. 上記制御部は、上記投影モードに対応したジェスチャ判定テーブルを選定する、請求項5記載の投影装置。
  7. 画像を投影する投影部と、装置本体と投影対象物との距離を取得する取得部と、上記投影部の投影光軸と略平行な測距軸を有する測距部と、を備えた装置での投影方法であって、
    上記取得部が取得した距離を基準とした上記測距部の測距結果に基づいて、投影動作を制御する制御工程を有する投影方法。
  8. 画像を投影する投影部と、装置本体と投影対象物との距離を取得する取得部と、上記投影部の投影光軸と略平行な測距軸を有する測距部と、を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
    上記取得部が取得した距離を基準とした上記測距部の測距結果に基づいて、投影動作を制御する制御部として機能させるプログラム。
JP2018125873A 2018-07-02 2018-07-02 投影装置、投影方法及びプログラム Active JP6822445B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018125873A JP6822445B2 (ja) 2018-07-02 2018-07-02 投影装置、投影方法及びプログラム
US16/458,798 US11252387B2 (en) 2018-07-02 2019-07-01 Projection apparatus, projection method and storage medium
CN201910584654.6A CN110677630B (zh) 2018-07-02 2019-07-01 投影装置、投影方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018125873A JP6822445B2 (ja) 2018-07-02 2018-07-02 投影装置、投影方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020003754A true JP2020003754A (ja) 2020-01-09
JP6822445B2 JP6822445B2 (ja) 2021-01-27

Family

ID=69008498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018125873A Active JP6822445B2 (ja) 2018-07-02 2018-07-02 投影装置、投影方法及びプログラム

Country Status (3)

Country Link
US (1) US11252387B2 (ja)
JP (1) JP6822445B2 (ja)
CN (1) CN110677630B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405259B (zh) * 2020-05-20 2022-05-06 成都极米科技股份有限公司 投影设备的对焦方法、对焦装置、遥控器及可读存储介质
CN112822469B (zh) * 2020-12-31 2022-04-12 广景视睿科技(深圳)有限公司 一种自动对焦投影方法及系统
US11856339B2 (en) 2020-12-31 2023-12-26 Iview Displays (Shenzhen) Company Ltd. Automatic focusing projection method and system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
JP2010098479A (ja) * 2008-10-15 2010-04-30 Sony Corp 表示装置、表示方法及び表示システム
WO2011105502A1 (ja) * 2010-02-24 2011-09-01 京セラ株式会社 携帯電子機器および投影システム
JP2012137989A (ja) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
JP2012146303A (ja) * 2011-01-06 2012-08-02 Samsung Electronics Co Ltd モーションによって制御されるディスプレイ装置及びそのモーション制御方法
JP2012208439A (ja) * 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム
JP2013122601A (ja) * 2013-01-10 2013-06-20 Seiko Epson Corp プロジェクタ、プロジェクタの画像調整方法およびそのプログラム
JP2015125670A (ja) * 2013-12-27 2015-07-06 日立マクセル株式会社 画像投射装置
JP2016012203A (ja) * 2014-06-27 2016-01-21 株式会社リコー 表示装置、表示方法およびプログラム
JP2017223842A (ja) * 2016-06-15 2017-12-21 富士通株式会社 電子機器

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04263217A (ja) * 1990-10-12 1992-09-18 Rudolf Eidenschink 液晶媒体と、それを使用して映像を発生する方法
JPH0580928A (ja) * 1991-09-20 1993-04-02 Sharp Corp 画面表示システム
JP3514257B2 (ja) * 2002-05-20 2004-03-31 セイコーエプソン株式会社 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体
JP5533015B2 (ja) 2010-02-24 2014-06-25 株式会社ニコン プロジェクタ
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US10514256B1 (en) * 2013-05-06 2019-12-24 Amazon Technologies, Inc. Single source multi camera vision system
JP6303772B2 (ja) 2014-04-25 2018-04-04 富士通株式会社 入力制御装置、制御方法および制御プログラム
JP6047763B2 (ja) 2014-09-03 2016-12-21 パナソニックIpマネジメント株式会社 ユーザインターフェース装置およびプロジェクタ装置
JP2016099742A (ja) * 2014-11-19 2016-05-30 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
JP6617417B2 (ja) * 2015-03-05 2019-12-11 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
CN106033245A (zh) * 2015-03-17 2016-10-19 联想(北京)有限公司 一种投影控制方法及电子设备
CN106033257B (zh) * 2015-03-18 2019-05-31 联想(北京)有限公司 一种控制方法和装置
JP2017040840A (ja) 2015-08-21 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法および投影装置
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
CN106897688B (zh) * 2017-02-21 2020-12-08 杭州易现先进科技有限公司 交互式投影装置、控制交互式投影的方法和可读存储介质
CN107197223A (zh) 2017-06-15 2017-09-22 北京有初科技有限公司 微型投影设备和投影设备的手势控制方法
CN108200419B (zh) * 2018-03-30 2020-09-25 联想(北京)有限公司 一种投影方法和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
JP2010098479A (ja) * 2008-10-15 2010-04-30 Sony Corp 表示装置、表示方法及び表示システム
WO2011105502A1 (ja) * 2010-02-24 2011-09-01 京セラ株式会社 携帯電子機器および投影システム
JP2012137989A (ja) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
JP2012146303A (ja) * 2011-01-06 2012-08-02 Samsung Electronics Co Ltd モーションによって制御されるディスプレイ装置及びそのモーション制御方法
JP2012208439A (ja) * 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム
JP2013122601A (ja) * 2013-01-10 2013-06-20 Seiko Epson Corp プロジェクタ、プロジェクタの画像調整方法およびそのプログラム
JP2015125670A (ja) * 2013-12-27 2015-07-06 日立マクセル株式会社 画像投射装置
JP2016012203A (ja) * 2014-06-27 2016-01-21 株式会社リコー 表示装置、表示方法およびプログラム
JP2017223842A (ja) * 2016-06-15 2017-12-21 富士通株式会社 電子機器

Also Published As

Publication number Publication date
CN110677630B (zh) 2022-03-25
CN110677630A (zh) 2020-01-10
US11252387B2 (en) 2022-02-15
US20200007831A1 (en) 2020-01-02
JP6822445B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
CN106231173B (zh) 移动终端及其控制方法
KR102106296B1 (ko) 카메라를 포함하는 전자 장치 및 그것의 동작 방법
US8417109B2 (en) Photographing device and photographing control method
KR102011833B1 (ko) 레이저 거리 측정기
CN110677630B (zh) 投影装置、投影方法以及存储介质
CN113395419A (zh) 电子设备、控制方法和计算机可读介质
CN104243800A (zh) 控制装置和存储介质
JP6464281B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2015008587A1 (ja) 撮影装置及び3次元計測装置
EP2648402A1 (en) Photography control method, photography control device, and photographic device
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
JP2009199049A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
CN109361794A (zh) 移动终端的变焦控制方法、装置、存储介质及移动终端
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
CN105319662B (zh) 进行变焦操作的摄像设备及其控制方法
JP5675926B1 (ja) 電子機器及びその制御プログラム
WO2013161250A1 (ja) ストロボ装置およびそれを備える撮像装置
TWI485505B (zh) 數位相機及數位相機之影像擷取方法
JP5893717B2 (ja) 電子機器及びその制御プログラム
WO2017203644A1 (ja) 情報処理装置、情報処理装置の支持装置、及び情報処理装置の支持装置の制御プログラム
JP2015154348A (ja) 撮影装置、ストロボ画像事前取得方法及びストロボ画像事前取得プログラム
JP5402075B2 (ja) カメラの遠隔制御システム、及び携帯型端末
JP2020076896A (ja) 撮像装置、発光装置、およびそれぞれの制御方法
KR20210058363A (ko) 카메라를 포함하는 전자 장치 및 그의 방법
JP2014033332A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150