JP2021524119A - 光ラベルに基づく情報デバイスインタラクション方法及びシステム - Google Patents

光ラベルに基づく情報デバイスインタラクション方法及びシステム Download PDF

Info

Publication number
JP2021524119A
JP2021524119A JP2021512990A JP2021512990A JP2021524119A JP 2021524119 A JP2021524119 A JP 2021524119A JP 2021512990 A JP2021512990 A JP 2021512990A JP 2021512990 A JP2021512990 A JP 2021512990A JP 2021524119 A JP2021524119 A JP 2021524119A
Authority
JP
Japan
Prior art keywords
information
information device
terminal device
optical label
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021512990A
Other languages
English (en)
Other versions
JP7150980B2 (ja
Inventor
ニウ，シューホン
ファン，ジュン
リー，ジアンリァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Whyhow Information Technology Co Ltd
Original Assignee
Beijing Whyhow Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Whyhow Information Technology Co Ltd filed Critical Beijing Whyhow Information Technology Co Ltd
Publication of JP2021524119A publication Critical patent/JP2021524119A/ja
Application granted granted Critical
Publication of JP7150980B2 publication Critical patent/JP7150980B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G06K19/0728—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs the arrangement being an optical or sound-based communication interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/1141—One-way transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Communication System (AREA)

Abstract

本発明は、光ラベルに基づく情報デバイスインタラクション方法及びシステムを提供する。前記方法では、端末装置により情報デバイスの比較的固定された位置にある光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定し、次に予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報装置の間の相対位置を確定し、さらに前記端末装置の表示画面上の各情報デバイスのイメージング位置を取得し、その後各情報デバイスとのインタラクション操作を行うために、各情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示させる。これにより、ユーザーは、いつでもどこでも視野内の情報デバイスを制御し、且つデバイスインタラクション操作のＷＹＳＩＷＹＧ（見たままが得られる）を行うことができる。【選択図】図４

Description

本発明は光情報技術及び位置サービス分野に関し、より具体的には、光ラベルを使用してデバイスインタラクションを行うための方法及びシステムに関する。本明細書では、光ラベルは光通信装置とも呼ばれる。
モバイルインターネット、モノのインターネット技術、ビッグデータなどの技術の継続的な発展に伴い、スマートホーム業界は急速な発展を遂げ、デジタル化、ネットワーク化、インテリジェント化機能を備えた多くの情報家庭用電気デバイスが登場し、これらの情報家庭用電気デバイスは相互にネットワーク化することができ、且つネットワークを介してインタラクション制御を行うこともできる。携帯電話などのスマートポータブルデバイスの普及に伴い、多くのスマートホームシステムは、携帯電話を使用してユーザーによる家庭用電気デバイスの制御を支援するため、ユーザーの携帯電話がネットワークに接続できる限り、いつでもどこでもネットワークを介して自宅の電気デバイスを制御することができる。しかしながら、電気デバイスが多い場合、ユーザーは、携帯電話で常に閲覧及び選択する必要があり、このような操作が面倒であるため、ユーザーが拒絶感を覚えやすい。
上記問題に対して、本発明は、ユーザーがいつでもどこでも視野内のデバイスを制御し、且つデバイスインタラクション操作のＷＹＳＩＷＹＧ（見たままが得られる）を達成することができるように、新しい光ラベルに基づく情報デバイスインタラクション方法及びシステムを提供する。
本発明の目的は、以下の技術的解決策により達成される：
一態様では、本発明は光ラベルに基づく情報デバイスインタラクション方法を提供する。当該方法は、
Ｓ１）ユーザーが携帯している端末装置により情報デバイスの比較的固定された位置にある光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定することと、
Ｓ２）確定された端末装置の位置と予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報装置の間の相対位置を確定することと、
Ｓ３）確定された端末装置の姿態及びその各情報デバイス間の相対位置に基づいて前記端末装置の表示画面上の各情報デバイスのイメージング位置を計算することと、
Ｓ４）各情報デバイスとのインタラクション操作を行うために、各情報装置の対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示することとを含む。
上記方法では、端末装置の位置及び／又は姿態の変化に応じて、前記端末装置の表示画面上の各情報デバイスのイメージング位置を調整することをさらに含むことができる。
上記方法では、
情報デバイスの対話型インタフェースに対するユーザーの操作を識別することと、
識別された操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信することをさらに含むことができる。
上記方法では、情報デバイスの対話型インタフェースに対するユーザーの操作は、画面入力、キーボード入力、音声入力又はジェスチャー入力のうちの少なくとも１つであってもよい。
別の態様では、本発明はさらに光ラベルに基づく情報デバイスインタラクションシステムを提供する。当該システムは、１つ又は複数の情報デバイスと、情報デバイスの比較的固定された位置にある光ラベルと、情報デバイス及び光ラベルに関連する情報を記憶するためのサーバー、イメージング装置を備えた端末装置とを含み、
ここで、端末装置は、
アクセスされる情報デバイスの比較的固定された位置にある光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定し、
確定された端末装置の位置とサーバーから取得された、予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報デバイスの間の相対位置を確定し、
確定された端末装置の姿態及びそれと各情報デバイスの間の相対位置に基づいて前記端末装置の表示画面上の各情報デバイスのイメージング位置を計算し、
各情報デバイスとのインタラクション操作を行うために、各情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示させるように構成される。
上記システムでは、前記端末装置はさらに端末装置の位置及び／又は姿態の変化に応じて、前記端末装置の表示画面上の各情報デバイスのイメージング位置を調整するように構成されてもよい。
上記システムでは、前記端末装置はさらに、
情報デバイスの対話型インタフェースに対するユーザーの操作を識別し、
識別された操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信するように構成されてもよい。
上記システムでは、情報デバイスの対話型インタフェースに対するユーザーの操作は、画面入力、キーボード入力、音声入力又はジェスチャー入力のうちの少なくとも１つであってもよい。
本発明は、さらにプロセッサとメモリを備え、前記メモリにコンピュータープログラムが記憶され、前記コンピュータープログラムが前記プロセッサに実行されると上記方法の実現に用いられてもよいコンピューティングデバイスに関する。
本発明はさらにコンピュータープログラムを記憶し、前記コンピュータープログラムが実行されると上記方法の実現に用いられてもよい記憶媒体に関する。
以下に図面を参照して本発明の実施例をさらに説明する。ここで、
三角測量法の基本原理の概略図である。 光ラベルが収集される時のイメージング装置のイメージングプロセスの原理の概略図である。 オブジェクト座標系とイメージ座標系の間の簡略化された関係の概略図である。 本発明の実施例による光ラベルに基づく情報デバイスインタラクション方法のフローチャートである。
本発明の目的、技術的解決策及び利点をより明確にするために、以下に添付の図面を組み合わせて具体的な実施例で本発明をさらに詳細に説明する。ここで説明される具体的な実施例が本発明を説明するためのものだけであるが、本発明を限定するものではないことは理解すべきである。
バーコードと２次元コードは、情報を符号化するために広く採用されている。これらのバーコードと２次元コードが特定のデバイス又はソフトウェアでスキャンされると、対応する情報は識別される。しかしながら、バーコードと２次元コードの識別距離は非常に制限される。例えば、２次元コードの場合、それが携帯電話のカメラでスキャンされると、当該携帯電話は通常、１つの近い距離内に配置される必要があり、当該距離が通常、２次元コードの幅の約１５倍だけである。したがって、長距離識別（例えば２次元コードの幅の２００倍に相当する距離）の場合、バーコードと２次元コードで通常実現できなく、又は非常に大きなバーコードと２次元コードをカスタマイズする必要があるが、これにより、コストが増加し、且つ多くの場合で他の様々な制限のため、達成できない。
光ラベルは、異なる光を発して情報を伝達し、長距離、低い可視光条件、強い指向性、位置決め可能などの利点を有し、且つ光ラベルで伝達される情報は、時間の経過とともに急速に変化することができ、これにより、より大きな情報容量を提供することができる（例えば中国特許公開第１０４１６８０６０号明細書、中国特許公開第１０５７４０９３６号明細書などで記載されている光通信装置）。従来の２次元コードと比較して、光ラベルはより強い情報インタラクション能力を備えているので、ユーザーと業者に大きな利便性を与えることができる。
本発明の実施例では、光ラベルは異なる光を発して異なる情報を伝送することができるいずれかの光通信装置であってもよい。１つの実施例では、光ラベルは少なくとも１つの光源とコントローラを含むことができ、コントローラが前記光源から発された異なる光を制御して異なる情報を伝達することに用いられる。例えば、コントローラは、光源から発された光の属性を変更することにより、光源に異なる光を発させることができる。光の属性は、光学イメージング装置（例えばＣＭＯＳイメージング装置）で感知できる任意の属性であってもよく、例えば、光の強度、色、波長などの人間の目で感知できる属性であってもよく、人間の目の可視範囲外の電磁波長の強度、色又は波長変更などの人間の目で感知できない他の属性、又は上記属性の任意の組み合わせであってもよい。したがって、光の属性変更は、単一の属性変更であってもよく、２つ以上の属性の組み合わせの変更であってもよい。光の強度を属性として選択する場合、光源のオン又はオフを選択することで簡単に実現することができる。以下では、簡単にするために、光源をオン又はオフにして光の属性を変更するが、当業者は、光の属性を変更するための他の方式も実行可能であることを理解することができる。
当該光ラベルでは、光学イメージング装置で感知できるある属性が異なる周波数で変更できる限り、様々な形態の光源を使用することができる。光源には、ライトガイドプレート、ソフトライトプレート、ディフューザーなどの各種の一般的な光学装置が含まれてもよい。例えば、光源は、１つのＬＥＤライト、複数のＬＥＤライトで構成されたアレイ、表示画面、又はそのうちの一部であってもよく、さらには、光照射領域（例えば壁上の光照射領域）も光源として使用されてもよい。当該光源の形状は、円形、正方形、矩形、ストライプ状、Ｌ字状などの様々な形状であってもよい。
１つの実施例では、当該光ラベルのコントローラは、情報を伝達するように、各光源から発された光の属性を制御することができる。例えば、バイナリデジタル情報の「０」又は「１」が各光源のオンとオフを制御することで表されてもよいため、当該光ラベルにおける複数の光源は、１つの２進数デジタル情報シーケンスを表すことに用いられてもよい。当業者が理解できるように、各光源は、１つの２進数だけでなく、３進数以上のデータを表すことに用いられてもよい。例えば、光源から発された光の強さを３つ以上のレベルから選択するように設定すること、又は光源から発された光の色を３つ以上の色から選択するように設定すること、さらには強度と色の組み合わせにより、各光源は、３進数以上のデータを表すことができる。したがって、従来の２次元コードと比較して、本発明の光ラベルはデータの符号化密度を大幅に向上させることができる。
別の実施例では、当該光ラベルのコントローラは発された光の属性を一定の周波数で変更するように光源を制御することができ、したがって、本発明の光ラベルは、異なる時間で異なるデータ情報、例えば異なる２進数デジタル情報シーケンスを表すことができる。これにより、光学イメージング装置を使用して本発明の光ラベルを連続的（例えば、３０フレーム／秒の速度で）に撮影する場合、その各フレームの画像は、１グループの情報シーケンスを表すことに用いられてもよく、そのため従来の静的２次元コードと比較して、そのデータ符号化密度をさらに大幅に向上させることができる。
本出願の実施例では、本分野の一般的な光学イメージング装置又は画像収集装置を使用して光ラベルをイメージングし、各フレームの画像から、伝達された情報、例えば、２進数データ１又はデータ０の情報シーケンスを確定し、それによって光ラベルから光学イメージング装置への情報伝達を実現することができる。光学イメージング装置又は画像収集装置は、画像収集素子、プロセッサとメモリなどを含むことができる。光学イメージング装置又は画像収集装置は例えば、携帯電話、タブレットコンピュータ、スマートメガネなどを含む、撮影機能を備えた移動端末であってもよく、画像取得装置と画像処理モジュールを含むことができる。ユーザーは、光ラベルからの視距離範囲内で光ラベルを裸眼で見つけ、移動端末のイメージングセンサーを光ラベルに向けることで、当該光ラベルをスキャンし、情報キャプチャと解釈処理を行う。光ラベルのコントローラが、発される光の属性を一定の周波数で変更するように光源を制御する場合、移動端末の画像収集周波数は、光源の属性変換周波数の２倍以上に設定されてもよい。収集された画像フレームを復号することにより、識別及び復号プロセスを完了することができる。１つの実施例では、画像フレームの重複、漏れなどを回避するために、光ラベルで伝達される情報にシリアル番号、チェックビット、タイムスタンプなどを含ませることができる。必要に応じて、複数の画像フレームの１つの完全な周期の開始位置又は終了位置を示すために、開始フレーム又は終了フレーム、又はその両方を複数の画像フレームで与えることができ、当該開始フレーム又は終了フレームがある特殊なデータ組み合わせ、例えば全０又は１、又は実際に表示される可能性がある情報と同じではないいかなる特殊な組み合わせに設定されてもよい。
ＣＭＯＳイメージング装置を例とすると、ＣＭＯＳイメージング装置により光源の連続したマルチフレーム画像を撮影する場合、光源の動作モード間の切り替え時間間隔がＣＭＯＳイメージング装置の１つの完全なフレームのイメージング時間と等しくなるように、コントローラにより制御することができ、それによって光源とイメージング装置のフレーム同期を実現する。各光源が１フレームあたり１ビットの情報を伝送すると仮定すると、３０フレーム／秒の撮影速度の場合、各光源は１秒あたり３０ビットの情報を伝達することができ、符号化空間が２３０に達し、当該情報が例えば、開始フレームマーク（フレームヘッダー）、光ラベルのＩＤ、パスワード、検証コード、ウェブサイト情報、アドレス情報、タイムスタンプ又はそれらの異なる組み合わせなどを含むことができる。構造化方法に従って上記の様々な情報の順序関係を設定し、データパケット構造を形成することができる。１つの完全な当該データパケット構造が受信されるたびに、１グループの完全なデータ（１つのデータパケット）を取得したと見なされ、さらにそれを読み取って検証及び分析することができる。表１は、本発明の１つの実施例による例示的なデータパケット構造を示す。
Figure 2021524119
従来の２次元コードと比較して、上記光ラベルは、異なる光を発して情報を伝達し、長距離、低い可視光条件、強い指向性、位置決め可能などの利点を有し、且つ光ラベルで伝達される情報は、時間の経過とともに急速に変化することができ、これにより、大きな情報容量を提供することができる。したがって、光ラベルはより強い情報インタラクション能力を備えているので、ユーザーと業者に大きな利便性を与えることができる。光ラベルに基づいてユーザーと業者に対応するサービスを提供するために、各光ラベルには一意の識別子（ＩＤ）が割り当てられ、当該識別子は光ラベルの製造者、管理者及びユーザーなどによって光ラベルを一意に識別又は標識することに用いられる。通常、その識別子が光ラベルによって発行されてもよく、ユーザーは、例えば携帯電話に内蔵された画像収集装置又はイメージング装置を使用して光ラベルに対して画像収集を行い、当該光ラベルで伝達された情報（例えば識別子）を取得することができ、これにより、当該光ラベルによるサービスにアクセスすることができる。
本発明の実施例では、上記光ラベルに基づき、当該光ラベルをスキャンするイメージング装置を精確に位置決めすることができる（逆位置決め又は相対位置決めとも呼ばれる）。例えば、光ラベルの地理的位置情報は、例えば、サーバー上に予め登録されてもよい。光ラベルは、動作プロセスにその標識情報（ＩＤ情報など）を伝達することができ、イメージング装置は、光ラベルをスキャンすることで当該ＩＤ情報を取得することができ、イメージング装置が光ラベルのＩＤ情報を取得した後、ＩＤ情報を使用してサーバーにクエリすると、光ラベルに対応する地理的位置を取得し、それによって逆位置決めを行ってイメージング装置の具体的な位置を確定することができる。選択可能に、物理的サイズ情報、物理的形状情報及び／又は向き情報などの、光ラベルの他の関連情報はサーバーに予め登録されてもよい。一つの実施例では、光ラベルは、統一又はデフォルトの物理的サイズ又は形状を有することができ、且つユーザーは、当該物理的サイズ又は形状を知ることができる。
各種の実行可能な逆位置決め方法を使用してユーザー（実際にはユーザーのイメージング装置）と光ラベルの間の相対的な位置関係を確定することができる。例えば、イメージング装置と光ラベルの間の相対距離を確定し（例えば光ラベルのイメージングサイズ、又は携帯電話上の測距機能を備えたいかなるアプリケーションにより）、そして２つ以上の光ラベルを使用して三角測量によりイメージング装置といずれかの光ラベルの間の相対位置距離を確定することができる。イメージング装置と光ラベルの間の相対距離を確定し、イメージング装置上にイメージングされた光ラベルの透視変形を分析してイメージング装置と光ラベルの間の相対的な位置関係を確定することもできる。イメージング装置と光ラベルの間の相対的な位置関係を確定する時に、光ラベルの物理サイズ情報及び／又は向き情報などをさらに使用することができる。当該物理的サイズ情報及び／又は向き情報は光ラベルの標識情報に関連してサーバーに記憶されてもよい。
例えば、一つの実施例では、少なくとも２つの光ラベルを使用して位置決めすることができる。各光ラベルに対して、次のステップを実行することができる。
ステップ１で、イメージング装置を使用して光ラベルのＩＤ情報を収集する。
ステップ２で、当該ＩＤ情報によって光ラベルの物理的サイズ情報と地理的位置情報をクエリして取得する。
ステップ３で、イメージング装置のデフォルトの焦点距離で撮影して光ラベルを得る。イメージング装置のデフォルトの焦点距離が使用されるため、撮影された光ラベル画像はぼやける可能性がある。
ステップ４で、イメージング装置の焦点距離を調整及び最適化して光ラベルの鮮明な画像を取得する。例えば、デフォルトの焦点距離に基づき、まず焦点距離を増やして試み、光ラベル画像が鮮明になる場合、焦点距離を増やし続け、光ラベル画像がぼやける場合、逆方向に調整し、即ち焦点距離を短くし、逆も同様である。焦点距離調整プロセスでは、光ラベル画像の鮮明度を確定するために、光ラベル画像に対してテクスチャ特徴抽出を行い、光ラベル画像が鮮明であるほど、それに対応するテクスチャ情報が簡単になり、テクスチャの密度が低くなり、したがって、光ラベル画像のテクスチャ密度に応じて最適な焦点距離パラメータを確定することができ、複数回繰り返してもより小さいテクスチャ密度を取得することができない場合、テクスチャ密度が最も小さい画像をクリア画像とみなし、取得された最小のテクスチャ密度に対応する焦点距離パラメータを最適焦点距離パラメータとすることができる。
ステップ５で、最適な焦点距離パラメータに基づき、光ラベルの鮮明な画像を撮影し、その後、簡単なレンズオブジェクトイメージ式とオブジェクトイメージの関係を使用し、光ラベルの鮮明な画像のサイズ、光ラベルの物理的サイズと最適な焦点距離パラメータに基づいてイメージング装置と光ラベルの間の相対距離を計算することができる。
イメージング装置と少なくとも２つの光ラベルのそれぞれの間の相対距離を取得した後、三角測量法を使用してイメージング装置の具体的な位置情報、即ち物理世界座標系におけるイメージング装置の具体的な座標を確定することができる。図１は２つの光ラベル（光ラベル１と光ラベル２）を使用して三角測量を行う三角測量法の概略図である。
また、２つの光ラベルを使用して三角測量を行う場合、通常、２つの候補位置を取得する。この場合、これら２つの候補位置から選択する必要がある可能性がある。１つの実施形態では、イメージング装置（例えば携帯電話）自体の位置情報（例えばＧＰＳ情報）と組み合わせてその中の１つの候補位置を選択することができる。例えば、ＧＰＳ情報により近い１つの候補位置を選択することができる。別の実施形態では、各光ラベルの向き情報をさらに考慮することができ、当該向き情報が実際には光ラベルを観察できる領域を限定し、したがって、当該向き情報に基づいてその中の１つの候補位置を選択することができる。光ラベルの向き情報は同様にサーバーに記憶されてもよく、光ラベルのＩＤ情報によってクエリして取得されてもよい。上記実施例では、２つの光ラベルが例として説明されるが、当業者は、上述した三角測量に基づく方法が同様に３つ以上の光ラベルの場合にも適用できることを理解できる。実際には、３つ以上の光ラベルを使用すると、より正確な位置決めを実現でき、通常、複数の候補ポイントがない。
別の実施例では、以下の逆位置決め方法を使用することもでき、当該実施例では、少なくとも２つの光ラベルを使用する必要がないが、１つの光ラベルを使用して逆位置決めを行うことができる。当該実施例の方法は以下のステップを含む。
ステップ１で、イメージング装置を使用して光ラベルのＩＤ情報を収集する。
ステップ２で、当該ＩＤ情報によって光ラベルの地理的位置情報及びその上の複数のポイントの関連情報を取得する。当該関連情報は例えば光ラベル上のこれらのポイントの位置情報及びそれらの座標情報である。
ステップ３で、光ラベルをイメージング装置のデフォルトの焦点距離で撮影して光ラベルの画像を得る。例えば、上述したように、光ラベル画像のテクスチャの密度に応じて最適な焦点距離パラメータを確定することができ、複数回繰り返してもより小さいテクスチャ密度を取得することができない場合、テクスチャ密度が最も小さい画像を鮮明な画像とみなし、取得された最も小さいテクスチャ密度に対応する焦点距離パラメータを最適な焦点距離パラメータとすることができる。
ステップ４で、最適な焦点距離パラメータに基づき、光ラベルの鮮明な画像を撮影し、以下に説明される逆位置決めを実現する。
図２を参照すると、図２はイメージング装置上の光ラベルのイメージングプロセスの概略図である。光ラベルのセントロイドを原点としてオブジェクト座標系（Ｘ、Ｙ、Ｚ）を確立し、イメージング装置の位置Ｆｃを原点としてイメージ座標系（ｘ、ｙ、ｚ）を確立し、オブジェクト座標系が物理世界座標系とも呼ばれ、イメージ座標系がカメラ座標系とも呼ばれる。また、イメージング装置によって収集された光ラベルの画像の左上隅のポイントを座標の原点とし、光ラベルのイメージ平面に２次元座標系（ｕ、ｖ）を確立してイメージング平面座標系を呼び、当該イメージ平面と光軸（即ちＺ軸）の交点が主点であり、（ｃｘ、ｃｙ）がイメージ平面座標系における主点の座標である。光ラベル上の任意のポイントＰはオブジェクト座標系における座標が（Ｘ、Ｙ、Ｚ）であり、イメージポイントｑに対応し、そのイメージ座標系における座標が（ｘ、ｙ、ｚ）であり、イメージ平面座標系における座標が（ｕ、ｖ）である。イメージングプロセスでは、オブジェクト座標系に対するイメージ座標系の変位だけでなく、角度の回転、オブジェクト座標系（Ｘ、Ｙ、Ｚ）とイメージ座標系（ｘ、ｙ、ｚ）の関係も次のように表されてもよい。
Figure 2021524119
変数の定義は ｘ´＝ｘ／ｚ 、 ｙ´＝ｙ／ｚ であり、そのため、イメージ平面座標系における座標は、
ｕ＝ｆｘ*ｘ´＋ｃｘ 且つ ｖ＝ｆｙ*ｙ´＋ｃｙ （２）
ここで、ｆｘとｆｙはそれぞれｘ軸とｙ軸方向のイメージング装置の焦点距離であり、ｃｘ、ｃｙはイメージ平面座標系における主点の座標であり、ｆｘ、ｆｙ、ｃｘ、ｃｙは、全てイメージング装置内部のパラメータであり、予め測定されてもよい。回転行列Ｒと変位ベクトルｔはそれぞれイメージ座標系に対するオブジェクト座標系の姿態情報（即ち光ラベルに対するイメージング装置の姿態、つまり光ラベルに対するイメージング装置の中軸線の偏向であり、光ラベルに対するイメージング装置の向きとも呼ばれ、例えば、イメージング装置が光ラベルに対向する場合、Ｒ＝０）と変位情報（即ちイメージング装置と光ラベルの間の変位）を表す。３次元空間では、回転がそれぞれの座標軸を中心とした２次元回転に分解されてもよく、ｘ、ｙ、ｚ軸を中心として角度ψ、φ、θ順次回転すると、回転行列Ｒの合計は３つの行列Ｒｘ（ψ）となり、Ｒｙ（φ）、Ｒｚ（θ）の積、即ちＲ＝Ｒｘ（ψ）＊Ｒｙ（φ）＊Ｒｚ（θ）、ここで、
Figure 2021524119
簡単にするために、本分野でよく知られているので、計算されなく、回転行列は単純に次のように書かれている：
Figure 2021524119
変位量ｔは、単純に次のように書かれてもよく、即ち
Figure 2021524119
それによって次の関係式を得る：
Figure 2021524119
ここで、ｓはオブジェクトイメージ変換係数であり、イメージ平面のサイズとイメージング装置の解像度の比率に等しく、これも知られている。
ステップ２で取得された光ラベル上の複数のポイント（例えば少なくとも４つのポイントＡ、Ｂ、Ｃ及びＤ）の関連情報（例えば、光ラベル上のこれらのポイントの位置情報）に基づいて光ラベル上のこれらのポイントのイメージポイント、例えばＡ，、Ｂ，、Ｃ，、Ｄ，を確定する。これら４つのポイントＡ、Ｂ、ＣとＤは例えばそれぞれ光ラベルの左右両側に位置してもよく、又は光ラベルの四隅に位置する４つの別々の点光源などであってもよい。当該４つのポイントの座標情報（ＸＡ、ＹＡ、ＺＡ）、（ＸＢ、ＹＢ、ＺＢ）、（ＸＣ、ＹＣ、ＺＣ）と（ＸＤ、ＹＤ、ＺＤ）も上記ステップ２で取得される。イメージ平面座標系における対応する４つのイメージポイントＡ，、Ｂ，、Ｃ，及びＤ，の座標（ｕＡ ，、ｖＡ ，）、（ｕＢ ，、ｖＢ ，）、（ｕＣ ，、ｖＣ ，）と（ｕＤ ，、ｖＤ ，）を上記の関係式（３）に代入して、回転行列Ｒと変位ベクトルｔを解くことにより、オブジェクト座標系（Ｘ、Ｙ、Ｚ）とイメージ座標系（ｘ、ｙ、ｚ）の間の関係を得る。この関係に基づき、光ラベルに対するイメージング装置の姿態情報と変位情報を取得することができ、それにより、イメージング装置に対する位置決めを実現する。図３はオブジェクト座標系とイメージ座標系の間の関係を簡略化して示す。次に、上記ステップ２で取得された光ラベルの地理的位置情報に基づき、回転行列Ｒと変位ベクトルｔによってイメージング装置の実際の具体的な位置と姿態を計算することができ、変位ベクトルｔによってイメージング装置の具体的な位置を確定し、回転行列Ｒによって光ラベルに対するイメージング装置の姿態を確定する。
本発明の１つの実施例では、光ラベルに基づく情報デバイスインタラクション制御システムが提供される。当該システムでの情報デバイスはネットワークを介してインタラクション制御を行うことができる任意のコンピューティングデバイスを指し、情報家庭用電子デバイス又は家庭用デバイスを含むがこれらに限定されない。各情報デバイスは１つ以上の光ラベルに関連付けられてもよく、各光ラベルは１つ以上の情報デバイスに関連付けられてもよい。光ラベルは当該情報装置に設けられてもよく、又は当該情報デバイスと比較的固定された位置に配置されてもよい。光ラベルの物理的位置及び光ラベルに対する情報デバイスの位置などは、予め標定される。光ラベル及びそれに関連付けられた情報デバイスの関連情報は、クエリのためにサーバーに保存されてもよい。光ラベルに関連付けられた情報は、例えば、光ラベルのＩＤ情報、光ラベルの物理的世界座標、物理的サイズ、向き、当該光ラベルに関連付けられた情報デバイス識別子、光ラベル上の複数のポイントの位置情報及びそのオブジェクト座標などの情報を含むことができる。情報デバイスに関連付けられた情報は、例えば、当該情報デバイスの識別子、それに関連付けられた光ラベルのセントロイドを原点として確立されたオブジェクト座標系における情報デバイスの座標、当該情報デバイスとそれに関連付けられた光ラベルの間の相対位置情報、当該情報デバイスの操作インタフェース、当該情報デバイスの説明情報、サイズ、向きなどを含むことができる。
ユーザーが自分の視野内のある情報デバイスとのインタラクションを望む場合、自分で携帯している端末機器（例えば携帯電話など）のイメージング装置を使用して当該情報デバイスに関連付けられた光ラベルに対して画像収集を行って当該光ラベルのＩＤ情報を取得することができる。次に端末装置は、当該光ラベルＩＤ情報に基づいてサーバーから光ラベルに関連付けられた情報デバイスに関連する情報を取得することができ、当該情報デバイスの対話型インタフェースを端末装置の表示画面上の当該情報デバイスの位置に表示させることができる。このようにして、ユーザーは、当該情報デバイス上又はその近くに重ねられた対話型インタフェースを介して当該情報デバイスに対して関連するインタラクション制御操作を行うことができる。好ましくは、情報デバイスの対話型インタフェースを端末装置の表示画面上の当該情報デバイスが現在表示されている位置に表示させる前に、まず当該光ラベルに関連付けられたいずれかの情報デバイスが端末装置の表示画面に表示されるか否かを判定し、判定結果が、端末装置の表示画面に表示されることである場合、さらに表示画面上の当該情報デバイスのイメージング位置を確定し、例えば表示画面にイメージングする時の当該情報デバイスの２次元のイメージ平面座標を確定することができる。
上記目的を達成するために、まず上記の逆位置決め方法を使用して、ユーザーが携帯している端末装置と光ラベルの間の初期相対位置関係を確定し、それによってユーザーの端末装置の初期位置と初期向きを確定することができる。さらに、光ラベルの物理的位置及び光ラベルに対する各情報デバイスの位置が予め標定されるので、端末デバイスの初期位置及び予め記憶された標定情報に基づいてユーザーの端末装置と各情報デバイスの間の初期相対位置関係を確定することができる。ユーザーの端末装置と各情報デバイスの間の初期相対位置関係及び端末装置の初期向きに基づき、当該光ラベルに関連付けられた現在のいずれかの情報デバイスが端末装置の表示画面に表示されるか否かを確定することができ、そして判定結果が表示である場合でさらに表示画面上の当該情報デバイスのイメージング位置を確定することができる。ユーザーが制御される情報デバイスが現在の表示画面に表示されないことを望む場合、ユーザーは、当該情報デバイスが表示画面に表示できるように、端末装置を前記初期位置から移動することができ、例えば、ユーザーは、カメラが最終的に当該情報デバイスに向くように、端末装置を水平移動又は回転することができる。端末装置が前記初期位置から移動する場合、従来の様々な方式によって端末装置の位置と姿態の変化を検出し（例えば端末装置に内蔵された加速度センサー、ジャイロスコープなどのセンサーによって監視し）、移動後の端末装置の位置情報と向き情報を確定することができ、当該位置情報と向き情報に基づき、現在のどの情報装置が端末装置の表示画面に表示されるか、それらのそれぞれの表示位置を確定することができる。さらに、これらの情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ重ね合わせることで、各情報デバイスに対するインタラクション操作のＷＹＳＩＷＹＧ（見たままが得られる）を実現することができる。
１つの実施例では、上述したように、イメージング装置を使用して光ラベルに対して画像収集を行う場合、光ラベルのセントロイドを原点として確立された物理世界オブジェクト座標系（Ｘ、Ｙ、Ｚ）とイメージング装置の位置を原点として確立されたカメラ座標系（ｘ、ｙ、ｚ）の間に一定の変換関係（例えば式（１））があり、回転行列Ｒと変位ベクトルｔで説明されてもよい。カメラ座標系とカメラ画面に収集された光ラベルの画像の左上隅のポイントを原点とする２次元イメージ平面座標系（ｕ、ｖ）の間にも一定の変換関係（例えば式（２））があり、イメージング装置内部のパラメータによって決定される。これにより、回転行列Ｒと変位ベクトルｔ、及びイメージング装置内部のパラメータが確定された後、物理世界座標とイメージ平面座標の間の変換関係（例えば式（３））もそれに応じて確定され、当該変換関係は、投影関係とも呼ばれ、イメージング平面における、物理世界座標系のある位置にある実際のオブジェクトの投影位置を確定することに用いられてもよい。
以上に逆位置決め法及び式（１）−（３）と組み合わせて説明したように、イメージング装置によって収集された光ラベル画像及びサーバーから取得された光ラベルに関連する情報に基づいて光ラベルに対するイメージング装置の具体的な位置と向きを確定するプロセスでは、式（３）における回転行列Ｒと変位ベクトルｔ、及びイメージング装置内部のパラメータが既に確定され、そのため当該式によって各情報デバイスのイメージ平面座標を確定することができる。光ラベルの物理的位置、及び光ラベルと情報デバイスの間の相対位置が予め設定されるため、光ラベルと情報デバイスの間の相対位置によって物理世界座標系における各情報デバイスのオブジェクト座標を確定し、それを式（３）に代入するとイメージング平面における当該情報デバイスのイメージ平面座標を得ることができ、次に情報デバイスのイメージ平面座標に基づいて当該情報デバイスの対話型インタフェースをユーザーによる使用のために端末装置の画面に表示することができる。別の実施例では、当該情報デバイスのアイコンを、ユーザーによる選択のために端末装置の画面で情報デバイスに重ね合わせることもでき、ユーザーがアイコンをクリックして操作したい情報デバイスを選択する場合、ユーザーが当該情報デバイスを操作及び制御するように、当該情報デバイスの対話型インタフェースを端末装置の画面に表示させる。アイコンが互いに遮る場合、前方のアイコンを半透明にするか、最も前方にあるアイコンの付近に数字プロンプトによって当該位置に複数のアイコンが重なっていることを示すことができる。
当該システムでは、ユーザーが携帯している端末装置の移動に伴い、光ラベルと情報デバイスの位置及び向きに対する物理世界での端末装置のイメージング位置が変化し、端末装置のイメージング平面に表示されている情報デバイスの位置も変化する。したがって、端末装置の位置と姿態をリアルタイムで検出し、上記の回転行列Ｒと変位ベクトルｔを適時に調整して情報デバイスの正確なイメージ平面座標の取得を確保する必要がある。端末装置は様々な方式によって自体位置と姿態の変化を監視することができる。例えば、端末装置は、光ラベルを基準ポイントとし、現在のイメージング装置によってキャプチャされた画像を前の画像と比較し、画像の違いを識別して計算し、それによって特徴点を形成し、これらの特徴点を使用して自体の位置と姿勢の変化を計算することができる。別の例として、携帯電話などの端末装置は、内蔵された加速度センサー、ジャイロスコープなどの慣性測定センサーによって測定された値を通じて現実世界でのカメラの位置と向きの変化を経時的に推定することができる。次に、端末装置の現在の位置と向きに基づいて回転行列Ｒと変位ベクトルｔを調整し、その後情報デバイスの現在のイメージ平面座標を新たに取得して関連するアイコン又はインタフェースを画面に表示させる。
ユーザーが、操作する必要がある情報デバイスを選択した後、様々な方式によって情報デバイスとのインタラクションを行うことができる。例えば、ユーザーは端末装置の画面に表示されている対話型インタフェースを介して情報デバイスを配置及び操作することができる。別の例として、情報デバイスの操作方式、例えば音声制御又はジェスチャー制御は予め定義されてもよい。情報デバイスの操作方式が音声制御として設定されている場合、ユーザーが当該情報デバイスを選択すると、端末装置は、音声入力を検出して音声識別を行い、受信された音声を操作命令に変換し、ネットワークを介して制御命令を情報デバイスに送信してそれを操作する。情報デバイスの操作方式がジェスチャー制御として設定されている場合、端末装置のイメージング装置又はユーザーの周囲の環境に取り付けられた撮影装置によってユーザーのジェスチャーをキャプチャすることができ、端末装置でジェスチャー識別を行ってそれを対応する操作命令に変換し、ネットワークを介して当該操作命令を送信して関連する情報デバイスを制御することができる。各情報デバイスの操作に関連するジェスチャーは予め定義されてもよく、例えばライトの操作に関連するジェスチャーは手のひらを開いてライトをオンにすること、拳でライトをオフにすること、指を上にスワイプして明るさを上げること、指を下にスワイプして明るさを下げることを含むことができる。
図４は本発明の１つの実施例による光ラベルに基づく情報デバイスインタラクション方法のフローチャートである。ステップＳ１）で、ユーザーが携帯している端末装置により情報デバイスの比較的固定された位置にある光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定する。例えば、以上に説明された複数の逆位置決め方法を使用すると、光ラベルに対して画像収集を行うことで画像収集のためのイメージング装置と光ラベルの間の初期相対位置関係を取得することができ、それによって端末装置の初期位置と初期配向を確定する。ステップＳ２）で当該端末装置の初期位置及び上記の予め標定された、光ラベルに対する各情報デバイスの位置に基づき、端末装置と各情報装置の間の相対位置を確定し、次にステップＳ３）で表示画面上の各情報デバイスのイメージング位置を確定する。以上に逆位置決め法及び式（１）−（３）と組み合わせて説明したように、光ラベルの物理的位置及び光ラベルと情報デバイスの間の相対位置が予め設定され、イメージング装置によって収集された光ラベル画像及びサーバーから取得された光ラベルに関連する情報に基づいて光ラベルに対するイメージング装置の具体的な位置と姿態を確定するプロセスでは、式（３）における回転行列Ｒと変位ベクトルｔ、及びイメージング装置内部のパラメータが既に確定され、そのため当該式によって各情報装置のイメージ平面座標を確定することができる。したがって、光ラベルと情報デバイス間の相対位置によって物理世界座標系における各情報デバイスのオブジェクト座標を確定し、それを式（３）に代入するとイメージング平面における当該情報デバイスのイメージ平面座標を得ることができる。次に、ステップＳ４）で各情報デバイスとのインタラクション操作を行うために、各情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ重ね合わせることができる。
別の実施例では、ユーザーが制御される情報デバイスが現在の表示画面にないことを望む場合、ユーザーは、当該情報デバイスが表示画面に表示できるように、端末装置を前記初期位置から移動することができ、例えば、ユーザーは、カメラが最終的に情報デバイスに向くように、端末装置を水平移動又は回転することができる。端末装置が前記初期位置から移動する場合、端末装置の位置と姿態の変化を検出し、移動後の端末装置の位置情報と姿態情報を確定することができ、当該位置情報と姿態情報に基づき、現在のどの情報装置が端末装置の表示画面に表示されるか、それらのそれぞれの表示位置を確定することができる。さらに、これらの情報デバイスの対話型インタフェースを表示画面上のそれらの表示位置にそれぞれ重ね合わせることで、各情報デバイスに対するインタラクティブ操作のＷＹＳＩＷＹＧを実現することができる。ここで、端末装置は様々な方式によって自体の位置と姿態の変化を監視することができる。例えば、端末装置は、光ラベルを基準ポイントとし、現在のイメージング装置によってキャプチャされた画像を前の画像と比較し、画像の違いを識別して計算し、それによって特徴点を形成し、これらの特徴点を使用して自体の位置と姿勢の変化を計算することができる。別の例として、携帯電話などの端末装置は、内蔵された加速度センサー、ジャイロスコープなどの慣性測定センサーによって測定された値を通じて現実世界でのカメラの位置と向きの変化を経時的に推定することができる。次に、端末装置の現在の位置と向きに基づいて回転行列Ｒと変位ベクトルｔを調整し、その後情報デバイスの現在のイメージ平面座標を新たに取得して関連するアイコン又はインタフェースを画面に表示させる。
別の実施例として、当該方法は、情報デバイスの対話型インタフェースに対するユーザーの操作を識別し、当該操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信することをさらに含むことができる。情報デバイスは、受信された関連操作命令に応じて対応する操作を実行することができる。ユーザーは様々な方式によって情報デバイスとのインタラクションを行うことができる。例えば、ユーザーは端末装置の画面に表示されている対話型インタフェースを介して情報デバイスを配置及び操作することができ、例えばタッチスクリーンを使用して入力したり、キーボードを使用して入力したりすることができる。別の例として、情報デバイスの操作方式、例えば音声制御又はジェスチャー制御は予め定義されてもよい。情報デバイスの操作方式が音声制御として設定されている場合、ユーザーが当該情報デバイスを選択すると、端末装置は、音声入力を検出して音声識別を行い、受信された音声を操作命令に変換し、ネットワークを介して制御命令を情報デバイスに送信してそれを操作する。情報デバイスの操作方式がジェスチャー制御として設定されている場合、端末装置のイメージング装置又はユーザーの周囲の環境に取り付けられた撮影装置によってユーザーのジェスチャーをキャプチャすることができ、端末装置でジェスチャー識別を行ってそれを対応する操作命令に変換し、ネットワークを介して当該操作命令を送信して関連する情報デバイスを制御することができる。各情報デバイスの操作に関連するジェスチャーは予め定義されてもよく、例えばライトの操作に関連するジェスチャーは手のひらを開いてライトをオンにすること、拳でライトをオフにすること、指を上にスワイプして明るさを上げること、指を下にスワイプして明るさを下げることを含むことができる。
本発明の実施例では、情報を伝達するために使用できる任意の光ラベル（又は光源）を使用することができる。例えば、本発明の方法は、ＣＭＯＳローリングシャッター効果に基づいて異なるストライプを介して情報を伝達する光源（例えば、中国特許公開第１０４１６８０６０号明細書に記載される光通信装置）に適用でき、中国特許公開第１０５７４０９３６号明細書に記載される光ラベルにも適用でき、ＣＣＤ感光性デバイスを介して伝達された情報を識別できる様々な光ラベルにも適用でき、又は光ラベル（又は光源）のアレイにも適用できる。
本明細書における「様々な実施形例」、「いくつかの実施例」、「１つの実施例」、又は「実施例」などへの参照は前記実施例と組み合わせて説明される特定の特徴、構造、又は性質が少なくとも１つの実施例に含まれることを指す。したがって、本明細書全体の様々な場所での「様々な実施例において」、「いくつかの実施例において」、「１つの実施例において」、又は「実施例において」という連語の出現は、必ずしも同じ実施例を指すとは限らない。また、特定の特徴、構造又は性質は１つ又は複数の実施例において任意の適切な方式で組み合わせられてもよい。したがって、１つの実施例で示され又は説明される特定の特徴、構造又は性質は、組み合わせが非論理的ではなく又は機能しない限り、１つ又は複数の他の実施例の特徴、構造、又は性質と全体的又は部分的に組み合わせることができる。本明細書で記載されている「Ａによる」又は「Ａに基づく」と同様の表現は、非排他的であることを意味し、即ち、「Ａによる」は、特に明記されていない限り、又は文脈が「Ａのみによる」としての意味を明確に知らない限り、「Ａのみによる」をカバーすることができ、又は「ＡとＢによる」をカバーすることもできる。本出願では明確に説明するために、いくつかの例示的な操作ステップを一定の順序で説明するが、当業者は、これらの操作ステップのそれぞれが必須ではなく、その中のいくつかのステップが省略されてもよく又は他のステップに置き換えられてもよいことを理解することができる。これらの操作ステップは、示されている方法で順次実行される必要がなく、逆に、これらの操作ステップの一部は、新しい実行方法が非論理的ではなく又は機能しない限り、実際のニーズに応じて異なる順序で実行されたり、並行して実行されたりすることができる。
本発明は好ましい実施例を通じて説明されたが、本発明は本明細書に記載される実施例に限定されず、本発明の範囲から逸脱することなく行われた様々な変更及び変形を含む。

Claims (10)

  1. 光ラベルに基づく情報デバイスインタラクション方法であって、
    Ｓ１）ユーザーが携帯している端末装置により光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定することと、
    Ｓ２）確定された端末装置の位置と予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報デバイスの間の相対位置を確定することと、
    Ｓ３）確定された端末装置の姿態及びそれと各情報デバイスの間の相対位置に基づいて前記端末装置の表示画面上の各情報デバイスのイメージング位置を計算することと、
    Ｓ４）各情報デバイスとのインタラクション操作を行うために、各情報デバイスの対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示させることとを含むことを特徴とする光ラベルに基づく情報デバイスインタラクション方法。
  2. 端末装置の位置及び／又は姿態の変化に応じて、前記端末装置の表示画面上の各情報デバイスのイメージング位置を調整することをさらに含むことを特徴とする請求項１に記載の方法。
  3. 情報デバイスの対話型インタフェースに対するユーザーの操作を識別することと、
    識別された操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信することとをさらに含むことを特徴とする請求項１に記載の方法。
  4. 情報デバイスの対話型インタフェースに対するユーザーの操作は、画面入力、キーボード入力、音声入力又はジェスチャー入力のうちの少なくとも１つであることを特徴とする請求項３に記載の方法。
  5. 光ラベルに基づく情報デバイスインタラクションシステムであって、
    １つ又は複数の情報デバイスと、情報デバイスの比較的固定された位置にある光ラベルと、情報デバイス及び光ラベルに関連する情報を記憶するためのサーバーと、イメージング装置を備えた端末装置とを含み、
    ここで、端末装置は、
    光ラベルに対して画像収集を行って光ラベルに対する端末装置の初期位置及び姿態を確定し、
    確定された端末装置の位置とサーバーから取得された、予め標定された、光ラベルに対する各情報デバイスの位置に基づいて端末装置と各情報装置の間の相対位置を確定し、
    確定された端末装置の姿態及びそれと各情報デバイスの間の相対位置に基づいて前記端末装置の表示画面上の各情報デバイスのイメージング位置を計算し、
    各情報デバイスとのインタラクション操作を行うために、各情報装置の対話型インタフェースを表示画面上のそれらのイメージング位置にそれぞれ表示させるように構成されることを特徴とする光ラベルに基づく情報デバイスインタラクションシステム。
  6. 前記端末装置はさらに端末装置の位置及び／又は姿態の変化に応じて、前記端末装置の表示画面上の各情報デバイスのイメージング位置を調整するように構成されることを特徴とする請求項５に記載のシステム。
  7. 前記端末装置はさらに、
    情報デバイスの対話型インタフェースに対するユーザーの操作を識別し、
    識別された操作を対応する操作命令に変換し、ネットワークを介して当該情報デバイスに送信するように構成されることを特徴とする請求項５に記載のシステム。
  8. 情報デバイスの対話型インタフェースに対するユーザーの操作は、画面入力、キーボード入力、音声入力又はジェスチャー入力のうちの少なくとも１つであることを特徴とする請求項７に記載のシステム。
  9. プロセッサとメモリを備え、前記メモリにコンピュータープログラムが記憶され、前記コンピュータープログラムが前記プロセッサに実行されると請求項１−４のいずれか一項に記載の方法の実現に用いられてもよいコンピューティングデバイス。
  10. コンピュータープログラムを記憶し、前記コンピュータープログラムが実行されると請求項１−４のいずれか一項に記載の方法の実現に用いられてもよい記憶媒体。
JP2021512990A 2018-05-09 2019-05-08 光ラベルに基づく情報デバイスインタラクション方法及びシステム Active JP7150980B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810435183.8 2018-05-09
CN201810435183.8A CN110471580B (zh) 2018-05-09 2018-05-09 基于光标签的信息设备交互方法及系统
PCT/CN2019/085997 WO2019214641A1 (zh) 2018-05-09 2019-05-08 基于光标签的信息设备交互方法及系统

Publications (2)

Publication Number Publication Date
JP2021524119A true JP2021524119A (ja) 2021-09-09
JP7150980B2 JP7150980B2 (ja) 2022-10-11

Family

ID=68468452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021512990A Active JP7150980B2 (ja) 2018-05-09 2019-05-08 光ラベルに基づく情報デバイスインタラクション方法及びシステム

Country Status (7)

Country Link
US (1) US11694055B2 (ja)
EP (1) EP3792711A4 (ja)
JP (1) JP7150980B2 (ja)
KR (1) KR20210008403A (ja)
CN (1) CN110471580B (ja)
TW (1) TWI696960B (ja)
WO (1) WO2019214641A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051919B (zh) * 2019-06-05 2022-10-18 北京外号信息技术有限公司 一种基于位置的交互方法和交互系统
CN111162840B (zh) * 2020-04-02 2020-09-29 北京外号信息技术有限公司 用于设置光通信装置周围的虚拟对象的方法和系统
TWI738318B (zh) * 2020-05-05 2021-09-01 光時代科技有限公司 用於確定光通信裝置的成像區域的系統
TWI756963B (zh) * 2020-12-03 2022-03-01 禾聯碩股份有限公司 目標物件之區域定義辨識系統及其方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012037919A (ja) * 2010-08-03 2012-02-23 Doshisha 拡張現実感技術を利用した情報家電操作システム
JP2012090077A (ja) * 2010-10-20 2012-05-10 Konica Minolta Business Technologies Inc 携帯端末及び処理装置の操作方法
JP2012156836A (ja) * 2011-01-27 2012-08-16 Seiko Epson Corp リモコン装置及びプログラム
JP2013531828A (ja) * 2010-04-19 2013-08-08 アマゾン テクノロジーズ インコーポレイテッド 装置配置および通信のための方法
JP2013205920A (ja) * 2012-03-27 2013-10-07 Seiko Epson Corp 頭部装着型表示装置
JP2014139745A (ja) * 2013-01-21 2014-07-31 Shimizu Corp 機器管理システム、機器管理装置、機器管理方法及びプログラム
CN104168060A (zh) * 2014-07-09 2014-11-26 珠海横琴华策光通信科技有限公司 一种利用可见光信号传输信息/获取信息的方法和装置
CN105740936A (zh) * 2014-12-12 2016-07-06 方俊 一种光标签和识别光标签的方法及设备
JP2017130047A (ja) * 2016-01-20 2017-07-27 沖電気工業株式会社 情報処理装置、情報処理システム、及びプログラム
JP2017143553A (ja) * 2012-12-27 2017-08-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報通信方法、情報通信装置およびプログラム
CN107734449A (zh) * 2017-11-09 2018-02-23 陕西外号信息技术有限公司 一种基于光标签的室外辅助定位方法、系统及设备
WO2018069952A1 (ja) * 2016-10-11 2018-04-19 株式会社オプティム 遠隔制御システム、遠隔制御方法、およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3904036B2 (ja) * 1996-05-17 2007-04-11 株式会社安川電機 多指多関節ハンドの制御装置
US20110001651A1 (en) * 2009-07-02 2011-01-06 Candelore Brant L Zero standby power laser controlled device
US8413881B2 (en) * 2010-02-22 2013-04-09 Into Great Companies, Inc. System of receiving prerecorded media discs from users
US20150025838A1 (en) * 2011-11-15 2015-01-22 Panasonic Corporation Position estimation device, position estimation method, and integrated circuit
US9696703B2 (en) * 2013-05-18 2017-07-04 Fipak Research And Development Company Method and apparatus for ensuring air quality in a building, including method and apparatus for controlling a working device using a handheld unit having scanning, networking, display and input capability
WO2015008102A1 (en) * 2013-07-19 2015-01-22 Niss Group Sa System and method for indentifying and authenticating a tag
CN103823204B (zh) * 2014-03-10 2015-03-11 北京理工大学 一种基于可见光标签的室内定位方法
US20210203994A1 (en) * 2015-06-12 2021-07-01 Shaoher Pan Encoding data in a source image with watermark image codes
US9838844B2 (en) * 2015-09-25 2017-12-05 Ca, Inc. Using augmented reality to assist data center operators
CN105718840B (zh) * 2016-01-27 2018-07-24 西安小光子网络科技有限公司 一种基于光标签的信息交互系统及方法
CN105740375A (zh) * 2016-01-27 2016-07-06 西安小光子网络科技有限公司 一种基于多个光标签的信息推送系统及方法
CN106372556B (zh) * 2016-08-30 2019-02-01 西安小光子网络科技有限公司 一种光标签的识别方法
CN106446737B (zh) * 2016-08-30 2019-07-09 西安小光子网络科技有限公司 一种多个光标签的快速识别方法
CN106408667B (zh) * 2016-08-30 2019-03-05 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN106446883B (zh) * 2016-08-30 2019-06-18 西安小光子网络科技有限公司 基于光标签的场景重构方法
CN106339488B (zh) * 2016-08-30 2019-08-30 西安小光子网络科技有限公司 一种基于光标签的虚拟设施插入定制实现方法
CN107784414B (zh) * 2016-08-31 2021-06-04 湖南中冶长天节能环保技术有限公司 一种生产过程参数管理系统
US10284293B2 (en) * 2016-09-23 2019-05-07 Qualcomm Incorporated Selective pixel activation for light-based communication processing
CN107368805A (zh) * 2017-07-17 2017-11-21 深圳森阳环保材料科技有限公司 一种基于智能家居系统电器识别的遥控器
CN107703872B (zh) * 2017-10-31 2020-07-10 美的智慧家居科技有限公司 家电设备的终端控制方法、装置及终端
US10841174B1 (en) * 2018-08-06 2020-11-17 Apple Inc. Electronic device with intuitive control interface

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140247346A1 (en) * 2010-04-19 2014-09-04 Amazon Technologies, Inc. Approaches for device location and communication
JP2013531828A (ja) * 2010-04-19 2013-08-08 アマゾン テクノロジーズ インコーポレイテッド 装置配置および通信のための方法
JP2012037919A (ja) * 2010-08-03 2012-02-23 Doshisha 拡張現実感技術を利用した情報家電操作システム
JP2012090077A (ja) * 2010-10-20 2012-05-10 Konica Minolta Business Technologies Inc 携帯端末及び処理装置の操作方法
JP2012156836A (ja) * 2011-01-27 2012-08-16 Seiko Epson Corp リモコン装置及びプログラム
JP2013205920A (ja) * 2012-03-27 2013-10-07 Seiko Epson Corp 頭部装着型表示装置
JP2017143553A (ja) * 2012-12-27 2017-08-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報通信方法、情報通信装置およびプログラム
JP2014139745A (ja) * 2013-01-21 2014-07-31 Shimizu Corp 機器管理システム、機器管理装置、機器管理方法及びプログラム
CN104168060A (zh) * 2014-07-09 2014-11-26 珠海横琴华策光通信科技有限公司 一种利用可见光信号传输信息/获取信息的方法和装置
CN105740936A (zh) * 2014-12-12 2016-07-06 方俊 一种光标签和识别光标签的方法及设备
JP2017130047A (ja) * 2016-01-20 2017-07-27 沖電気工業株式会社 情報処理装置、情報処理システム、及びプログラム
WO2018069952A1 (ja) * 2016-10-11 2018-04-19 株式会社オプティム 遠隔制御システム、遠隔制御方法、およびプログラム
CN107734449A (zh) * 2017-11-09 2018-02-23 陕西外号信息技术有限公司 一种基于光标签的室外辅助定位方法、系统及设备

Also Published As

Publication number Publication date
CN110471580B (zh) 2021-06-15
TW201947457A (zh) 2019-12-16
US11694055B2 (en) 2023-07-04
EP3792711A1 (en) 2021-03-17
CN110471580A (zh) 2019-11-19
WO2019214641A1 (zh) 2019-11-14
US20210056370A1 (en) 2021-02-25
TWI696960B (zh) 2020-06-21
EP3792711A4 (en) 2022-01-26
JP7150980B2 (ja) 2022-10-11
KR20210008403A (ko) 2021-01-21

Similar Documents

Publication Publication Date Title
JP7150980B2 (ja) 光ラベルに基づく情報デバイスインタラクション方法及びシステム
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
CN102783041B (zh) 通信装置以及通信方法
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
US9310891B2 (en) Method and system enabling natural user interface gestures with user wearable glasses
CN105760106B (zh) 一种智能家居设备交互方法和装置
US8537231B2 (en) User interface system based on pointing device
US20020134838A1 (en) Method and apparatus for spatially registering information using embedded data
US20140355819A1 (en) Device and method for allocating data based on an arrangement of elements in an image
KR101533320B1 (ko) 포인터가 불필요한 3차원 객체 정보 획득 장치
CN104204848B (zh) 具有测距相机的勘测设备
US20020121550A1 (en) Method and apparatus for display of spatially registered information using embedded data
JP2003256876A (ja) 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
US20200005521A1 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
KR101654311B1 (ko) 사용자 모션 인식 방법 및 장치
CN109816628B (zh) 人脸评价方法及相关产品
KR20190035373A (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
CN110213407A (zh) 一种电子装置的操作方法、电子装置和计算机存储介质
JP2013004001A (ja) 表示制御装置、表示制御方法、およびプログラム
WO2020244577A1 (zh) 一种基于位置的交互方法和交互系统
CN112529770A (zh) 图像处理方法、装置、电子设备和可读存储介质
US9413950B2 (en) Determining a device identifier from a light signal emitted by a device
WO2019214644A1 (zh) 基于光标签网络的辅助识别方法
EP1107184B1 (en) Method and apparatus for registering spatial information
JP2006114943A (ja) 数値入力方法及び装置並びに数値入力プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220928

R150 Certificate of patent or registration of utility model

Ref document number: 7150980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150