JP2017522682A - 拡張現実技術に基づく手持ち式閲覧デバイス及びその方法 - Google Patents

拡張現実技術に基づく手持ち式閲覧デバイス及びその方法 Download PDF

Info

Publication number
JP2017522682A
JP2017522682A JP2017524077A JP2017524077A JP2017522682A JP 2017522682 A JP2017522682 A JP 2017522682A JP 2017524077 A JP2017524077 A JP 2017524077A JP 2017524077 A JP2017524077 A JP 2017524077A JP 2017522682 A JP2017522682 A JP 2017522682A
Authority
JP
Japan
Prior art keywords
handheld
browsing
browsing device
scene
virtual scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017524077A
Other languages
English (en)
Inventor
剣明 熊
剣明 熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youngzone Culture Shanghai Co ltd
Youngzone Culture(shanghai) Co ltd
Original Assignee
Youngzone Culture Shanghai Co ltd
Youngzone Culture(shanghai) Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youngzone Culture Shanghai Co ltd, Youngzone Culture(shanghai) Co ltd filed Critical Youngzone Culture Shanghai Co ltd
Publication of JP2017522682A publication Critical patent/JP2017522682A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Abstract

【課題】本発明は、拡張現実技術に基づく手持ち式閲覧デバイス及びその方法を提供する。【解決手段】拡張現実技術に基づく手持ち式閲覧デバイスは、第１のカメラを介して現実シーンを捕捉するためのビデオキャプチャーユニットと、現実シーンにおける二次元コードを識別することにより、コード値情報および空間位置情報を取得し、その後、空間位置情報に基づいて予め設けられた仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成するためのスマート演算端末と、スピーカーを介して仮想シーンに対応する音声情報を出力するための音声出力ユニットと、円形の形状に呈し、閲覧画面を表示するための液晶ディスプレイと、を含む。既存技術に比べて、本発明は、現実シーンと高度にマッチングし、迫真な視覚、聴覚、触覚、力強さ感および動感などを有する仮想環境を生成して、ユーザーが仮想三次元環境との直接的なインタラクションを実現できる。こうすると、子供は、より多くの感官刺激を獲得でき、学習効率が向上され、エデュテインメントを実現できる。【選択図】図１

Description

本発明は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）の技術分野に関し、特に、拡張現実技術に基づく手持ち式閲覧デバイスに関する。
拡張現実技術は、仮想現実の基礎のもとで発展されてきた新しい技術であり、仮想現実の研究における一つの重要な分岐である。要するに、拡張現実技術とは、コンピューターグラフィックス技術および可視化技術を介して現実環境において存在しない仮想対象を生成し、かつ仮想対象を真実の環境に正確的に「組み込み」、その後、表示デバイスにより仮想対象と真実の環境とを一体に融合して、仮想情報を真実の世界に応用することにより、ユーザーへ迫真な効果を与える新しい環境を呈し、現実に対する増強を実現する技術である。例えば、ＡＲ技術は、本来の現実世界における一定の時空間範囲内において体験することができない実体情報（例えば、視覚情報、音声、味、または触覚）などを、科学技術によりシミュレーションした後に、現実世界に重ねて人類の感官に感知されることができ、それにより、現実を超える感官体験を実現する。
また、既存技術において、子供向けの玩教具（玩具・教具）は、主に、伝統類、創作類、実体類、仮想類、娯楽類および教育類に分かれ、対応する主流製品は、早期教育機、フィンガーリーダー、トーキングペン、電子書籍／スクールバッグ、単語カード、コンピューター教育ソフトウェアなどを含む。ここで、伝統教育類の玩教具は、面白さが乏しく、子供の自発性を引き出しにくい。一方、ハイテク教育類の玩教具は、操作が比較的に複雑であり、使用者の認知および操作、制御に対する要求が高く、家庭内におけるインタラクションを形成できるよい遊び方や教育の形式がない。また、これらの玩教具のほとんどは、創作性が欠け、多くは、同種類の製品のコピーにすぎない。他方、近年、タブレットＰＣやスマートフォンの普及に伴って、多くの早期教育類のソフトウェアが携帯式モバイルプラットフォームを注目し始めている。しかしながら、タブレットＰＣは、子供を対象に開発されたものではなく、現在の市場においては、子供がタブレットＰＣを遊ぶことについて反対する声も多く存在し、注目される問題は概ね、以下を含む。１）タブレットＰＣのディスプレイのサイズが比較的に小さいため、長時間にかけてディスプレイを見ると、視力が悪くなり、近視になりやすい；２）タブレットＰＣを使用する際、長時間にかけて首を傾げてタブレットＰＣを見ることは、頸椎の発育にも影響を与える可能性がある；３）子供がソフトウェアゲームに触れることが早すぎることは、真実の環境における遊びに対する楽さが欠けるだけでなく、勉強に対する楽しみにも影響を与えるか低減させる可能性がある；４）タッチ式のタブレットＰＣまたはスマートフォンは、従来のキーボードまたはマウスによるインタラクション方式を変えたが、子供と玩教具とのインタラクションは、依然として二次元の平面上に止まり、感官体験のレベルが比較的に低い。
以上に鑑みて、如何なる手持ち式閲覧デバイスを設計することにより、現在の拡張現実技術と従来の子供の玩教具とを有機的に結合して、エデュテインメントを実現し、子供が閲覧の過程において、言語勉強、画像認知および三次元デジタルモデルを自然に関連付けて、感官刺激を増強させ、学習効率を向上させることは、いわゆる当業者が解決しなければならない課題の一つである。
本発明は、既存技術におけるタブレットＰＣとスマートフォンとが子供の玩教具に応用された際に存在する上述した問題点に鑑みてなされたものであって、新規で、拡張現実技術に基づく手持ち式閲覧デバイスおよびその方法を提供することを目的とする。
本発明の一つの形態によれば、拡張現実技術に基づく手持ち式閲覧デバイスであって、
第１のカメラを介して現実シーンを捕捉するためのビデオキャプチャーユニットと、
前記現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得し、その後、前記空間位置情報に基づいて予め設けられた仮想シーンを設置し、かつ前記現実シーンと前記仮想シーンとを混合した後の閲覧画面を生成するためのスマート演算端末と、
スピーカーを介して前記仮想シーンに対応する音声情報を出力するための音声出力ユニットと、
円形の形状を呈し、前記スマート演算端末により生成した前記閲覧画面を表示するための液晶ディスプレイと、を含む。
一つの実施例において、前記手持ち式閲覧デバイスを移動する際、前記現実シーンにおける二次元コードが移動し、前記スマート演算端末は、移動した二次元コードに基づいて前記仮想シーンにおける画面の移動を制御し、前記液晶ディスプレイは、前記手持ち式閲覧デバイスが移動した後の動的閲覧画面を出力する。
一つの実施例において、前記スマート演算端末は、さらに、カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ前記仮想シーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくためのバッファーユニットを含む。
一つの実施例において、前記仮想シーンにおける三次元物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られる。
一つの実施例において、前記スマート演算端末は、インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて一つの拡張現実アプリケーションを選択して実行するためのネットワークインターフェースと、ユーザーが前記現実シーンにおける二次元コードを前記第１のカメラの撮影範囲内まで移動させた場合、前記二次元コードを自動的に追従して識別し、前記コード値情報および前記空間位置情報を取得するための二次元コード識別ユニットと、を含む。
一つの実施例において、前記スマート演算端末は、さらに、前記二次元コード識別ユニットからの空間位置情報に基づいて、マッチングする仮想シーンを探して見つけるための仮想シーン生成ユニットと、探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した前記仮想シーンと前記現実シーンとを混合して前記液晶ディスプレイに表示するための仮想リアルタイムレンダリングユニットと、を含む。
一つの実施例において、前記スマート演算端末は、人間の顔または手のインタラクション操作を識別し、かつ前記インタラクション操作に基づいて前記現実シーンに隠されている三次元情報を受け取り、これにより前記三次元情報と前記仮想シーンにおける三次元物体とを直接的にインタラクションさせるインタラクションユニットを含む。
一つの実施例において、前記現実シーンは、書籍、単語カード、科学技術館または博物館における物体および環境画像を含む。
一つの実施例において、前記手持ち式閲覧デバイスは、さらに、前記拡張現実アプリケーションに対応する仮想シーンのデータを記憶するための記憶ユニットを含む。
一つの実施例において、前記スマート演算端末は、前記スマート演算端末が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行するためのメインスレッド処理ユニットと、画像収集の操作を実行し、かつ画像収集の結果を前記メインスレッド処理ユニットに伝送して戻させるための複数のサブスレッド処理ユニットと、を含む。
一つの実施例において、前記メインスレッド処理ユニットは、前記サブスレッド処理ユニットへ画像収集リクエストを送信し、前記サブスレッド処理ユニットは、前記画像収集リクエストに基づいて画像収集の操作を行う。
一つの実施例において、前記手持ち式閲覧デバイスは、拡大鏡の外部輪郭に類似し、円形本体と握持部とを含み、前記円形本体にはタッチ機能を有する前記液晶ディスプレイが設けられ、かつ前記円形本体と前記握持部との接続箇所には制御ボタンを有する。
一つの実施例において、前記液晶ディスプレイのタッチ機能は、抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサによりタッチ操作を実現する。
一つの実施例において、前記円形本体の頂端の真ん中の位置には、前記液晶ディスプレイ側の現実シーンを収集するための第２のカメラと、ユーザーの音声インタラクション情報を受信するためのマイクロフォンとを有する。
一つの実施例において、前記第１のカメラは、前記円形本体における、前記液晶ディスプレイと対向する他側に位置し、該他側の現実シーンを収集して捕捉し、前記第１のカメラは、電荷結合素子画像センサまたは相補性金属酸化半導体画像センサである。
一つの実施例において、前記円形本体の側面には、さらに、前記手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタンを具備している。
一つの実施例において、前記手持ち式閲覧デバイスの環境光強度を検出するための輝度センサと、前記環境光強度が不足するときに補助背面光を提供するための補助バックライトと、を含む。
本発明の他の一つの形態によれば、拡張現実技術に基づく手持ち式閲覧方法であって、
ビデオキャプチャーユニットが第１のカメラを介して現実シーンを捕捉するステップと、
スマート演算端末が前記現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得するステップと、
前記空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ前記現実シーンと前記仮想シーンとを混合した後の閲覧画面を生成するステップと、
音声出力ユニットがスピーカーを介して前記仮想シーンに対応する音声情報を出力するステップと、
円形の形状を呈する液晶ディスプレイが前記スマート演算端末により生成した前記閲覧画面を表示するステップと、を含む。
一つの実施例において、手持ち式閲覧方法は、さらに、手持ち式閲覧デバイスを移動する際、前記現実シーンにおける二次元コードが移動し、前記スマート演算端末が移動した二次元コードに基づいて前記仮想シーンにおける画面の移動を制御し、前記液晶ディスプレイが前記手持ち式閲覧デバイスの移動した後の動的閲覧画面を出力するステップを含む。
一つの実施例において、前記手持ち式閲覧方法は、さらに、カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ前記仮想シーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくステップを含む。
一つの実施例において、前記仮想シーンにおける三次元物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られる。
一つの実施例において、前記スマート演算端末は、インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて１つの拡張現実アプリケーションを選択して実行するためのネットワークインターフェースと、ユーザーが前記現実シーンにおける二次元コードを前記第１のカメラの撮影範囲内まで移動させた場合、前記二次元コードを自動的に追従して識別し、前記コード値情報および前記空間位置情報を取得するための二次元コード識別ユニットと、を含む。
一つの実施例において、前記スマート演算端末は、さらに、前記二次元コード識別ユニットからの空間位置情報に基づいて、マッチングする仮想シーンを探して見つけるための仮想シーン生成ユニットと、探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した前記仮想シーンと前記現実シーンとを混合して前記液晶ディスプレイに表示するための仮想リアルタイムレンダリングユニットと、を含む。
一つの実施例において、前記スマート演算端末は、人間の顔または手のインタラクション操作を識別し、かつ前記インタラクション操作に基づいて前記現実シーンに隠されている三次元情報を受け取り、これにより前記三次元情報と前記仮想シーンにおける三次元物体とを直接的にインタラクションさせるインタラクションユニットを含む。
一つの実施例において、前記手持ち式閲覧方法は、前記スマート演算端末が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行するためのメインスレッド処理ユニットと、画像収集の操作を実行し、かつ画像収集の結果を前記メインスレッド処理ユニットに伝送して戻させるための複数のサブスレッド処理ユニットとを含む。
一つの実施例において、前記拡張現実アプリケーションは、書籍、単語カード、科学技術館または博物館における物体および環境画像を含む。
本発明の更なる他の一つの形態によれば、拡張現実技術に基づく手持ち式閲覧デバイスであって、円形本体と、握持部と、を含み、
前記円形本体は、対向に設けられる正面と裏面とを含み、前記円形本体の正面には液晶ディスプレイ、第２のカメラおよびマイクロフォンが設けられ、前記円形本体の裏面には第１のカメラとスピーカーとが設けられ、
前記握持部は、前記円形本体に接続し、前記手持ち式閲覧デバイスを把持するために用いられ、
前記手持ち式閲覧デバイスは、前記第１のカメラが収集した現実シーンに対して三次元仮想シーンのレンダリングを行い、かつ前記液晶ディスプレイを介して前記現実シーンと前記仮想シーンとを混合した閲覧画面を表示する。
一つの実施例において、前記液晶ディスプレイは、タッチ機能を有し、かつ抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサによりタッチ操作を実現する。
一つの実施例において、前記第２のカメラおよび前記マイクロフォンは、前記円形本体の頂端の真ん中の位置に位置し、前記第２のカメラは、前記円形本体の正面側の現実シーンを収集するために用いられ、前記マイクロフォンは、ユーザーの音声インタラクション情報を受信するために用いられる。
一つの実施例において、前記第１のカメラは、前記円形本体の裏面側の現実シーンを収集して捕捉するために用いられ、前記第１のカメラは、電荷結合素子画像センまたは相補性金属酸化半導体画像センサである。
一つの実施例において、前記円形本体の側面には、さらに、前記手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタンを具備している。
一つの実施例において、前記円形本体と前記握持部との接続箇所には、さらに、制御ボタンを具備している。
一つの実施例において、前記手持ち式閲覧デバイスは、さらに、前記手持ち式閲覧デバイスの環境光強度を検出するための輝度センサと、前記環境光強度が不足するときに補助背面光を提供するための補助バックライトと、を含む。
本発明の手持ち式閲覧デバイスおよびその方法によれば、ビデオキャプチャーユニットが第１のカメラを介して現実シーンを捕捉し、スマート演算端末が現実シーンにおける二次元コードを識別することによりコード値情報および空間位置情報を取得し、その後、空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成し、円形の形状を呈する液晶ディスプレイがスマート演算端末により生成した閲覧画面を表示する。既存技術に比べて、本発明は、スマート演算端末を利用することにより、現実シーンと高度にマッチングし、迫真な視覚、聴覚、触覚、力強さ感、および動感などを有する仮想環境を生成して、ユーザーと仮想三次元環境との直接的なインタラクションを実現できる。このすると、子供は、学習過程において、言語勉強、画像認知および三次元デジタルモデルを自然に関連付けて、より多くの次元の感官刺激を増強させ、学習効率を向上させ、エデュテインメントを実現できる。
以下、図面を参照しながら、本発明の具体的な実施形態について説明する。これにより、本発明の様々な態様がより明確に理解される。
図１（ａ）〜図１（ｃ）は、本発明の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧デバイスの外部輪郭を示す図である。 本発明の他の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧デバイスの構成を示す図である。 図２における手持ち式閲覧デバイスのスマート演算端末の一つの具体的な実施例を示す図である。 図３における手持ち式閲覧デバイスを採用して拡張現実の閲覧画面を実現するフローチャートである。 図２における手持ち式閲覧デバイスのスマート演算端末の他の一つの具体的な実施例を示す図である。 本発明の更なる他の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧方法を説明するためのフローチャートである。 図６における手持ち式閲覧方法を採用する第１の実施例に係る拡張現実の効果を示す図である。 図６における手持ち式閲覧方法を採用する第２の実施例に係る拡張現実の効果を示す図である。 図６における手持ち式閲覧方法を採用する第３の実施例に係る拡張現実の効果を示す図である。 図６における手持ち式閲覧方法を採用する第４の実施例に係る拡張現実の效果を示す図である。
本発明において開示された技術内容をより詳しく、完全にさせるため、図面を参照しながら以下のいくつかの具体的な実施例について説明する。図面において、同一の符号は同一または類似の部材を示す。しかしながら、いわゆる当業者であれば、以下に記載される実施例は本発明の保護範囲を限定するものではないことを理解すべきである。また、図面は、説明するために例示されるものにすぎず、元のサイズに応じて描画されたものでない。
以下、図面を参照しながら、本発明のいくつかの具体的な実施形態について詳しく説明する。
図１（ａ）〜図１（ｃ）は、本発明の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧デバイスの外部輪郭を示す図である。図１（ａ）は、デバイスの正面図であり、図１（ｂ）は、デバイスの背面図であり、図１（ｃ）は、デバイスの側面図である。
図１（ａ）〜図１（ｃ）に示すように、本発明に係る拡張現実技術に基づく手持ち式閲覧デバイスは、拡大鏡の外部輪郭に類似し、円形本体と握持部４とを含む。握持部４は、子供生理学に適合し、かつ把持しやすいような造型に専門的に設計されている。
具体的には、円形本体の正面には液晶ディスプレイ１、第２のカメラおよびマイクロフォン２が設けられている。ここで、円形の液晶ディスプレイは、ユーザーに「小さなところから大きなところがみえる」および「少ないところから多いところがみえる」といった直観的な感覚をもたらすことが可能である。これは、矩形のディスプレイが幅広いシーンへの発展に適合しているのに対し、円形のディスプレイは、近くて深いシーンへの発掘に適合する。従来の矩形ディスプレイに対して、円形のディスプレイは、辺・角が把握されにくく、角度もあってもなくてもよいため、円形のディスプレイはセンサの作用のもとで、常に正視野角の表示画面を呈することができる。例えば、第２のカメラおよびマイクロフォン２は、本体の頂端の真ん中の位置に位置され、第２のカメラ（「前カメラ」とも称される）は、本体正面側の現実シーンを収集し、マイクロフォンは、ユーザーの音声インタラクション情報を受信する。円形本体の裏面には、高解像度の第１のカメラ（「主カメラ」とも称される）５とスピーカー６とが設けられている。握持部４は、円形本体と接続し、ユーザー、特に、子供が閲覧デバイスを把持するために用いられる。ここで、手持ち式閲覧デバイスは、第１のカメラ５が収集した現実シーンに対して三次元仮想シーンのレンダリングを行い、かつ液晶ディスプレイ１を介して現実シーンと仮想シーンとを混合した後の閲覧画面を表示する。
一つの具体的な実施例において、液晶ディスプレイ１は、タッチ機能（タッチ制御機能）を有し、かつ抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサにより対応するタッチ操作を実現する。
一つの具体的な実施例において、第１のカメラ５は、円形本体の裏面側の現実シーンを収集して捕捉する。第１のカメラ５は、例えば、電荷結合素子（ＣＣＤ）画像センサまたは相補性金属酸化半導体（ＣＭＯＳ）画像センサである。
また、円形本体の側面には、さらに、手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタン７を具備している。円形本体と握持部４との接続箇所には、さらに、制御ボタン３を有することが好ましい。
また、デバイスがいかなる光源条件においても読取および閲覧ができるように、本発明では、さらに、輝度センサと補助バックライトとを含むことができる（図示せず）。輝度センサを介してデバイスの環境光強度を検出し、かつ補助バックライトを使用して環境光強度が不足するときに補助背面光を提供する。
図２は、本発明の他の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧デバイスの構成を示す図である。図２に示すように、本実施形態において、本発明に係る手持ち式閲覧デバイスは、ビデオキャプチャーユニット１０と、スマート演算端末１２と、音声出力ユニット１４と、液晶ディスプレイ１６とを含む。
具体的には、ビデオキャプチャーユニット１０は、第１のカメラ（例えば、図１に示す主カメラ５）を介して現実シーンを捕捉する。スマート演算端末１２はビデオキャプチャーユニット１０とカップリングし、捕捉した現実シーンにおける二次元コードを識別することにより、二次元コードに対応するコード値情報および空間位置情報を取得する。その後、空間位置情報に基づいて予め設けられるマッチングする仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成する。音声出力ユニット１４はスマート演算端末１２とカップリングし、スピーカー（例えば、図１に示すスピーカー６）を介して仮想シーンに対応する音声情報を出力する。液晶ディスプレイ１は、円形の形状を呈し、スマート演算端末１２とカップリングし、スマート演算端末１２により生成した閲覧画面を表示する。
一つの具体的な実施例において、閲覧ユーザー、特に、子供が手持ち式閲覧デバイスを移動する際、現実シーンにおける二次元コードが移動し、スマート演算端末１２が移動した二次元コードに基づいて仮想シーンにおける画面の移動を制御し、液晶ディスプレイ１は手持ち式閲覧デバイスが移動した後の動的閲覧画面を出力する。
また、二次元コードの移動速度が速すぎるか、或いは、第１のカメラの撮影角度から大きくずれて、二次元コードの識別が瞬時に失敗し、二次元コードに関連づける三次元仮想物体の表示が途切れ現象の発生を回避するため、本発明に係るスマート演算端末１２は、さらに、バッファーユニット１２１を含む。バッファーユニット１２１は、カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップしてバッファーし、かつ仮想シーンにおける三次元仮想物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておく。例えば、仮想シーンにおける三次元仮想物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られ、仮想物体の移動の円滑性を大幅に向上させる。
図３は、図２における手持ち式閲覧デバイスのスマート演算端末の一つの具体的な実施例を示す図である。図３に示すように、本実施例において、スマート演算端末１２は、さらに、ネットワークインターフェース（図示せず）、二次元コード識別ユニット１２３、仮想シーン生成ユニット１２５および仮想リアルタイムレンダリングユニット１２７を含む。
ここで、ネットワークインターフェースは、インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて一つの拡張現実アプリケーションを選択して実行する。ユーザーが現実シーンにおける二次元コードを第１のカメラの撮影範囲内まで移動させた場合、二次元コード識別ユニット１２３は、自動的に二次元コードを追従して識別し、かつ対応するコード値情報および空間位置情報を取得する。仮想シーン生成ユニット１２５は、二次元コード識別ユニット１２３とカップリングし、二次元コード識別ユニット１２３からの空間位置情報に基づいて、マッチングする仮想シーンを探して見つける。仮想リアルタイムレンダリングユニット１２７は、探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した仮想シーンと現実シーンとを混合して液晶ディスプレイに表示する。
一つの具体的な実施例において、スマート演算端末１２は、さらに、インタラクションユニット１２９を含み、人間の顔または手のインタラクション操作を識別し、かつインタラクション操作に基づいて現実シーンに隠されている三次元情報を受け取り、これにより三次元情報と仮想シーンにおける三次元物体とを直接的にインタラクションさせ、デバイスのインタラクションの娯楽性を向上させる。上記現実シーンは、例えば、書籍、単語カード、科学技術館又は博物館における物体と環境画像を含む。
また、該手持ち式閲覧デバイスは、さらに、記憶ユニット（図示せず）を含み、拡張現実アプリケーションに対応する仮想シーンのデータを記憶することにより、デバイスのオフライン状態における拡張現実体験を実現する。
図４は、図３における手持ち式閲覧デバイスを採用して拡張現実の閲覧画面を実現するフローチャートである。
図４および図３に示すように、まず、ステップＳ１０１およびＳ１０３を実行し、ユーザーは、インターネットにより複数の拡張現実アプリケーションを取得し、かつそのうちの一つのアプリケーションを起動する。続いて、ステップＳ１０５およびＳ１０７において、第１のカメラは、ビデオキャプチャーと捕捉を開始し、収集して捕捉した現実シーンをディスプレイに表示し、ユーザーは第１のカメラの撮影範囲内において該現実シーンの二次元コードを自由に移動する。続いて、ステップＳ１０９に示すように、二次元コードを自動的に追従して識別する。最後は、ステップＳ１１１を実行し、システムは、二次元コードに対応する三次元仮想物体をレンダリングしてかつ液晶ディスプレイに表示する。また、ユーザーは、さらに、インタラクションを介して現実シーンに隠された三次元情報を提供することにより仮想三次元物体と直接的にインタラクションさせることができる。
図５は、図２における手持ち式閲覧デバイスのスマート演算端末の他の一つの具体的な実施例を示す図である。図５に示すように、本実施例において、スマート演算端末１２は、さらに、メインスレッド（ｍａｉｎ ｔｈｒｅａｄ）処理ユニット１３１とサブスレッド処理ユニット１３３を含む。メインスレッド処理ユニット１３１は、スマート演算端末１２が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行する。複数のサブスレッド処理ユニット１３３は、画像収集の操作を実行し、かつ画像収集の結果をメインスレッド処理ユニット１３１に伝送して戻させる。例えば、メインスレッド処理ユニット１３１は、まず、サブスレッド処理ユニット１３３へ画像収集リクエストを送信し、サブスレッド処理ユニット１３３は、該画像収集リクエストに基づいて画像収集の操作を行い、かつ画像収集の結果をメインスレッド処理ユニット１３１に伝送して戻させて後続処理を行う。
図６は、本発明の更なる他の一つの実施形態に係る拡張現実技術に基づく手持ち式閲覧方法を説明するためのフローチャートである。
図６および図２に示すように、本閲覧方法において、まず、ステップＳ２１を実行し、ビデオキャプチャーユニット１０は、第１のカメラを介して現実シーンを捕捉する。続いて、ステップＳ２３およびＳ２５を実行し、スマート演算端末１２は、捕捉した現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得する。続いて、空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成する。続いて、ステップＳ２７において、音声出力ユニット１４は、スピーカーを介して仮想シーンに対応する音声情報を出力する。最後に、ステップＳ２９を実行し、円形の形状を呈する液晶ディスプレイ１６は、スマート演算端末１２により生成した閲覧画面を表示する。
一つの具体的な実施例において、手持ち式閲覧方法は、さらに、手持ち式閲覧デバイスを移動する際、現実シーンにおける二次元コードが移動し、スマート演算端末が移動した二次元コードに基づいて仮想シーンにおける画面の移動を制御し、液晶ディスプレイが手持ち式閲覧デバイスの移動した後の動的閲覧画面を出力するステップを含む。
一つの具体的な実施例において、手持ち式閲覧方法は、さらに、カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ仮想シーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくステップを含む。例えば、仮想シーンにおける三次元物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られる。
図７は、図６における手持ち式閲覧方法を採用する第１の実施例に係る拡張現実の効果を示す図である。
図７に示すように、ユーザーは、手持ち式閲覧デバイスを博物館の名画に合わせるときに、デバイスの主カメラは、該名画を捕捉し、かつ予め設定した仮想三次元動画と現実の物体とを混合する。最終的に、円形ディスプレイ１１には、名画が本来の現実シーンにおける静的画面から混合した後の動的画面に変更し始めるという画面効果を見える。
図８は、図６における手持ち式閲覧方法を採用する第２の実施例に係る拡張現実の効果を示す図である。
図８に示すように、ユーザーは、手持ち式閲覧デバイスを地球儀における、ある地域（例えば、エジプト）に合わせるときに、デバイスの主カメラ２２は、捕捉し始め、かつ予め設定した三次元仮想動画を地球儀に投影する。最終的に、円形ディスプレイ２１には、該地域の上に該国家の特徴的な動画（例えば、ピラミッドと大スフィンクス）を浮かび出すとう効果を見える。例えば、子供は、この「科学拡大鏡」（即ち、手持ち式閲覧デバイス）を持って地球儀のある国家地域に合わせる場合、円形ディスプレイには、地球儀において、該国の伝統的な服を着る三次元人物が立ち、及びそのほかの情報の画像、例えば、有名な建築物、歴史・人文などが現れるという画面効果を呈し、これらの異なる類型の画像は、ボタンにより切り替える。
図９は、図６における手持ち式閲覧方法を採用する第３の実施例に係る拡張現実の効果を示す図である。
図９に示すように、ユーザーは、手持ち式閲覧デバイスを書物またはカードに合わせると、デバイスのカメラ３１は、動作し始め、かつ三次元仮想画像３２を書物に投影する。最終的に、円形ディスプレイには、書物に現実シーンと仮想シーンとを混合してなる三次元立体画面が現れていることが見える。
図１０は、図６における手持ち式閲覧方法を採用する第４の実施例に係る拡張現実の效果を示す図である。
図１０に示すように、ユーザーは、手持ち式閲覧デバイスを現実シーンのおもちゃの戦車に合わせると、デバイスのカメラは、動作し始め、デバイスにおけるスマート演算端末により処理された後に、最終的に、円形ディスプレイには、戦車の傍には宇宙船が戦車を攻撃しており、子供は、該デバイスを利用して戦車とインタラクションして戦車を操作し、拡張現実技術により仮想と現実との結合を実現することができ、戦車の銃身が移動しながら発砲し、攻撃する宇宙船を次々と撃ち落とすという画面効果が見える。
本発明の手持ち式閲覧デバイス及びその方法によれば、ビデオキャプチャーユニットが第１のカメラを介して現実シーンを捕捉し、スマート演算端末が現実シーンにおける二次元コードを識別することによりコード値情報および空間位置情報を取得し、その後、空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ現実シーンと仮想シーンとを混合した後の閲覧画面を生成し、円形の形状を呈する液晶ディスプレイがスマート演算端末により生成した閲覧画面を表示する。既存技術に比べて、本発明は、スマート演算端末を利用することにより、現実シーンと高度にマッチングし、迫真な視覚、聴覚、触覚、力強さ感、および動感などを有する仮想環境を生成して、ユーザーと仮想三次元環境との直接的なインタラクションを実現できる。こうすると、子供は、学習過程において言語勉強、画像認知および三次元デジタルモデルを自然に関連付けて、より多くの次元の感官刺激を増強させ、学習効率を向上させ、エデュテインメントを実現できる。
以上、図面を参照して本発明の具体的な実施形態について説明した。しかし、いわゆる当業者は、本発明の技術的思想および範囲から逸脱しない前提で、本発明の具体的な実施形態に対して、各種の変更や置換を行うことができる、と理解すべきである。これらの変更および置換は、いずれも本発明の請求項により限定される範囲に含まれる。

Claims (33)

  1. 拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）技術に基づく手持ち式閲覧デバイスであって、
    第１のカメラを介して現実シーンを捕捉するためのビデオキャプチャーユニットと、
    前記現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得し、その後、前記空間位置情報に基づいて予め設けられた仮想シーンを設置し、かつ前記現実シーンと前記仮想シーンとを混合した後の閲覧画面を生成するためのスマート演算端末と、
    スピーカーを介して前記仮想シーンに対応する音声情報を出力するための音声出力ユニットと、
    円形の形状を呈し、前記スマート演算端末により生成した前記閲覧画面を表示するための液晶ディスプレイと、
    を含むことを特徴とする手持ち式閲覧デバイス。
  2. 前記手持ち式閲覧デバイスを移動する際、前記現実シーンにおける二次元コードが移動し、前記スマート演算端末は、移動した二次元コードに基づいて前記仮想のシーンにおける画面の移動を制御し、前記液晶ディスプレイは、前記手持ち式閲覧デバイスが移動した後の動的閲覧画面を出力することを特徴とする請求項１に記載の手持ち式閲覧デバイス。
  3. 前記スマート演算端末は、さらに、
    カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ前記仮想のシーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくためのバッファーユニットを含むことを特徴とする請求項２に記載の手持ち式閲覧デバイス。
  4. 前記仮想シーンにおける三次元物体の瞬時位置は、バックアップされたいくつかの二次元コードの空間位置情報を補間することにより得られることを特徴とする請求項３に記載の手持ち式閲覧デバイス。
  5. 前記スマート演算端末は、さらに、
    インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて一つの拡張現実アプリケーションを選択して実行するためのネットワークインターフェースと、
    ユーザーが前記現実シーンにおける二次元コードを前記第１のカメラの撮影範囲内まで移動させた場合、前記二次元コードを自動的に追従して識別し、前記コード値情報および前記空間位置情報を取得するための二次元コード識別ユニットと、を含むことを特徴とする請求項１に記載の手持ち式閲覧デバイス。
  6. 前記スマート演算端末は、さらに、
    前記二次元コード識別ユニットからの空間位置情報に基づいて、マッチングする仮想シーンを探して見つけるための仮想シーン生成ユニットと、
    探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した前記仮想シーンと前記現実シーンとを混合して前記液晶ディスプレイに表示するための仮想リアルタイムレンダリングユニットと、を含むことを特徴とする請求項５に記載の手持ち式閲覧デバイス。
  7. 前記スマート演算端末は、さらに、
    人間の顔または手のインタラクション操作を識別し、かつ前記インタラクション操作に基づいて前記現実シーンに隠されている三次元情報を受け取り、これにより前記三次元情報と前記仮想シーンにおける三次元物体とを直接的にインタラクションさせるインタラクションユニットを含むことを特徴とする請求項６に記載の手持ち式閲覧デバイス。
  8. 前記現実シーンは、書籍、単語カード、科学技術館または博物館における物体および環境画像を含むことを特徴とする請求項１に記載の手持ち式閲覧デバイス。
  9. 前記手持ち式閲覧デバイスは、さらに、前記拡張現実アプリケーションに対応する仮想シーンのデータを記憶するための記憶ユニットを含むことを特徴とする請求項８に記載の手持ち式閲覧デバイス。
  10. 前記スマート演算端末は、
    前記スマート演算端末が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行するためのメインスレッド処理ユニットと、
    画像収集の操作を実行し、かつ画像収集の結果を前記メインスレッド処理ユニットに伝送して戻させるための複数のサブスレッド処理ユニットと、を含むことを特徴とする請求項１に記載の手持ち式閲覧デバイス。
  11. 前記メインスレッド処理ユニットは、前記サブスレッド処理ユニットへ画像収集リクエストを送信し、前記サブスレッド処理ユニットは、前記画像収集リクエストに基づいて画像収集の操作を行うことを特徴とする請求項１０に記載の手持ち式閲覧デバイス。
  12. 前記手持ち式閲覧デバイスは、拡大鏡の外部輪郭に類似し、円形本体と握持部とを含み、前記円形本体にはタッチ機能を有する前記液晶ディスプレイが設けられ、かつ前記円形本体と前記握持部との接続箇所には制御ボタンを有することを特徴とする請求項１に記載の手持ち式閲覧デバイス。
  13. 前記液晶ディスプレイのタッチ機能は、抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサによりタッチ操作を実現することを特徴とする請求項１２に記載の手持ち式閲覧デバイス。
  14. 前記円形本体の頂端の真ん中の位置には、前記液晶ディスプレイ側の現実シーンを収集するための第２のカメラと、ユーザーの音声インタラクション情報を受信するためのマイクロフォンとを有することを特徴とする請求項１２に記載の手持ち式閲覧デバイス。
  15. 前記第１のカメラは、前記円形本体における、前記液晶ディスプレイに対向する他側に位置し、該他側の現実シーンを収集して捕捉し、前記第１のカメラは、電荷結合素子（ＣＣＤ）画像センサまたは相補性金属酸化半導体（ＣＭＯＳ）画像センサであることを特徴とする請求項１２に記載の手持ち式閲覧デバイス。
  16. 前記円形本体の側面には、さらに、前記手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタンを具備していることを特徴とする請求項１２に記載の手持ち式閲覧デバイス。
  17. 前記手持ち式閲覧デバイスは、さらに、
    前記手持ち式閲覧デバイスの環境光強度を検出するための輝度センサと、前記環境光強度が不足するときに補助背面光を提供するための補助バックライトと、を含むことを特徴とする請求項１に記載の手持ち式閲覧デバイス。
  18. 拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）技術に基づく手持ち式閲覧方法であって、
    ビデオキャプチャーユニットが第１のカメラを介して現実シーンを捕捉するステップと、
    スマート演算端末が前記現実シーンにおける二次元コードを識別することにより、対応するコード値情報および空間位置情報を取得するステップと、
    前記空間位置情報に基づいて予め設けられる仮想シーンを設置し、かつ前記現実シーンと前記仮想シーンとを混合した後の閲覧画面を生成するステップと、
    音声出力ユニットがスピーカーを介して前記仮想シーンに対応する音声情報を出力するステップと、
    円形の形状を呈する液晶ディスプレイが前記スマート演算端末により生成した前記閲覧画面を表示するステップと、
    を含むことを特徴とする手持ち式閲覧方法。
  19. 前記手持ち式閲覧方法は、さらに、手持ち式閲覧デバイスを移動する際、前記現実シーンにおける二次元コードが移動し、前記スマート演算端末が移動した二次元コードに基づいて前記仮想シーンにおける画面の移動を制御し、前記液晶ディスプレイが前記手持ち式閲覧デバイスの移動した後の動的閲覧画面を出力するステップを含むことを特徴とする請求項１８に記載の手持ち式閲覧方法。
  20. 該手持ち式閲覧方法は、さらに、
    カレントフレームより前のいくつかの二次元コードに対応するコード値情報および空間位置情報をバックアップし、かつ前記仮想シーンにおける三次元物体の運動駆動に対して対応するフレーム数の遅延を行うことにより、二次元コードを識別するために必要とする処理時間を取っておくステップを含むことを特徴とする請求項１９に記載の手持ち式閲覧方法。
  21. 前記仮想シーンにおける三次元物体の瞬時位置は、バックアップするいくつかの二次元コードの空間位置情報を補間することにより得られることを特徴とする請求項２０に記載の手持ち式閲覧方法。
  22. 前記スマート演算端末は、
    インターネットからの複数の拡張現実アプリケーションを受け取り、かつユーザーの要求に応じて１つの拡張現実アプリケーションを選択して実行するためのネットワークインターフェースと、
    ユーザーが前記現実シーンにおける二次元コードを前記第１のカメラの撮影範囲内まで移動させた場合、前記二次元コードを自動的に追従して識別し、前記コード値情報および前記空間位置情報を取得するための二次元コード識別ユニットと、を含むことを特徴とすることを特徴とする請求項１８に記載の手持ち式閲覧方法。
  23. 前記スマート演算端末は、さらに、
    前記二次元コード識別ユニットからの空間位置情報に基づいて、マッチングする仮想シーンを探して見つけるための仮想のシーン生成ユニットと、
    探して見つけた仮想シーンをリアルタイムに描画し、かつ描画した前記仮想シーンと前記現実シーンとを混合して前記液晶ディスプレイに表示するための仮想リアルタイムレンダリングユニットと、を含むことを特徴とする請求項２２に記載の手持ち式閲覧方法。
  24. 前記スマート演算端末は、
    人間の顔または手のインタラクション操作を識別し、かつ前記インタラクション操作に基づいて前記現実シーンに隠されている三次元情報を受け取り、これにより前記三次元情報と前記仮想シーンにおける三次元物体とを直接的にインタラクションさせるインタラクションユニットを含むことを特徴とする請求項２３に記載の手持ち式閲覧方法。
  25. 前記手持ち式閲覧方法は、さらに、前記スマート演算端末が処理過程において行ったプログラムロジック操作とレンダリング操作とを実行するためのメインスレッド処理ユニットと、画像収集の操作を実行し、かつ画像収集の結果を前記メインスレッド処理ユニットに伝送して戻させるための複数のサブスレッド処理ユニットとを含むことを特徴とする請求項１８に記載の手持ち式閲覧方法。
  26. 前記現実シーンは、書籍、単語カード、科学技術館または博物館における物体および環境画像を含むことを特徴とする請求項１８に記載の手持ち式閲覧方法。
  27. 拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）技術に基づく手持ち式閲覧デバイスであって、円形本体と、握持部と、を含み、
    前記円形本体は、対向に設けられる正面と裏面とを含み、前記円形本体の正面には液晶ディスプレイ、第２のカメラおよびマイクロフォンが設けられ、前記円形本体の裏面には第１のカメラとスピーカーとが設けられ、
    前記握持部は、前記円形本体に接続し、前記手持ち式閲覧デバイスを把持するために用いられ、
    前記手持ち式閲覧デバイスは、前記第１のカメラが収集した現実シーンに対して三次元仮想シーンのレンダリングを行い、かつ前記液晶ディスプレイを介して前記現実シーンと前記仮想シーンとを混合した閲覧画面を表示することを特徴とする手持ち式閲覧デバイス。
  28. 前記液晶ディスプレイは、タッチ機能を有し、かつ抵抗式、コンデンサー式、赤外線走査式または赤外線画像検知式タッチセンサによりタッチ操作を実現することを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
  29. 前記第２のカメラおよび前記マイクロフォンは、前記円形本体の頂端の真ん中の位置に位置し、前記第２のカメラは、前記円形本体の正面側の現実シーンを収集するために用いられ、前記マイクロフォンは、ユーザーの音声インタラクション情報を受信するために用いられることを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
  30. 前記第１のカメラは、前記円形本体の裏面側の現実シーンを収集して捕捉することに用いられ、前記第１のカメラは、電荷結合素子（ＣＣＤ）画像センサ又は相補性金属酸化半導体（ＣＭＯＳ）画像センサであることを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
  31. 前記円形本体の側面には、さらに、前記手持ち式閲覧デバイスの異なる機能の間の切り替えに用いられる機能ボタンを具備していることを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
  32. 前記円形本体と前記握持部との接続箇所には、さらに、制御ボタンを具備していることを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
  33. 前記手持ち式閲覧デバイスは、さらに、前記手持ち式閲覧デバイスの環境光強度を検出するための輝度センサと、前記環境光強度が不足するときに補助背面光を提供するための補助バックライトと、を含むことを特徴とする請求項２７に記載の手持ち式閲覧デバイス。
JP2017524077A 2014-07-24 2015-07-14 拡張現実技術に基づく手持ち式閲覧デバイス及びその方法 Pending JP2017522682A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410354263.2 2014-07-24
CN201410354263.2A CN104102412B (zh) 2014-07-24 2014-07-24 一种基于增强现实技术的手持式阅览设备及其方法
PCT/CN2015/000502 WO2016011788A1 (zh) 2014-07-24 2015-07-14 一种基于增强现实技术的手持式阅览设备及其方法

Publications (1)

Publication Number Publication Date
JP2017522682A true JP2017522682A (ja) 2017-08-10

Family

ID=51670602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524077A Pending JP2017522682A (ja) 2014-07-24 2015-07-14 拡張現実技術に基づく手持ち式閲覧デバイス及びその方法

Country Status (4)

Country Link
US (1) US9996979B2 (ja)
JP (1) JP2017522682A (ja)
CN (1) CN104102412B (ja)
WO (1) WO2016011788A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6413042B1 (ja) * 2018-05-30 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
JP6413035B1 (ja) * 2018-01-18 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
WO2019097742A1 (ja) * 2017-11-14 2019-05-23 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
JP2020077190A (ja) * 2018-11-07 2020-05-21 スカパーＪｓａｔ株式会社 拡張現実端末
WO2020202747A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP7449437B1 (ja) 2023-09-01 2024-03-13 株式会社ほぼ日 プログラム、情報処理方法及び情報処理装置

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102412B (zh) 2014-07-24 2017-12-12 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
CN104731343A (zh) * 2015-04-14 2015-06-24 上海云富网络科技有限公司 一种基于移动终端的虚拟现实人机交互儿童教育体验系统
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN104899920B (zh) * 2015-05-25 2019-03-08 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备
CN104899808A (zh) * 2015-06-25 2015-09-09 盐城金意光电科技有限公司 一种适用于儿童启蒙教育的系统及方法
CN105289011A (zh) * 2015-11-06 2016-02-03 龚杰 一种基于增强现实技术的拼搭玩具及使用方法
CN105381607A (zh) * 2015-11-10 2016-03-09 王欢 虚拟和实体协同交互的玩具模型
CN105608934B (zh) * 2015-12-21 2018-09-04 大连新锐天地传媒有限公司 Ar儿童故事早教舞台剧系统
CN105807917A (zh) * 2016-02-29 2016-07-27 广东小天才科技有限公司 一种辅助用户识字的方法及装置
CN105812708A (zh) * 2016-03-18 2016-07-27 严俊涛 视频通话方法及系统
US10560683B2 (en) * 2016-04-08 2020-02-11 Maxx Media Group, LLC System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
CN105915879B (zh) * 2016-04-14 2018-07-10 京东方科技集团股份有限公司 一种视频显示方法、头戴式显示装置及系统
US10522251B2 (en) 2016-07-08 2019-12-31 International Business Machines Corporation Infrared detectors and thermal tags for real-time activity monitoring
CN106445282B (zh) * 2016-09-08 2019-04-30 掌阅科技股份有限公司 一种基于增强现实技术的交互方法
US10311273B2 (en) * 2016-10-18 2019-06-04 International Business Machines Corporation Thermal tags for real-time activity monitoring and methods for detecting the same
CN106648499A (zh) * 2016-11-01 2017-05-10 深圳市幻实科技有限公司 一种增强现实地球仪的呈现的方法、装置及系统
CN106601043A (zh) * 2016-11-07 2017-04-26 爱可目（北京）科技股份有限公司 一种基于增强现实的多媒体互动教育设备及方法
CN106683501B (zh) * 2016-12-23 2019-05-14 武汉市马里欧网络有限公司 一种ar儿童情景扮演投影教学方法及系统
CN106859956B (zh) * 2017-01-13 2019-11-26 北京安云世纪科技有限公司 一种人体穴位识别按摩方法、装置及ar设备
CN108304099A (zh) 2017-01-13 2018-07-20 光宝电子(广州)有限公司 电子装置及点读方法
CN108446011A (zh) * 2017-02-14 2018-08-24 深圳梦境视觉智能科技有限公司 一种基于增强现实的医疗辅助方法及设备
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN109213303A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的图书浏览方法及系统
CN107589846A (zh) * 2017-09-20 2018-01-16 歌尔科技有限公司 场景切换方法、装置及电子设备
US10565798B2 (en) * 2017-11-17 2020-02-18 Mobilizar Technologies Private Limited Globe, and a method and a system for enabling augmented reality interactions with a globe
CN109903391A (zh) * 2017-12-10 2019-06-18 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及系统
CN108269307B (zh) * 2018-01-15 2023-04-07 歌尔科技有限公司 一种增强现实交互方法及设备
US10636200B2 (en) * 2018-01-19 2020-04-28 Htc Corporation Electronic device, method for displaying an augmented reality scene and non-transitory computer-readable medium
CN108107983B (zh) * 2018-01-29 2024-03-01 北京清尚建筑装饰工程有限公司 一种博物馆藏品点交设备
CN108363556A (zh) * 2018-01-30 2018-08-03 百度在线网络技术（北京）有限公司 一种基于语音与增强现实环境交互的方法和系统
CN110478892A (zh) * 2018-05-14 2019-11-22 彼乐智慧科技（北京）有限公司 一种三维交互的方法及系统
CN108805766B (zh) * 2018-06-05 2022-09-02 陈勇 一种ar体感沉浸式教学系统和方法
CN109118591A (zh) * 2018-07-27 2019-01-01 天津大学 一种基于增强现实技术的文物云识别与交互系统及方法
CN108874156A (zh) * 2018-08-30 2018-11-23 合肥虹慧达科技有限公司 增强现实交互系统及其使用方法
US11030811B2 (en) 2018-10-15 2021-06-08 Orbit Technology Corporation Augmented reality enabled layout system and method
CN109710056A (zh) * 2018-11-13 2019-05-03 宁波视睿迪光电有限公司 虚拟现实交互装置的显示方法及装置
CN110119202B (zh) * 2019-04-24 2024-01-19 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及系统
CN110148222A (zh) * 2019-05-27 2019-08-20 重庆爱车天下科技有限公司 一种基于ar技术的看车方法及系统
CN112051943A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的信息显示方法和相应的电子设备
CN110764685B (zh) * 2019-10-24 2023-04-18 上海掌门科技有限公司 用于识别二维码的方法和设备
CN110852132B (zh) * 2019-11-15 2023-10-03 北京金山数字娱乐科技有限公司 一种二维码空间位置确认方法及装置
CN111093032B (zh) * 2019-12-31 2021-08-27 维沃移动通信有限公司 一种信息显示方法及电子设备
US11626994B2 (en) 2020-02-27 2023-04-11 Sneakertopia Inc. System and method for presenting content based on articles properly presented and verifiably owned by or in possession of user
CN112785716A (zh) * 2020-04-07 2021-05-11 江南造船(集团)有限责任公司 增强现实的建造引导方法、装置、终端和介质
CN111583420B (zh) * 2020-05-27 2021-11-12 上海松鼠课堂人工智能科技有限公司 基于增强现实模式的智能学习系统和方法
CN113256815B (zh) * 2021-02-24 2024-03-22 北京华清易通科技有限公司 虚拟现实场景融合及播放方法和虚拟现实设备
CN115565519B (zh) * 2022-11-30 2023-04-07 广汽埃安新能源汽车股份有限公司 对话语音生成方法、装置、设备、计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000082107A (ja) * 1998-06-30 2000-03-21 Sony Corp 画像処理装置、画像処理方法、および媒体
JP2004257872A (ja) * 2003-02-26 2004-09-16 Seiko Epson Corp 位置情報取得システム、位置情報取得装置、位置情報取得方法、及びプログラム
JP2007279155A (ja) * 2006-04-03 2007-10-25 Mitsubishi Electric Corp 情報端末装置及び画像表示方法
JP2008022514A (ja) * 2006-06-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像表示装置
JP2011009916A (ja) * 2009-06-24 2011-01-13 Nec Biglobe Ltd 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
WO2014093608A1 (en) * 2012-12-13 2014-06-19 Microsoft Corporation Direct interaction system for mixed reality environments
JP2014515854A (ja) * 2011-03-29 2014-07-03 クアルコム，インコーポレイテッド 拡張現実システムにおける実世界表面への仮想画像のアンカリング

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949798A (zh) * 2005-10-14 2007-04-18 张逶 一种圆形手机
US20070176847A1 (en) * 2005-12-30 2007-08-02 Shah Kamalesh R Method and system to reduce display power consumption
US8625200B2 (en) * 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
CN202304918U (zh) * 2011-09-16 2012-07-04 杭州电子科技大学 一种手持式水表读数器
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
KR20130117553A (ko) * 2012-04-18 2013-10-28 한국전자통신연구원 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
WO2013168954A1 (en) * 2012-05-07 2013-11-14 Samsung Electronics Co., Ltd. Electronic system with augmented reality mechanism and method of operation thereof
CN102800065B (zh) * 2012-07-13 2015-07-29 苏州梦想人软件科技有限公司 基于二维码识别跟踪的增强现实设备及方法
US9639964B2 (en) * 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
CN103366610B (zh) * 2013-07-03 2015-07-22 央数文化(上海)股份有限公司 基于增强现实的三维互动学习系统及方法
CN203554527U (zh) * 2013-10-18 2014-04-16 深圳市晶通光电有限公司 一种用于移动终端的圆形液晶显示屏
CN104102412B (zh) * 2014-07-24 2017-12-12 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
CN204028887U (zh) * 2014-07-24 2014-12-17 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000082107A (ja) * 1998-06-30 2000-03-21 Sony Corp 画像処理装置、画像処理方法、および媒体
JP2004257872A (ja) * 2003-02-26 2004-09-16 Seiko Epson Corp 位置情報取得システム、位置情報取得装置、位置情報取得方法、及びプログラム
JP2007279155A (ja) * 2006-04-03 2007-10-25 Mitsubishi Electric Corp 情報端末装置及び画像表示方法
JP2008022514A (ja) * 2006-06-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像表示装置
JP2011009916A (ja) * 2009-06-24 2011-01-13 Nec Biglobe Ltd 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
JP2014515854A (ja) * 2011-03-29 2014-07-03 クアルコム，インコーポレイテッド 拡張現実システムにおける実世界表面への仮想画像のアンカリング
WO2014093608A1 (en) * 2012-12-13 2014-06-19 Microsoft Corporation Direct interaction system for mixed reality environments

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"「docomo Optimus Gの基本操作を覚えよう」", PC&スマホアプリの使い方ならできるネット, JPN6017044536, 28 November 2012 (2012-11-28), ISSN: 0003852538 *
丸子かおり, ＡＲ〈拡張現実〉入門, vol. 初版, JPN6018030049, 10 September 2010 (2010-09-10), JP, pages 029 - 035, ISSN: 0003852539 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10818055B2 (en) 2017-11-14 2020-10-27 Hobonichi Co., Ltd. Computer readable media, information processing apparatus and information processing method
WO2019097742A1 (ja) * 2017-11-14 2019-05-23 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
JP2019091203A (ja) * 2017-11-14 2019-06-13 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
JP6413035B1 (ja) * 2018-01-18 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
WO2019142369A1 (ja) * 2018-01-18 2019-07-25 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
JP2019125271A (ja) * 2018-01-18 2019-07-25 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
US10885688B2 (en) 2018-01-18 2021-01-05 Hobonichi Co., Ltd. Computer readable media, information processing apparatus and information processing method
JP2019207658A (ja) * 2018-05-30 2019-12-05 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
WO2019230802A1 (ja) * 2018-05-30 2019-12-05 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
JP6413042B1 (ja) * 2018-05-30 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
JP2020077190A (ja) * 2018-11-07 2020-05-21 スカパーＪｓａｔ株式会社 拡張現実端末
WO2020202747A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP7400810B2 (ja) 2019-03-29 2023-12-19 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
JP7449437B1 (ja) 2023-09-01 2024-03-13 株式会社ほぼ日 プログラム、情報処理方法及び情報処理装置

Also Published As

Publication number Publication date
US20170004651A1 (en) 2017-01-05
US9996979B2 (en) 2018-06-12
CN104102412B (zh) 2017-12-12
WO2016011788A1 (zh) 2016-01-28
CN104102412A (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
JP2017522682A (ja) 拡張現実技術に基づく手持ち式閲覧デバイス及びその方法
US20180197345A1 (en) Augmented reality technology-based handheld viewing device and method thereof
CN109976519B (zh) 一种基于增强现实的交互显示装置及其交互显示方法
CN103793060B (zh) 一种用户交互系统和方法
WO2018098720A1 (zh) 一种基于虚拟现实的数据处理方法及系统
Amores et al. Showme: A remote collaboration system that supports immersive gestural communication
CN204028887U (zh) 一种基于增强现实技术的手持式阅览设备
WO2022068479A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN106464773B (zh) 增强现实的装置及方法
CN108805766B (zh) 一种ar体感沉浸式教学系统和方法
CN102520793A (zh) 基于手势识别的会议演示交互方法
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN114514493A (zh) 增强设备
CN109739353A (zh) 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
Nóbrega et al. NARI: Natural Augmented Reality Interface-Interaction Challenges for AR Applications
CN111901518B (zh) 显示方法、装置和电子设备
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
KR101288590B1 (ko) 적외선 카메라를 이용한 모션제어 장치 및 방법
CN203085064U (zh) 一种虚拟星空教学设备
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN104020957A (zh) 数字脸谱立体投影交互系统
CN103810932A (zh) 一种虚拟星空教学设备
Egusa et al. Development of an interactive puppet show system for the hearing-impaired people
Cho et al. Gesture recognition using simple-OpenNI for implement interactive contents
Letellier et al. Visualization and interaction techniques in virtual reality for guided tours

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180807