JP2018524685A - 色塗り遊びのための拡張現実サービス方法及びシステム（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｅｒｖｉｃｅ Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ Ｆｏｒ Ｃｏｌｏｒｉｎｇ Ｐｌａｙ） - Google Patents

色塗り遊びのための拡張現実サービス方法及びシステム（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｅｒｖｉｃｅ Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ Ｆｏｒ Ｃｏｌｏｒｉｎｇ Ｐｌａｙ） Download PDF

Info

Publication number
JP2018524685A
JP2018524685A JP2017563105A JP2017563105A JP2018524685A JP 2018524685 A JP2018524685 A JP 2018524685A JP 2017563105 A JP2017563105 A JP 2017563105A JP 2017563105 A JP2017563105 A JP 2017563105A JP 2018524685 A JP2018524685 A JP 2018524685A
Authority
JP
Japan
Prior art keywords
image
augmented reality
colored
user
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017563105A
Other languages
English (en)
Inventor
ヒ リ，サム
ヒ リ，サム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DS Global Co Ltd
Original Assignee
DS Global Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DS Global Co Ltd filed Critical DS Global Co Ltd
Publication of JP2018524685A publication Critical patent/JP2018524685A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B1/00—Manually or mechanically operated educational appliances using elements forming, or bearing, symbols, signs, pictures, or the like which are arranged or adapted to be arranged in one or more particular ways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • H04N1/00108—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites of digital signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Astronomy & Astrophysics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本発明による色塗り遊びのための拡張現実サービス方法は、１）ユーザーの端末においてサービスで提供しているアプリを起動し、サーバにて色付けするイメージを選択し、ダウンロードするステップ；２）前記サービスアプリから提供されたツール（tool）を用いて、ダウンロードされたイメージを特定のパターンに彩色するステップ；３）彩色されたイメージを印刷するステップ；４）前記サービスアプリを実行し、彩色されたイメージの印刷物をスキャンしてマーカーを認識し、前記イメージの座標に沿う色相情報を抽出するステップ；５）抽出された前記色相情報に沿い、前記サーバから提供される拡張現実のコンテンツを彩色し、使用者が彩色されたイメージを基盤にする彩色拡張現実のコンテンツを生成するステップ；６）前記使用者端末の表示部に前記カラー拡張現実のコンテンツをディスプレイするステップ；を包含する。
【選択図】図１

Description

本発明は色塗り遊びのための拡張現実サービス方法及びシステムに関するもので、さらに詳しくは、印刷物に色付けせず、サービスアプリ（service app）上でイメージに彩色した後、印刷物のマーク（mark）を認識して使用者が彩色したイメージに対応される拡張現実サービスを実行する色塗り遊びのための拡張現実サービス方法及びシステムに関するものである。
最近、数年間スマートフォンの普及が急速で増加し、スマートフォンの使用時間が大いに増えるに連れて、スマートフォンのアプリケーション（application, 以下, ‘サービスアプリ（app）’という）は、その数が数えられないほど、多様に開発された 。また、このサービスアプリは進化を重ねており、実生活に有益なアイディア（idea）で多くの便利さを提供している。
拡張現実サービスアプリもその中の一つである。拡張現実の関連技術の中で、マーカー基盤拡張現実（marker based augmented reality）は、予め設置されたマーカー（特定のパターン、イメージ）の上に特定の物体を拡張させる方法である。このマーカー基盤（marker based）の方式は、該当場所に正確に特定の物体が拡張できるという長所のため、よく使用される方法の中での一つである。前記マーカー基盤の方式は、マーカーが遮られるか、カメラが速く移動する場合、マーカーを検出するに当たって認識の誤差が生ずるという短所が有るが、これを補完するため、モバイル機器から提供される加速度計センサーなどを加えて使用する補正方法なども研究されている。
コラーミックス（colAR Mix）は、現在スマートフォンアプリとして提供されているマーカー基盤の拡張現実サービスの中の一つである。コラーミックス（colAR Mix）は、色塗り遊びのため提供される拡張現実サービスであり、子供たちに創作能力を育て上げることができる。
コラーミックス（colAR Mix）を利用しようとする使用者は、コンピュータ（例えば、ＰＣ）を利用してコラーミックス（colAR Mix）のサーバに接続した後、絵の図案をダウンロード（download）してから、プリンタを通してＡ４の紙の印刷物に出力する 。
そして、前記出力された紙の印刷物（例えば、ロボット）を希望の色で彩色した後、サービスアプリ（例えば、コラーミックス（colAR Mix））を実行させてスマートフォンの画面に合わせると、使用者はスマート画面に自分が色付けしたロボットが３Ｄ形状に現れ、動き、作動する姿を確認することができる。
さらに詳しく説明すると、サーバには色塗り遊びのため、各種イメージと該当イメージに対応する拡張現実のコンテンツが貯蔵されている。
ユーザーの端末にて特定のマーカーを認識するようになると、該当イメージに対応する拡張現実のコンテンツが３Ｄ形状で現れ、動き、作動するのである。
特に、使用者が印刷物を特定のパターンに彩色をした後に、サービスアプリを実行して彩色されたイメージの印刷物をスキャン（scan）すると、イメージの座標に沿った色相情報を抽出する。こう抽出された色相情報に沿ってサーバから提供される拡張現実のコンテンツにカラー（color）を組み合わせて、彩色された拡張現実のコンテンツを生成するのである。
従って、使用者はユーザーの端末の表示部を通して、自分が彩色したイメージが現れ、動き、作動する姿が確認できるのである。
従来、コラーミックス（colAR Mix）のように、色塗り遊びのため提供される拡張現実サービスの場合、使用者が予め自分のコンピュータ（例えば、ＰＣ）を通してサーバに接続して希望のイメージをダウンロードし、そのダウンロードされたイメージを紙の印刷物に出力（プリント）しなければならなかった。そして、出力された紙の印刷物を各種の筆記道具で彩色する作業が必要であった。
このように、従来のサービス実行のための手順のなどが、子供達には紙印刷物の絵の図案に色付けすることによって、創作能力と興味を与えることができるが、スマートフォンの一つで全てのことについての処理を望む大人達には不便で、多くの時間が所要され、煩わしく感じられる作業に過ぎないことであった。
なお、直接に、出力物に色付けしなけばならないので、多様な色相の色鉛筆や絵の具、毛筆などが別途に備えられなければならないという問題点もあった。
なお、一般に、Ａ４用紙のイメージ出力物に色付けするから 、ユーザーの端末がスキャンする印刷物の面積が大きくて、ユーザーの端末の画面ではマーカーの認識が容易ではない。
本発明は、上述した問題点を解決するために案出されたもので、本発明の目的は、印刷物に色付けせず、サービスアプリ上でイメージに彩色した後、印刷物のマークを認識して使用者が彩色したイメージに対応される拡張現実サービスを実行する色塗り遊びのための拡張現実サービス方法及びシステムを提供するのである。
本発明の他の目的は、拡張現実サービスを実行する時、使用者の音声ファイルと共に再生できる色塗り遊びのための拡張現実サービス方法及びシステムを提供するのである。
上述のような技術的課題を解決するために、本発明による色塗り遊びのための拡張現実サービス方法は、１）ユーザーの端末においてサービスで提供しているアプリを起動し、サーバにて色付けするイメージを選択し、ダウンロードするステップ；２）前記サービスアプリから提供されたツール（tool）を用いて、ダウンロードされたイメージを特定のパターンに彩色するステップ；３）彩色されたイメージを印刷するステップ；４）前記サービスアプリを実行し、彩色されたイメージの印刷物をスキャンしてマーカーを認識し、前記イメージの座標に沿う色相情報を抽出するステップ；５）抽出された前記色相情報に沿い、前記サーバから提供される拡張現実のコンテンツを彩色し、使用者が彩色されたイメージを基盤にする彩色拡張現実のコンテンツを生成するステップ；６）前記使用者端末の表示部に前記カラー拡張現実のコンテンツをディスプレイするステップ；を包含する。
なお、前記２）ステップで、彩色されたイメージを前記使用者端末に貯蔵するステップが、さらに付加されることが好ましい。
なお、前記彩色拡張現実のコンテンツは、前記サーバ又は使用者端末から生成されることが好ましい 。
なお、前記３）ステップは、前記使用者が彩色さたイメージをカラーで印刷することが好ましい。
なお、２）ステップは、使用者が音声ファイルを生成し、前記サーバへ伝送することを包含し、前記７）ステップは、前記使用者端末の表示部に前記カラー拡張現実のコンテンツをディスプレイする時、前記音声ファイルを再生することが好ましい。
本発明による色塗り遊びのための拡張現実のサービスシステムは色塗り遊びのための各種イメージと、該当イメージに対応する拡張現実のコンテンツを提供するサーバ；使用者の選択により前記イメージをダウンロードし、使用者が前記イメージを彩色するためのツールを提供するサービスアプリを包含する使用者端末；及び前記サービスアプリにて彩色されたイメージを印刷する印刷機器；を包含し、前記サービスアプリは彩色されたイメージの印刷物をスキャンしてマーカーを認識し、イメージの座標に沿う色相情報を抽出し、前記サーバ又はサービスアプリは抽出された前記色相情報に沿い、前記サーバから提供される拡張現実のコンテンツを彩色して、使用者が彩色したイメージを基盤にする彩色拡張現実のコンテンツを生成し、前記使用者端末は前記彩色拡張現実のコンテンツをディスプレイすることを特徴とする。
なお、前記使用者端末は、使用者が前記サービスアプリを以って彩色したイメージを貯蔵することが好ましい。
なお、前記印刷機器は、近距離の無線通信手段を具備して、前記使用者端末において彩色されたイメージを受信してカラーで印刷することが好ましい。
本発明によれば、色塗り遊びのための拡張現実のサービスで、印刷物に色付けせず、サービスアプリを以って使用者端末の画面上でのイメージに彩色した後、印刷物のマークを認識して使用者が彩色したイメージに対応される拡張現実のサービスが楽しめる効果がある。 。
従って、サービスアプリから提供される、デジタル化された多用の編集機能が活用できるとの長所がある。
なお、Ａ４より小さいサイズで印刷物を出力し、拡張現実のコンテンツを実行する時、使用者が印刷物を回しながら確認するのが容易である。
これに加えて、拡張現実のコンテンツを実行する時、使用者の音声ファイルも共に再生できる効果もある。
図１は、本発明による拡張現実のサービスシステムのブロック構成図。 図２は、本発明による印刷機器の斜視図。 図３は、本発明による 拡張現実のサービス方法を示した作動フローチャート。 図４は、本発明によりダウンロードしたイメージに色付けする手順を示した例示図。 図５は、本発明によりイメージを印刷機器へ出力する手順を示した例示図。 図６は、本発明による 拡張現実のサービスを示した例示図。
本発明の着眼点は、色塗り遊びをさらに面白くするために、拡張現実のサービスを提供することであって、スマートフォンなどの使用者端末においてサービスアプリを実行し、無彩色のイメージをダウンロードして色付けした後、これをカラーで出力し、サーバから提供される無彩色の拡張現実のコンテンツを、使用者がイメージに色付けしたのと同じカラーで彩色し、拡張現実のコンテンツを生成及び実行する方法及びシステムを具現するのである。
図１は、本発明による拡張現実のサービスシステムのブロック構成図である。
図１に示されたように、本発明による拡張現実のサービスシステムは、スマートフォンなど使用者端末機１００、印刷機器２００、サーバ３００を含んで構成される。
前記サーバ３００は、色塗り遊びのための無彩色のイメージと、各々のイメージに対応し、拡張現実のサービス（例えば、コラーミックス（colAR Mix））のための各種の拡張現実のコンテンツを貯蔵して管理し、使用者端末１００においてサービスアプリを実行して接続すれば、前記貯蔵されたイメージなどを端末１００側に提供する。
前記使用者端末１００は拡張現実のサービスアプリが実行されると、前記サーバ３００に接続し、使用者が希望する無彩色のイメージをダウンロードする。そして、使用者の入力により、色、線又はテキストを、ダウンロードしたイメージに追加するか編集を遂行する。
なお、使用者端末１００は使用者から音声信号が入力され、前記ダウンロードしたイメージと連動させることができる。前記イメージと連動された音声ファイルは、該当拡張現実のサービスが実行されると、拡張現実のサービスと共に出力される。従って、使用者は色塗り遊びと共に音声ファイルを貯蔵し、保管でき、なお、色付けしたイメージを出力した印刷物と共に、第三者に音声ファイルを提供および伝達することができる。よって、伝達された第三者は、印刷物のマーカーを認識し、拡張現実のコンテンツを実行させることができ、これと同時に使用者の音声ファイルのメッセージが聴取できるのである。
使用者端末１００は、前記印刷機器２００を通して前記イメージの印刷物が出力されると、その印刷物をスキャンしてマーカーと前記イメージの各部分の色相などを認識した後、前記イメージに対応される拡張現実のサービスを遂行する。拡張現実のサービスが実行されると、端末１００の表示部の前記イメージ上に前記色又は線の編集が反映された３Ｄ形状の客体が現われ、使用者は前記イメージの印刷物を回しながら、イメージ上に現れた３Ｄ形状の客体を立体的に確認することができる。言い換えると、サービスアプリを実行し、彩色されたイメージの印刷物をスキャンしてマーカーを認識し、一方では彩色されたイメージの座標に沿う色相情報を抽出する。このように、抽出された色相情報により、サーバから提供される無彩色の拡張現実のコンテンツを彩色し、使用者が彩色したイメージを基盤にする彩色の拡張現実のコンテンツを生成するのである。このように、抽出された色相情報により彩色の拡張現実のコンテンツを生成するのは、使用者端末のサービスアプリを以って生成することもできるが、サーバへ色相情報を伝送してサーバにおいて彩色の拡張現実のコンテンツを生成することも可能である。
使用者端末１００は、ノートブックコンピュータ（例えば、タブレットＰＣ）または移動通信端末機（例えば、携帯フォン、ＰＤＡ又はスマートフォンなど）でありうる。使用者端末機１００は、無線通信部、Ａ／Ｖ（Audio/Video）入力部、使用者入力部、センシング部、出力部、メモリー、インターフェース部、カメラモジュール、制御部及び電源供給部などを含むことができる。前記構成要素のすべてが必要不可欠ではないし、これより多くの構成要素などを持つか或は少ない構成要素などを持つ携帯可能な端末機でありうる。前記無線通信部はブルートゥース（登録商標）（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（IrDA、Infrared Data Association）、ＵＷＢ（Ultra Wideband）、ジグビー（登録商標）（Zigbee（IEEE802.15.4））やワイファイ（Wi-Fi）のような近距離の無線通信モジュールを含み、近距離の無線通信モジュールを通して前記印刷機器２００へイメージデータを伝達して印刷物の出力を遂行する。
使用者端末機１００は、本発明による拡張現実のサービスを遂行するソフトウェア又はアプリケーション（例えば、拡張現実のサービスアプリ（App））を設置するか又はメモリーに貯蔵できる。使用者は拡張現実のサービスアプリ（App）を前記サーバ３００やアプリケーションストア（以下、‘アプリストア（App store）’という）からダウンロードして端末１００に設置することができる。
前記印刷機器２００は、小型化と携帯性を中点的な考慮事項にして設計された携帯用の印画或は印刷機器として、近距離の無線通信手段を通して前記使用者端末１００からイメージを受信する。そして、受信されたイメージのカラー印刷物を出力（印刷）する。前記近距離の無線通信手段は、使用者端末機１００との通信のためのものとして、ブルートゥース（登録商標）（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（IrDA、infrared Data Association）、ＵＷＢ（Ultra Wideband）、ジグビー（Zigbee（IEEE 802.15.4））やワイファイ（Wi-Fi）のような近距離の無線通信プロトコルの中からいずれかを遂行することができる。
前記印刷機器２００は、図２示されたように、本体部２２０、印画紙の給紙部２３０、印画紙の排出部２４０、電源部２５０、連結ポート部２６０を含んで構成される。
前記本体部２２０は、印刷機器２００の胴体を成すケース（CASE）として、前記印画紙の給紙部２３０、印画紙の排出部２４０、電源部２５０、連結ポート部２６０が装着（または 形成）され得る基盤を提供する。
前記印画紙の給紙部２３０は、印刷機器２００の印画に必要な用紙などを供給する装置端であり、用紙確認のウィンドウ２３２、カートリッジ（図示せず）、挿入口（図示せず）を含んで構成される。前記用紙確認のウィンドウ２３２は本体部の一側に具備され、使用者は用紙確認ウィンドウ２３２を通して前記カートリッジトレイに残っている印画紙の残量が確認できる。
前記印画紙の排出部２４０は、印刷機器２００において印画された用紙などを排出する装置端であり、排出口、蓋部（カバー部）、蓋ヒンジを含んで構成される。
前記電源部２５０は、印刷機器２００のオン（on）／オフ（off）を制御し、印刷機器２００を構成する電気／電子素子に電源を供給し、電源ボタン２５４とバッテリー（図示せず）を含んで構成される。前記電源ボタン２５４は本体部２２０の一側に具備され、電源ボタンを押す（push）使用者の操作により、印刷機器のオン（on）／オフ（off）を制御する。
前記連結ポート部２６０は、前記本体部２２０の側面（例えば、左側または右側）の一側に具備され、ＵＳＢ連結ポート（図示せず）と充電器連結ポート（図示せず）を含んで構成される。
本発明による印刷機器２００は、連結ポート部２６０を具備して前記使用者端末１００との無線連結（例えば、近距離の無線通信）だけではなく、前記USB連結ポートを通して、有線で印刷機器２００と外部装置（例えば、スマートフォン、タブレットＰＣ、ノートブックなど）の間の有線データが伝送できるようにする。そして、前記充電器の連結ポート２６８を通して電源が供給され、バッテリー２５８の充電を遂行するようにする。
なお、本発明による印刷機器は印画紙に塗料が塗布されており、印刷機器において特定温度の熱を特定時間の間に印画紙に印画し、フルカラーを具現するゼロインク方式が好ましい。
なお、印画紙（印刷物）のサイズは、一般的な写真のサイズである４インチ×６インチ以下が好ましい。拡張現実のコンテンツを実行する時、印刷物を動かしながら多様な角度で見ることができるが、印刷物を動かすためにＡ４サイズは大きすぎるためである。なお、印刷物が大きすぎると相対的に小さい面積の表示部を持つスマートフォンにおいて、マーカーをを認識することが容易ではないからである。
図３は、本発明による拡張現実のサービス方法を示した作動のフローチャートとして、拡張現実のサービスを提供するための方法と手順を表わしたものである。
本発明は拡張現実のサービスアプリ（以下,‘サービスアプリ（app）’という）を用いて、イメージを彩色して色相をつけて印刷物に出力してから、出力された印刷物をスキャンし、拡張現実のサービス画面が端末１００（例えば、スマートフォンまたはタブレットＰＣなど）にディスプレイされるようにする。
使用者が端末１００に貯蔵されたサービスアプリを実行すると、アプリの実行により図４に示されたように、アプリのメイン（main）画面Ｍ１１０ａがディスプレイされる。
端末１００にアプリのメイン画面Ｍ１１０ａがディスプレイされると、使用者はまず、‘コンテンツダウンロード’のボタンを選択（タッチ）してサーバ３００に接続する。そして、接続されたサーバ３００から、使用者が選択するイメージ（例えば、動植物、アニメーションキャラクター、ロボットなど）をダウンロードする（Ｓ１０）。この時、前記イメージは拡張現実のサービス実行のためのものとして、イメージ上の特定の客体を拡張させることができるマーカー（特定のパターン または イメージ）を包含する。図４は本発明によりダウンロードしたイメージに色づけする手順を示した例示図である。
以後、前記選択されたイメージのダウンロードが完了すると、イメージに色相をつけるか希望するテキスト（text）を入力するため、使用者は、まずアプリのメイン画面Ｍ１１０ａで‘エディションモード’のボタンを選択（タッチ）する。そうすると、‘色相＆ライン入力’、‘テキスト入力’、‘音声入力’のようなサブ項目などで構成されたエディションモードのサブメニュー画面Ｍ１２０ａがディスプレイされ、使用者は前記サブメニュー画面Ｍ１２０ａの‘色相＆ライン入力’の項目を選択し、イメージに色相をつけることができる。
使用者は、図４の画面Ｍ１３０ａに示されたような同じ編集画面を通して、前記ダウンロードされたイメージに色相をつけるかライン（または 図形）を入力することができる。そして、彩色（編集）が完了されると該当イメージを貯蔵する（Ｓ２０）。特に、本発明によると印刷物に色鉛筆や絵の具を用いて彩色することではなく、サービスアプリから提供されるツールを用いて容易に彩色（編集）できる。即ち、サービスアプリからは、公知のイメージ編集のプログラム（例えば、‘フォトショップ（登録商標）’）において使用されるイメージ編集のツールを提供することができる。
場合によっては、音声ファイルを生成してサーバへ伝送することもできる。
以後、使用者は前記アプリのメイン画面Ｍ１１０ａで‘印刷モード’のボタンを選択（タッチ）することで、 図５に示されたように、前記編集されたカラーイメージを、使用者端末１００と無線で連結された印刷機器２００に出力（印刷）できる（Ｓ３０）。図５は、本発明により、イメージを印刷機器に出力する手順を表わす。
一旦、カラーイメージが前記印刷機器２００に出力されると、使用者は、図６に示されたように、前記メイン画面（Ｍ１１０ａ）で‘拡張現実のサービスモード’のボタンを選択（タッチ）し、拡張現実モードを実行した後、前記出力された全てのカラーイメージが端末画面の中に入るよう、端末１００とカラーイメージが向かい合うようにし、カラーイメージとの距離を一定に維持させる。
拡張現実のモードが実行されると、端末１００は端末画面にカラーイメージが現れるようにカメラのモジュールを駆動し、前記カラーイメージを出力した印刷物をスキャンする（Ｓ４０）。スキャンが行われる時間に、端末１００はマーカーと前記カラーイメージの各部分の色相などを認識する。即ち、イメージの座標に沿う色相情報を抽出することである（Ｓ５０）。
そして、その認識されたマーカーとイメージの各部分の色相を適用した拡張現実のコンテンツを生成する（Ｓ６０）。具体的に説明すれば、サーバから提供される無彩色の拡張現実のコンテンツにおいて使用者が彩色した通り、座標に沿う色相情報を適用するのである。このようにすることで、サーバから提供される無彩色の拡張現実のコンテンツは、使用者の彩色に基づくカラーの拡張現実のコンテンツとして再誕生するのである（Ｓ６０）。
このように生成されたカラー拡張現実のコンテンツを実行し、使用者端末の表示部にディスプレイする（Ｓ７０）。この時、使用者が音声ファイルを連動させたのなら、サーバから音声ファイルをダウンロードしてカラーの拡張現実のコンテンツと共に音声ファイルも再生される。前記音声ファイルは、背景音楽や色塗り遊びと関連された内容を音声として残すためのものであることもでき、または印刷物が伝達された第３者に伝達する音声メッセージであることもできる。
拡張現実のサービスが実行されると、端末１００は、前記認識されたマーカーとイメージの各部分の色相に沿う３Ｄ形状の客体（例えば、動植物、アニメーションキャラクター、ロボットなど）を、図６に示されたように、端末画面上のカラーイメージ上に出力する。図６は、本発明による拡張現実のサービスを示した例示図である。即ち、彩色されたカラー印刷物上に、３Ｄ形状の客体が印刷物と同じような色相で彩色され、拡張現実としてサービスされるのである。
３Ｄ形状の客体は、予め設定されたシナリオに基づき、多様なモーションと作動を遂行し、使用者はカラーイメージの印刷物を回しながら、前記カラーイメージ上に現れた３Ｄの客体を立体的に確認（例えば、前、後、左、右、上、下）することができる。本発明による印刷機器は、Ａ４より小さいサイズで印刷物を印刷するから、手のひらに載せて回しながら確認することが容易である。
このように生成されたカラーの拡張現実のコンテンツは、基本的にサーバから提供されるが、コンテンツの３Ｄ形状の客体に、使用者が色塗り遊びを通して彩色した色相が反映されているので、客体が生きて動く等の３Ｄアニメーションなどの効果を付与し、創作能力と興味をさらに高めることができる。
ここで説明される本発明の作動は、ソフトウェア、ハードウェア又はこれらの組合せを用いてコンピュータで読める記録媒体において具現されることができる。
ハードウェア的な具現によると、ここで説明される実施例は、ASICs（Application Specific Integrated Circuits）、DSPs（Digital Signal Processors）、DSPDs（Digital Signal Processing Devices）、PLDs（Programmable Logic Devices）、FPGAs（Field Programmable Gate Arrays）、プロセッサー（processors）、制御器（controllers）、マイクロコントローラー（micro-controllers）、マイクロプロセッサ（microprocessors）、遂行機能のための電気的なユニットの中で、少なくても一つを利用して具現されることができる。一部の場合に、本明細書で説明される作動の例などが制御部（または サービスアプリ（App））自体にて具現されることができる。
ソフトウェア的な具現によると、本明細書で説明される手順及び機能のような実施例などは、別のソフトウェアモジュールにて具現されることができる。前記ソフトウェアモジュールの各々は、本明細書で説明される一つ以上の機能及び作動を遂行することができる。適切なプログラム言語で書かれたソフトウェアのアプリケーションをもってソフトウェアコードが具現されることができる。前記ソフトウェアコードは、メモリー（図示せず）に貯蔵され、制御部（または サービスアプリ（App））により実行されることができる。
本発明は、図面に図示された実施例などを参照にして説明されたが、これは例示的なことにすぎなく、本技術分野での通常の知識を持つ者（当業者）なら、前記実施例から多様な変形が成されることができ、前記説明された実施例の全部又は一部が選択的に組み合わされて構成されることも有り得ると理解するだろう。従って、本発明の真の技術的保護の範囲は添付された特許請求の範囲の技術的思想により定められるべきであろう。
以上、記述されたように、本発明は使用者端末機１００のイメージの編集機能（例えば、色付け）と印刷機器２００の印刷（印画）機能を採択して、色塗り遊びの拡張現実のサービスシステムを具現した。
本発明は、大人には不便で煩わしく感じられる従来の拡張現実のサービスを、一つのスマートフォンにて簡単に処理されるようにし、より容易で便利さを追求するスマートフォンの使用者らの要求（needs）を満足させるようになった。
特に、本発明は、前記のように使用者端末と無線通信によりデータを受信するため、携帯しやすく場所に拘らない印刷機器を利用し、なお、印刷物ではないスマートフォンなどのサービスアプリ上で色付けなどの編集を行うので、食堂や大衆交通を用いた移動中でも色塗り遊びと拡張現実のサービスが楽しめるのである。
本発明によると、既存の色塗り遊びのための拡張現実のサービスを、場所に拘らずに利用できるようにし、特に、サービスアプリから多様なデジタルイメージの編集ツールを提供し、さらに利用しやすくておもしろいサービスを提供することができる。
１００ 端末機
２００ 印刷機器
２２０ 本体部
２３０ 印画紙の給紙部
２３２ 用紙確認ウィンドウ
２４０ 印画紙の排出部
２５０ 電源部
２５４ 電源ボタン
２５８ バッテリー
２６０ 連結ポート部
２６８ 充電器の連結ポート
３００ サーバ
Ｍ１１０ａ、 Ｍ１１０ｂ、 Ｍ１１０ｃ アプリのメイン画面
Ｍ１２０ａ、 Ｍ１２０ｃ サブメニュー画面
Ｍ１３０ａ 編集画面

Claims (8)

  1. １）ユーザーの端末においてサービスで提供しているアプリを起動し、サーバにて色付けするイメージを選択し、ダウンロードするステップと、
    ２）前記サービスアプリから提供されたツール（tool）を用いて、ダウンロードされたイメージを特定のパターンに彩色するステップと、
    ３）彩色されたイメージを印刷するステップと、
    ４）前記サービスアプリを実行し、彩色されたイメージの印刷物をスキャンしてマーカーを認識し、前記イメージの座標に沿う色相情報を抽出するステップと、
    ５）抽出された前記色相情報に沿い、前記サーバから提供される拡張現実のコンテンツを彩色し、使用者が彩色されたイメージを基盤にする彩色拡張現実のコンテンツを生成するステップと、および、
    ７）前記使用者端末の表示部に前記カラー拡張現実のコンテンツをディスプレイするステップと、を包含することを特徴とする、色塗り遊びのための拡張現実のサービス方法。
  2. 前記２）ステップで、彩色されたイメージを前記使用者端末に貯蔵するステップが、さらに付加されることを特徴とする、請求項１に記載の色塗り遊びのための拡張現実のサービス方法。
  3. 前記彩色拡張現実のコンテンツは、前記サーバ又は使用者端末から生成されることを特徴とする、請求項１に記載の色塗り遊びのための拡張現実のサービス方法。
  4. 前記３）ステップは、前記使用者が彩色さたイメージをカラーで印刷することを特徴とする、請求項１に記載の色塗り遊びのための拡張現実のサービス方法。
  5. 前記２）ステップは、使用者が音声ファイルを生成し、前記サーバへ伝送することを包含し、
    前記７）ステップは、前記使用者端末の表示部に前記カラー拡張現実のコンテンツをディスプレイする時、前記音声ファイルを再生することを特徴とする、請求項１に記載の色塗り遊びのための拡張現実のサービス方法。
  6. 色塗り遊びのための各種イメージと、該当イメージに対応する拡張現実のコンテンツを提供するサーバと、
    使用者の選択により前記イメージをダウンロードし、使用者が前記イメージを彩色するためのツールを提供するサービスアプリを包含する使用者端末と、及び、
    前記サービスアプリにて彩色されたイメージを印刷する印刷機器と、を包含し、
    前記サービスアプリは彩色されたイメージの印刷物をスキャンしてマーカーを認識し、
    イメージの座標に沿う色相情報を抽出し、
    前記サーバ又はサービスアプリは抽出された前記色相情報に沿い、前記サーバから提供される拡張現実のコンテンツを彩色して、使用者が彩色したイメージを基盤にする彩色拡張現実のコンテンツを生成し、
    前記使用者端末は前記彩色拡張現実のコンテンツをディスプレイすることを特徴とする、色塗り遊びのための拡張現実のサービスシステム。
  7. 前記使用者端末は、使用者が前記サービスアプリを以って彩色したイメージを貯蔵することを特徴とする、請求項６に記載の色塗り遊びのための拡張現実のサービスシステム。
  8. 前記印刷機器は、近距離の無線通信手段を具備して、前記使用者端末において彩色されたイメージを受信してカラーで印刷することを特徴とする、請求項６に記載の色塗り遊びのための拡張現実のサービスシステム。
JP2017563105A 2015-06-03 2016-05-30 色塗り遊びのための拡張現実サービス方法及びシステム（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｅｒｖｉｃｅ Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ Ｆｏｒ Ｃｏｌｏｒｉｎｇ Ｐｌａｙ） Pending JP2018524685A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0078714 2015-06-03
KR20150078714 2015-06-03
PCT/KR2016/005697 WO2016195348A1 (ko) 2015-06-03 2016-05-30 색칠놀이를 위한 증강현실 서비스 방법 및 시스템

Publications (1)

Publication Number Publication Date
JP2018524685A true JP2018524685A (ja) 2018-08-30

Family

ID=57441257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017563105A Pending JP2018524685A (ja) 2015-06-03 2016-05-30 色塗り遊びのための拡張現実サービス方法及びシステム（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｅｒｖｉｃｅ Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ Ｆｏｒ Ｃｏｌｏｒｉｎｇ Ｐｌａｙ）

Country Status (5)

Country Link
US (1) US10311642B2 (ja)
JP (1) JP2018524685A (ja)
KR (1) KR20160142772A (ja)
CN (1) CN107710305A (ja)
WO (1) WO2016195348A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968152B1 (ko) 2017-10-11 2019-04-11 (주)아이디 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템
CN109389687A (zh) * 2018-09-05 2019-02-26 百度在线网络技术（北京）有限公司 基于ar的信息处理方法、装置、设备及可读存储介质
KR102152793B1 (ko) * 2020-04-06 2020-09-07 주식회사 라프라스 도색 시뮬레이션 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014680A (ja) * 2010-06-02 2012-01-19 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2014029566A (ja) * 2012-07-03 2014-02-13 Interactive Communication Design Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
JP2014182406A (ja) * 2013-03-15 2014-09-29 Ricoh Co Ltd 情報処理システム、情報処理装置および情報処理方法、ならびに、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014078A (ko) * 2000-08-16 2002-02-25 김성민 컴퓨터의 이미지 편집시스템
KR20050114142A (ko) * 2004-05-31 2005-12-05 고성민 전자 동화책 편집 방법 및 그 장치
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
CN101571956A (zh) * 2009-06-09 2009-11-04 庄晨更 矢量电脑工笔画制作方法
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
US10530486B2 (en) * 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
KR20140148061A (ko) * 2013-06-21 2014-12-31 디에스글로벌 (주) 휴대용 이미지 출력기기
KR101440766B1 (ko) * 2013-08-09 2014-09-18 디에스글로벌 (주) 인쇄물을 이용한 가상 이미지 전달 서비스 방법
US9727977B2 (en) * 2014-12-29 2017-08-08 Daqri, Llc Sample based color extraction for augmented reality
WO2016187474A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014680A (ja) * 2010-06-02 2012-01-19 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2014029566A (ja) * 2012-07-03 2014-02-13 Interactive Communication Design Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
JP2014182406A (ja) * 2013-03-15 2014-09-29 Ricoh Co Ltd 情報処理システム、情報処理装置および情報処理方法、ならびに、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAPPYデジタル編集部: "自分で描いたぬりえが３Ｄで動き出す！", ＣＯＬＡＲ ＭＩＸ, JPN6018051828, 24 July 2014 (2014-07-24), JP, ISSN: 0004181879 *
QUIVER AUGMENTED REALITY: "Quiver Augmented Reality Trailer", YOUTUBE, JPN7018004346, 29 August 2013 (2013-08-29), ISSN: 0004181878 *

Also Published As

Publication number Publication date
KR20160142772A (ko) 2016-12-13
US20180137683A1 (en) 2018-05-17
US10311642B2 (en) 2019-06-04
WO2016195348A1 (ko) 2016-12-08
CN107710305A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
US8187051B2 (en) Digital arts and crafts computer peripheral toy device
CN105931500B (zh) 一种基于点读笔的影像设备控制方法和点读笔系统
JP2011250874A (ja) 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
CN204613888U (zh) 数码笔
JP2011090486A (ja) 会議支援システム
JP2012232042A (ja) 付け爪サービス提供装置および端末装置
JP2018524685A (ja) 色塗り遊びのための拡張現実サービス方法及びシステム（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｅｒｖｉｃｅ Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ Ｆｏｒ Ｃｏｌｏｒｉｎｇ Ｐｌａｙ）
US9454829B2 (en) Systems and methods for obtaining a digital wallpaper
WO2019093156A1 (ja) 表示処理装置および表示処理方法、並びにプログラム
US20150331888A1 (en) Image capture and mapping in an interactive playbook
JP2014191743A (ja) 情報処理システム、情報処理装置、および筆装置
JP4389851B2 (ja) 携帯端末装置およびプログラム
CN110209316A (zh) 类别标签显示方法、装置、终端及存储介质
WO2022253041A1 (zh) 图像显示方法和电子设备
CN108734662A (zh) 显示图标的方法和装置
JP2008117083A (ja) 座標指示装置、電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体
JP5212053B2 (ja) 撮影画像編集装置、画像処理端末、撮影画像編集装置の制御方法、撮影画像編集装置および画像処理端末制御プログラム、およびそれらのコンピュータ読み取り可能な記録媒体
KR20170134277A (ko) 색칠놀이를 위한 증강현실 서비스 방법
US9430754B2 (en) Storage medium, information processing method and information processing system
JP2018055381A (ja) 仮想ラベル表示処理プログラム
KR102292619B1 (ko) 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
CN111913560A (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN112449098A (zh) 一种拍摄方法、装置、终端及存储介质
US20150113365A1 (en) Method for composing image and mobile terminal programmed to perform the method
EP2648083A2 (en) Apparatus and Method of Generating a Sound Effect in a Portable Terminal

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190411

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107