JP2021129317A - 多次元反応型映像提供方法及びコンピュータ装置。 - Google Patents

多次元反応型映像提供方法及びコンピュータ装置。 Download PDF

Info

Publication number
JP2021129317A
JP2021129317A JP2021088851A JP2021088851A JP2021129317A JP 2021129317 A JP2021129317 A JP 2021129317A JP 2021088851 A JP2021088851 A JP 2021088851A JP 2021088851 A JP2021088851 A JP 2021088851A JP 2021129317 A JP2021129317 A JP 2021129317A
Authority
JP
Japan
Prior art keywords
video
computer
input operation
reaction type
multidimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021088851A
Other languages
English (en)
Other versions
JP7258950B2 (ja
Inventor
ウ イ，チョル
Chul Woo Lee
ウ イ，チョル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2021129317A publication Critical patent/JP2021129317A/ja
Priority to JP2023061258A priority Critical patent/JP7483979B2/ja
Application granted granted Critical
Publication of JP7258950B2 publication Critical patent/JP7258950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】対象体の特定領域に対する操作に対応する映像フレームを連結しておくことによって、ユーザの入力操作に符合するように反応する映像を生成し、ユーザに提供する多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラムを提供する。
【解決手段】多次元反応型映像生成方法は、コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得する段階（Ｓ２００）と、前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成する段階（Ｓ６００）と、それぞれの細部セルに対応する映像フレームをマッチさせる段階（Ｓ１０００）とを含む。
【選択図】図１

Description

本発明は多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再
生方法及びプログラムに関する。
近年、映像撮影技術が飛躍的に進歩しつつある。カムコーダ、デジタルカメラだけでな
く、スマートフォンなどの移動端末も高い解像度の映像を撮影することができる。また、
３６０度カメラ、３Ｄ映像カメラなどが登場している。
映像は、映像撮影装置により撮影されて特定のフォーマットで格納され、再生可能な端
末により再生される。映像の再生は、視聴者との相互作用（Ｉｎｔｅｒａｃｔｉｏｎ）が
なく、一方的に時間順に提供される。即ち、視聴者は再生される映像を通じて視覚的な感
覚のみを感じることができる。
そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、対象体の特定
領域に対する操作に対応する映像フレームを連結しておくことによって、ユーザの入力操
作に符合するように反応する映像を生成し、ユーザに提供する多次元反応型映像生成装置
、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラムを提供すること
にある。
本発明が解決しようとする課題は、以上で言及された課題に限定されず、言及されてい
ない他の課題は、下記の記載から通常の技術者が明確に理解できるはずである。
本発明の一実施形態に係る多次元反応型映像生成方法は、コンピュータが基礎映像を形
成する複数の多次元映像フレームを獲得し、前記基礎映像は、対象体に操作体で操作を加
える映像である多次元映像フレーム獲得段階と、コンピュータが前記基礎映像内に設定領
域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成し、前
記３次元のセル組み合わせは、異なる深さ情報及び位置情報が付与された複数の細部セル
を含むセル組み合わせ生成段階と、コンピュータが前記基礎映像に含まれているそれぞれ
の映像フレームを、対応する前記細部セルにマッチさせる段階とを含み、前記深さ情報は
、反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する
情報であり、前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上
の位置に関する情報であり、前記設定領域は、対象体内で反応型映像として生成される２
次元空間領域であり、前記フレーム密度は、前記基礎映像内の特定地点に適用される前記
深さ情報段階の数である。
また、他の実施形態として、前記多次元映像フレームは、操作体を用いて特定の対象体
に操作が加えられる位置と圧力強度を変更しながら反復的に獲得される。
更に、他の実施形態として、前記多次元映像フレーム獲得段階は、操作体で対象体に入
力操作を加える映像全体から入力操作が加えられた後に復元される復元映像を抽出し、前
記復元映像内の複数の映像フレームを獲得することを特徴とする。
また、他の実施形態として、前記反応型映像として生成される前記設定領域を指定する
段階を更に含む。
更に、他の実施形態として、特定強度の圧力が加えられた後、基礎映像内の変化を認識
して前記対象体の復元変数を算出する段階を更に含む。
本発明の他の実施形態に係る多次元反応型映像生成プログラムは、ハードウェアと結合
されて前記言及された多次元反応型映像生成方法を実行し、媒体に格納される。
本発明の他の実施形態に係る多次元反応型映像再生方法は、コンピュータがユーザから
対象体に対する入力操作を受信する段階と、各再生時点で受信した前記入力操作の位置情
報及び深さ情報に従って、前記コンピュータが反応型映像から位置情報及び深さ情報に対
応する細部セルにマッチした映像フレームを抽出する段階とを含み、前記深さ情報は、前
記反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する
情報であり、前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上
の位置に関する情報であり、前記細部セルは、前記入力操作の位置情報及び深さ情報に対
応する特定の映像フレームがマッチしたものであって、反応型映像内の３次元のセル組み
合わせを構成する。
また、他の実施形態として、隣接する領域に連続的な入力操作が入力される場合、コン
ピュータが画面上の特定地点に対応する深さ情報が異なる複数の映像フレームの組み合わ
せ又は以前の時点に提供された映像フレームと現在の入力操作に対応する細部セル内の映
像フレームの組み合わせを基にモーフィングを行って最終の再生映像フレームを生成する
段階を更に含む。
更に、他の実施形態として、コンピュータが前記反応型映像から復元変数を抽出して映
像フレームの変化速度を調節する段階を更に含む。
また、他の実施形態として、コンピュータが反応型映像を実行した特定時点からの時間
経過を算出し、対象体に対する入力操作による映像フレームの変化を調節する段階を更に
含む。
本発明の他の実施形態に係る多次元反応型映像再生プログラムは、ハードウェアと結合
されて前記言及された多次元反応型映像再生方法を実行し、媒体に格納される。
前記のような本発明によれば、以下のような多様な効果を有する。
第一に、ユーザによりタッチ操作時に現実での対象体表面の変化と同様に反応型映像を
再生することによって、ユーザに現実感あふれる再生映像を提供できるという効果を奏す
る。
第二に、映像に対する視聴者らの関心を高め、伝達力を最大化できるという効果がある
。これにより、映像内の特定の物体に対する広報効果を向上させることができる。
第三に、物体を撫でるなどの特定区間を往復又は特定動作を繰り返す映像を生成する場
合、特定の第１方向に動く一部の映像のみを獲得した後、ユーザの入力操作によって反復
再生（例えば、順方向再生及び逆方向再生を反復）を行うようにすることができる。これ
により、繰り返される動作を含む映像の格納容量を減らすことができるという効果が得ら
れる。
第四に、各細部セルに格納されている基本映像フレームを基にモーフィングを行ってユ
ーザにより画面上に提供される操作に符合する現実感あふれる最終の再生映像フレームを
提供できる。従って、動きの類型別に異なる映像フレームを格納しなくてもよいので、格
納容量を顕著に減らすことができる。
本発明の一実施形態に係る多次元反応型映像生成方法の順序図である。 本発明の一実施形態によって反応型生成領域を複数の再生区域に分けるために複数の分割イメージを生成した例示図である。 本発明の一実施形態に係る反応型生成領域を指定する過程を更に含む多次元反応型映像生成方法の順序図である。 本発明の一実施形態に係る復元変数を算出する過程を更に含む多次元反応型映像生成方法の順序図である。 本発明の一実施形態に係る多次元反応型映像再生方法の順序図である。 本発明の一実施形態に係る入力操作の位置情報及び深さ情報を基に映像フレームを抽出する細部セルを決定する過程を示す例示図である。 本発明の一実施形態に係る映像フレームのモーフィング過程を更に含む多次元反応型映像再生方法の順序図である。 本発明の一実施形態に係る復元変数で映像フレームの再生を調節する過程を更に含む多次元反応型映像再生方法の順序図である。 本発明の一実施形態に係る時間の経過に伴う対象体の状態変化を反映し、入力操作による映像フレームの変化を調節する過程を示す多次元反応型映像再生方法の順序図である。
以下、添付の図面を参照し、本発明の好適な実施形態を詳細に説明する。本発明の利点
及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施
形態を参照すれば明確になるはずである。しかし、本発明は以下で開示される実施形態に
限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実
施形態は本発明の開示を完全なものにし、本発明が属する技術分野における通常の知識を
有する者に発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範
囲の範疇により定義されるに過ぎない。明細書全体に亘って同一の参照符号は、同一の構
成要素を示す。
他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）
は、本発明が属する技術分野における通常の知識を有する者が共通して理解できる意味と
して使用され得る。また、一般に用いられる辞典に定義されている用語は、明白に特に定
義されていない限り、理想的に又は過度に解釈されない。
本明細書で用いられた用語は、実施形態を説明するためのものであり、本発明を制限し
ようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む
。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍ
ｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追
加を排除しない。
本明細書において「コンピュータ」は、演算処理を行える多様な装置が全て含まれる。
例えば、コンピュータはデスクトップＰＣ、ノートブック（Ｎｏｔｅ Ｂｏｏｋ）のみな
らず、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ、携帯電話（Ｃｅｌ
ｌｕｌａｒ ｐｈｏｎｅ）、ＰＣＳフォン（ＰＣＳ ｐｈｏｎｅ；Ｐｅｒｓｏｎａｌ Ｃｏ
ｍｍｕｎｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ ｐｈｏｎｅ）、同期式／非同期式ＩＭＴ-２０
００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ
-２０００）の移動端末、パームＰＣ（Ｐａｌｍ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）
、携帯情報端末（ＰＤＡ；Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）など
も該当し得る。また、コンピュータは、クライアントから情報を受信するサーバコンピュ
ータも該当し得る。以下、本明細書においてコンピュータは端末又はクライアントとも表
現されることができる。
本明細書において「反応型映像」は、映像を視聴するユーザ（即ち、視聴者）の特定の
入力操作に相応する形態で映像が再生される映像を意味する。例えば、反応型映像は、ユ
ーザにより特定の物体（例えば、枕）をタッチする形態の入力操作がタッチスクリーンに
加えられると、タッチスクリーンに対する入力操作と同様に物体をタッチする動きが再生
される映像を意味する。また、例えば、反応型映像は、ユーザにより特定の物体を押圧す
る形態の入力操作がタッチスクリーンに加えられると、物体が押圧される動きとユーザの
入力操作以後に再び復元される動きが再生される映像を意味する。
本明細書において「基礎映像」は、反応型映像の生成のために用いられる複数の映像フ
レームの組み合わせを意味する。
本明細書において「第１クライアント」は、反応型映像を生成する第１ユーザ（即ち、
反応型映像製作者）のクライアント装置を意味する。
本明細書において「第２クライアント」は、反応型映像を再生する第２ユーザ（即ち、
反応型映像利用者）のクライアント装置を意味する。
本明細書において「入力操作」は、反応型映像を再生するコンピュータの入力手段によ
って受信されるユーザの映像に対する操作を意味する。例えば、前記入力操作は、マウス
又はタッチスクリーンのような入力手段を通じて映像内の特定の地点又は領域に入力され
得る操作（例えば、クリック操作、ドラッグ操作、接触タッチ操作、感圧タッチ（Ｆｏｒ
ｃｅ Ｔｏｕｃｈ）操作（即ち、タッチスクリーン又はタッチパッドに特定圧力を加える
タッチ操作））を含むことができる。また、例えば、前記入力操作は、コンピュータ（又
は端末）が備えるセンサ（例えば、加速度センサ、ジャイロセンサなど）を入力手段とし
て獲得され得る端末自体の配置状態又は動きなどを含むことができる。
本明細書において「対象体」は、ユーザにより操作される反応型映像内の物体を意味す
る。例えば、ユーザが手で特定の物体をタッチする動作を撮影した映像である場合、前記
対象体はユーザによりタッチされる物体を意味する。
本明細書において「操作体」は、映像内で対象体に操作又は動き（Ｍｏｔｉｏｎ）を行
うことを意味する。例えば、映像内において手でカバン又は枕をタッチするか、押圧する
場合、操作体はカバン又は枕をタッチする手を意味する。
以下、図面を参照し、本発明の実施形態に係る多次元反応型映像生成装置、多次元反応
型映像生成方法、多次元反応型映像再生方法及びプログラムについて詳細に説明する。
図１は、本発明の一実施形態に係る多次元反応型映像生成方法の順序図である。
図１を参照すれば、本発明の一実施形態に係る多次元反応型映像生成方法は、コンピュ
ータが基礎映像を形成する複数の多次元映像フレームを獲得する段階（Ｓ２００）と、前
記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組
み合わせを生成する段階（Ｓ６００）と、それぞれの細部セルに対応する映像フレームを
マッチさせる段階（Ｓ１０００）とを含む。以下、各段階についての詳細な説明を記述す
る。
コンピュータは、基礎映像を形成する複数の多次元映像フレームを獲得する（Ｓ２００
）。即ち、コンピュータはカメラによって多次元映像フレームを獲得することができ、既
に獲得された１つの映像から複数の映像フレームを抽出することができる。例えば、コン
ピュータは、特定の操作体（例えば、手、棒、空気圧提供装置など）によって特定の対象
体に操作を加える映像を撮影することができる。
前記基礎映像を生成する方式の一実施形態として、コンピュータは操作体を用いて特定
の対象体に特定の操作（例えば、タッチする操作、押圧する操作）を加える映像を複数の
条件のうち何れか１つのみを変更しながら、複数回獲得する。即ち、コンピュータは、対
象体とカメラの位置は固定した状態で操作体の２次元空間上の動き（即ち、Ｘ軸方向の動
きとＹ軸方向の動き）、Ｚ軸方向の動き（即ち、物体を押圧する圧力）のうち何れか１つ
の条件のみを変更しながら、映像撮影を行うことができる。
例えば、押圧する圧力と特定の第１軸（例えば、Ｙ軸）上の位置を固定した状態で第２
軸（例えば、Ｘ軸）に沿って一方向にのみ動く基礎映像を獲得し、第１軸上の位置又は押
圧する圧力を順に変更しながら、基礎映像を継続して獲得する。具体的に、コンピュータ
は、カメラによって対象体を押圧する圧力を固定し、Ｙ軸上の値を固定した状態でＸ軸に
沿って操作体を移動する映像を獲得し、対象体に加えられる圧力とＹ軸上の位置を固定し
た状態でＸ軸方向への移動が完了すると、Ｙ軸上の位置を最小単位だけ変更し、再びＸ軸
方向へ移動を行いながら、基礎映像の獲得を繰り返すことができる。また、第１軸上の位
置を変更しながら第２軸に沿って移動する過程を繰り返した後、コンピュータは、操作体
により対象体に加えられる圧力を変更して２次元空間上を移動させる過程を繰り返すこと
ができる。これにより、コンピュータは、特定の２次元空間の各位置で押圧する強度に符
合する映像フレームをそれぞれ獲得して反応型映像の生成のための最終の基礎映像を生成
することができる。
また、前記基礎映像を生成する方式の他の実施形態として、コンピュータは基礎映像の
生成及び格納時に、コンピュータは、第２軸（例えば、対象体に加えられる圧力と第１軸
（即ち、Ｙ軸）上の位置を固定した状態で第２軸（即ち、Ｘ軸）方向への移動が完了した
後、第１軸（即ち、Ｙ軸）上の位置を調節するために第１軸の初期地点に操作体が再び復
帰する映像を格納せずに削除する。即ち、第１軸方向の位置変更のために第２軸上におい
て反対方向へ移動する過程の映像フレームは反応型映像の生成に不要な映像フレームであ
るので、コンピュータは、操作体の動き方向を判断して映像フレームを獲得する方向と反
対方向に動いた映像フレームを格納せずに削除する。これにより、反応型映像に含まれる
映像フレームの数を減らしてファイルの大きさを縮小することができる。
また、他の実施形態として、コンピュータは、基礎映像の生成及び格納時に復元映像の
みを格納する。コンピュータは、対象体の特定地点の状態が外力が印加された後に外力が
加えられない状態に復元される復元映像のみを格納する。具体的に、コンピュータは、操
作体により圧力が加えられる再生範囲を削除し、前記操作体による外力が加えられた後、
復元される再生範囲（即ち、復元映像）を格納する。コンピュータは、復元される過程の
それぞれの映像フレームを特定地点の深さ情報別の細部セルにそれぞれマッチさせる。こ
れにより、コンピュータは操作体に遮られず、特定地点の表面状態が変わる映像フレーム
を獲得することができる。
更に、他の実施形態として、コンピュータは、操作体が位置して遮られる領域を対象体
のみ存在するフレームを用いてイメージプロセッシング（例えば、操作体に対応する部分
の対象体イメージを切り取って付ける方式）を行って操作体なしに対象体のみ存在する映
像フレームを生成して格納することができる。
また、他の実施形態として、コンピュータは、ユーザの操作類型によって異なる映像フ
レームを提供できるように、操作の類型別に映像フレームを格納する。例えば、ユーザが
反応型映像の特定地点に対して圧力を加えた後、圧力を除去する操作を行う場合、圧力が
加えられる地点以外の対象体領域は変化が発生してはならない。反面、圧力を加えながら
特定方向に操作体が移動する場合、操作体により圧力が既に加えられた後、操作体が通過
した領域が復元される映像フレームを提供しなければならない。従って、コンピュータは
操作の類型（例えば、特定地点に対してタッチ操作、タッチスクリーン上を特定の圧力を
加えながらドラッグする操作）によって異なる映像フレームが提供されるように格納する
。このために、コンピュータは、タッチスクリーン上に入力される操作類型を判断し、順
序通りに提供すべき映像フレームの類型を決定することができる。
その後、コンピュータは、前記基礎映像内に設定領域及び前記設定領域内の特定のフレ
ーム密度を基に反応型生成領域内に３次元のセル組み合わせを生成する（Ｓ６００）。前
記設定領域は、対象体内で操作体により操作が加えられる２次元空間領域である。前記フ
レーム密度は、特定の地点にマッチする複数のフレーム数を意味する。即ち、フレーム密
度は、設定領域に付与される深さ（Ｚ軸方向の深さ）段階の数又は加えられる圧力強度段
階の数に対応する。外力により形状が変形される物体の場合、圧力強度によってＺ軸方向
の深さが変わるので、フレーム密度は、深さ段階と圧力強度段階のうち何れか１つに対応
し得る。
前記フレーム密度は、第１ユーザにより設定されてもよく、コンピュータ（即ち、第１
クライアント）に設定されていてもよい。例えば、コンピュータは、感圧タッチセンサで
検知する圧力強度段階の数を基にフレーム密度を設定することができる。例えば、感圧タ
ッチセンサで検知する圧力強度段階の数が最大フレーム密度で適用され、コンピュータは
、フレーム密度よりも実際に獲得された映像フレーム数が少ない場合、連続する複数の細
部セルに同一の映像フレームがマッチするようにすることができる。
コンピュータは、設定領域の分割された細部単位数とフレーム密度を基に３次元のセル
組み合わせを形成する。セル組み合わせは、Ｘ軸方向に単位間隔でＬ個に分割され、Ｙ軸
方向に単位間隔でＭ個に分割され、Ｚ軸方向にフレーム密度に対応するようにＮ個に分割
されてＬ×Ｍ×Ｎ個の細部セルを含む。それぞれの細部セルは、設定領域内の該当地点と
圧力強度が付与されており、これに符合する映像フレームを格納する位置とマッチする。
即ち、コンピュータは、セル組み合わせを配列で生成し、前記配列内の個別セルに対応す
る映像フレームの格納位置が連結されるようにする。
その後、コンピュータは、それぞれの細部セルに対応する映像フレームをマッチさせて
格納する（Ｓ１０００）。即ち、コンピュータは、基礎映像内の各映像フレームの２次元
空間上の位置と対象体に加えられる圧力又はＺ軸方向の深さを基にそれぞれの細部セルに
個別に格納する。
各細部セルに圧力強度別のフレームをマッチさせる方式は、多様な方式が適用されるこ
とができる。一実施形態として、コンピュータ内に最大強度が設定されており、強度全体
を特定数単位に分割して設定されている場合、コンピュータは、ユーザから圧力数の入力
を受けることによって圧力強度を設定する。また、他の実施形態として、コンピュータは
、基礎映像が再生される過程に入力操作を加えるようにして、各映像フレームに対応する
位置情報及び深さ情報を直ちに決定して細部セルをマッチさせることができる。
また、２次元空間上の位置を決定する方式の一実施形態として、コンピュータは、イメ
ージ認識を通じて入力操作が加えられる２次元空間上の位置を把握し、画面上の該当位置
を画面上の細部セルがマッチする地点として決定する。
更に、他の実施形態として、図２に示すように、コンピュータは、反応型生成領域を特
定数の再生区域に分割するように各映像フレームを分割する分割イメージを生成して各対
応するタッチスクリーン上の地点にマッチさせる。コンピュータは、映像の獲得時には１
つに獲得された映像フレームを反応型生成領域を分割する分割線により複数の分割イメー
ジに分割し、タッチスクリーン上の各地点に個別に分割イメージをマッチさせる。その後
、１つ以上の操作がタッチスクリーン全体上に入力されることによって、コンピュータは
、各再生区域の操作に符合する分割イメージを抽出して結合し、タッチスクリーン上に提
供する。これにより、１つの映像フレームソース（Ｓｏｕｒｃｅ）を基に分割された複数
の領域がマルチプレイするように実現することができ、コンピュータは、ユーザにより複
数の地点に入力操作が入力される場合、複数の地点で反応が生成される反応型映像を生成
することができる。
また、他の実施形態として、図３に示すように、反応型として生成される設定領域を指
定する段階（Ｓ５００）を更に含む。一実施形態として、コンピュータは、基礎映像内で
対象体に外形の変化が生じる領域を含む範囲を設定領域として指定することができる。例
えば、第１ユーザが操作体（例えば、手）を用いて対象体（例えば、パッド）に外力を加
える場合、コンピュータは外力により外形が変わる部分（即ち、パッドが押圧される部分
）のみを第１ユーザにより反応型にしようと意図する領域として判断できる。また、基礎
映像内に対象体のみならず、操作体が共に撮影されて含まれる場合、コンピュータは操作
体の動きは排除し、対象体の外形の変化のみを認識して設定領域を指定することができる
。
更に、前記設定領域を指定する他の実施形態として、コンピュータは、基礎映像内の複
数の映像フレーム内に同一に存在する対象体イメージ自体を抽出し、設定領域として指定
する。即ち、対象体の表面が反応型に生成される領域を含むので、コンピュータは、基礎
映像内に同一に含まれている対象体の範囲全体を設定領域として指定することができる。
また、前記設定領域を指定する他の実施形態として、コンピュータは、操作体（例えば
、手）の動きをトラッキングし、操作体（例えば、手）の移動経路を含む範囲を設定領域
として指定する。即ち、コンピュータは、操作体が動く領域を抽出して設定領域として指
定する。
更に、前記設定領域を指定する他の実施形態として、コンピュータは、第１ユーザから
特定の映像フレームに反応型領域を設定する入力を受信する。例えば、コンピュータは、
画面上に基礎映像内の特定の映像フレームを抽出して提供し、ユーザから設定領域として
指定する対象体の２次元範囲の指定を受けることができる。
基礎映像でカメラ及び対象体の位置が固定されている場合、コンピュータは任意の映像
フレームを提供した後、対象体の領域をタッチ操作を通じて設定を受けることができる。
コンピュータは、特定のフレームに指定された設定領域を全てのフレームに同一に指定で
きる。また、他の例として、カメラ又は対象体の位置が変更される場合、コンピュータは
特定の映像フレーム内に設定領域の指定を受けた後、前記設定領域のイメージに対応する
各映像フレーム内の領域を設定領域として自動的に指定することができる。
また、更に他の実施形態として、図４に示すように、特定強度の圧力が加えられた後、
基礎映像内の変化を認識して該当対象体の復元変数を算出する段階（Ｓ４００）を更に含
む。前記復元変数は、特定の圧力が加えられた後に実際に対象体に圧力が加えられていな
い状態に復元される動きを、タッチスクリーン上でユーザの特定の圧力強度を有する圧力
操作の後に反応型映像が実際と同様に復元されるようにする変数を意味する。コンピュー
タ（即ち、第１クライアント）は復元変数を算出した後、反応型映像に含んで第２クライ
アントに提供し、第２クライアントは後述するように反応型映像の映像フレーム再生時に
復元変数を反映することができる。即ち、第２クライアントは、復元変数を反映して反応
型映像を再生することによって、実際に対象体の外形が復元される形態と類似するように
表現できる。第２クライアントは、復元変数を適用してタッチスクリーン上に圧力が加え
られることによって、圧力の変化によって順次、映像フレームが変更され、実際に対象体
の動きと同一に外形が復元されるように映像フレームを再生する。
前記復元変数を算出する方式の一実施形態として、コンピュータは、基礎映像の生成時
に操作体により対象体に圧力を加えた後、復元される複数の映像フレームを獲得し、映像
フレーム内の対象体の時間当り変化を基に復元変数を算出する。
また、復元変数を算出する他の実施形態として、特定の圧力で反応型生成領域において
操作体により特定の圧力が加えられながら基礎映像に含まれる複数の映像フレームを獲得
する過程で、コンピュータは、対象体上で操作体が移動した領域（例えば、手で対象体に
圧力を加えた状態で移動する場合に手が通過した領域）での対象体の変化を分析して復元
変数を算出する。これにより、ユーザは、復元変数を算出するために対象体に対して操作
体を用いて圧力を加える過程を行わなくてもよいので、簡便に現実感あふれる反応型映像
を生成できる。
更に、他の実施形態として、コンピュータが撮影された対象体の種類又は操作体の動き
をイメージ学習を通じて把握し、対象体の特性に符合する復元変数を決定する。コンピュ
ータがイメージを学習する方式の例として、コンピュータは、機械学習アルゴリズムを用
いて対象体の種類又は操作体の動きを学習することができる。前記機械学習アルゴリズム
は、ディープニューラルネットワークを基に学習を行うディープランニングアルゴリズム
を含む。
例えば、コンピュータは、ビッグデータとして構築されるか、クローリングを通じて獲
得されたイメージを基に基礎映像内に含まれている対象体を把握できる。また、例えば、
コンピュータは、多数の動画に含まれている操作体の動き（例えば、手の動き）映像を累
積して学習を行い、基礎映像内の操作体の動きに対応する複数のフレームを基に操作体に
より行われる動きが如何なる行動又は操作であるかを判断する。
図５は、本発明の一実施形態に係る多次元反応型映像再生方法の順序図である。
図５を参照すれば、本発明の他の実施形態に係る多次元反応型映像再生方法は、第２ク
ライアントは、第２ユーザから対象体に対する入力操作を受信する段階（Ｓ１２００）及
び前記入力操作を基に、前記第２クライアントが前記反応型映像内の映像フレームを順次
提供する段階（Ｓ１４００）を含む。以下、各段階についての詳細な説明を記載する。
第２クライアントが第２ユーザから対象体に対する入力操作を受信する（Ｓ１２００）
。即ち、第２クライアントは、第２ユーザによる入力操作に対応する細部セルの条件を獲
得する。第２クライアントは、第２ユーザの入力操作を通じて画面上の位置（即ち、ユー
ザの入力操作が加えられる地点のＸ座標及びＹ座標）情報と深さ情報（即ち、加えられる
圧力データ又は画面に接触する時間長）を獲得する。
第２ユーザにより連続する入力操作が加えられると、第２クライアントは単位時間間隔
で位置情報及び深さ情報を獲得する。例えば、特定の軸方向（例えば、Ｘ軸方向又はＹ軸
方向）に沿って動く場合、第２クライアントは単位時間間隔ごとに変更された位置情報及
び深さ情報を獲得する。また、例えば、第２ユーザから対角線方向に圧力強度が変更され
ながら移動する入力操作を受信する場合、第２クライアントは変更される位置情報と深さ
情報を順次獲得する。
前記入力操作を基に、前記第２クライアントは、前記反応型映像内の映像フレームを順
次抽出又は提供する（Ｓ１４００）。前記入力操作の位置情報及び深さ情報が変更される
ことによって、コンピュータが、変更された位置情報及び深さ情報に対応する細部セルに
マッチした映像フレームを抽出して連続的に提供する。
図６に示すように、入力操作の圧力強度又は接触時間の長さを増加させながら、Ａ地点
、Ｂ地点、Ｃ地点に入力操作を移動する場合、第２クライアントは入力操作が加えられる
位置（例えば、指が接触した位置）の複数の細部セルの中から加えられた圧力強度又は接
触時間の長さに対応する細部セルを探索し、細部セルにマッチした映像フレームを抽出す
る。
具体的に、第２クライアントは、Ａ地点では圧力が加えられずに接触することによって
０レベルの細部セルを選択し、Ｂ地点では圧力強度を基に１レベルの細部セルを選択し、
Ｃ地点では圧力強度を基に４レベルの細部セルを選択する。第２クライアントは、Ａ地点
からＣ地点へ移動しながら選択された各細部セルにマッチした映像フレームを順次提供す
る。
一実施形態として、コンピュータである第２クライアントは、サービスサーバからそれ
ぞれの映像フレームを受信して再生することができる。例えば、第２クライアントは、サ
ービスサーバに画面上の位置（例えば、第２ユーザの入力操作が加えられた画面上のピク
セル位置）と圧力センサにより測定された圧力強度又は画面に接触した時間長を伝送し、
サービスサーバはこれを基にセル組み合わせ内の特定の細部セルを探索してこれにマッチ
した映像フレームを第２クライアントに提供する。第２クライアントは、サービスサーバ
から受信した映像フレームを画面上に抽出する。サービスサーバとクライアント間の通信
による遅延（Ｄｅｌａｙ）が短い場合、第２クライアントに第２ユーザの入力操作が入力
された後、短時間後に入力操作の位置情報及び深さ情報（即ち、圧力強度又は接触時間長
）に対応する映像フレームを表示できるので、第２ユーザの操作に直ちに反応するかのよ
うに映像を実現できる。
また、他の実施形態として、第２クライアントは、サービスサーバ又は第１クライアン
トから反応型映像のセル組み合わせ全体を受信した後、各時点の入力操作による位置情報
と深さ情報（即ち、加えられた圧力強度又は時間長）を基にセル組み合わせ内の特定の細
部セルを探索してこれにマッチした映像フレームを抽出して画面上に表示する。
これにより、第２クライアントは、ユーザによる入力操作の動き別に再生される映像を
別途に備える必要なく、それぞれの入力操作の条件（即ち、位置情報及び深さ情報）によ
る映像フレームをデータベースとして生成しておくことによって、第２ユーザの入力操作
に対応する多様な対象体の動き（Ｍｏｔｉｏｎ）を実現できる。
また、他の実施形態として、第２クライアントは、入力操作の加圧方式によって順次再
生されるフレームを抽出する細部セルが異なるように決定されることができる。
更に、本発明の他の実施形態は、隣接する領域に連続的な操作が入力される場合、第２
クライアントがタッチスクリーン（即ち、画面）上の特定地点に対応する複数の映像フレ
ームを基にモーフィング（Ｍｏｒｐｈｉｎｇ）を行って最終の再生映像フレームを生成す
る段階（Ｓ１３００）を更に含む。例えば、コンピュータがユーザにより特定の圧力が加
えられ、第１軸方向及び第２軸方向に対象体を操作しながら獲得した映像フレームを基礎
映像として格納する場合、コンピュータは、複数の映像フレームを基に特定時点でタッチ
操作が入力される地点以外の領域に対してはモーフィングを行った映像フレームを生成す
る。これにより、ユーザの操作時に自然に変化する反応型映像を生成することができる。
具体的に、第２クライアントは、第１時点に提供された映像フレームと指の位置と圧力
強度が変わることによって第２時点（第１時点から特定時間が経過した時点）に提供され
た映像フレームを基にモーフィングを行う。即ち、第２クライアントは、現在の入力操作
に符合する細部セルの映像フレームと以前に提供された１つ以上の映像フレームを用いて
モーフィングを行う。例えば、第２クライアントは、同一地点に第１時点の映像フレーム
と第２時点の映像フレームの平均値を適用して最終の再生映像フレームを生成できる。
これにより、入力操作に符合する細部セル内の映像フレームが第２ユーザの行う動きに
符合しなくても補正を通じて動きに符合する最終の再生映像フレームを生成できる。即ち
、第２ユーザが提供する動きに合う映像を提供することによって現実感を提供でき、全て
の動きに対する映像フレームを格納する必要なく、基本映像フレームのみを各細部セルに
マッチさせて格納した状態で多様な映像フレームを生成できるため、格納空間を節約でき
る。
また、第２クライアントは、第２ユーザにより入力操作が入力される地点から予め定め
られた範囲内のイメージ領域を共に変形させることができる。即ち、特定地点に圧力が加
えられることによって周辺領域にも変形が生じるので、第２クライアントは周辺領域の補
正を共に行う。
第２クライアントは、設定された入力操作が加えられた地点から設定された周辺領域の
最終部分まで連続的に変わるものと表現されるように補正できる。例えば、入力操作が加
えられた地点の色値と周辺領域の最終の色値を基に順次、色が変わるように補正を行う。
このとき、第２クライアントは、入力操作が加えられない基本状態の映像フレームを共に
活用できる。
第２クライアントは、入力操作の圧力強度に従って補正される周辺領域の範囲を異なる
ように決定できる。例えば、入力操作が加えられる対象体がクッションである場合、強い
圧力が加えられるほど表面の変形が発生する領域が広くなるので、第２クライアントは、
反応型映像の再生時に現実感を提供するために圧力強度に従って変形範囲を決定する。
また、他の実施形態として、第２クライアントが反応型映像から復元変数を抽出して映
像フレームの変化を調節する段階（Ｓ１５００）を更に含む。即ち、第２クライアントは
、反応型映像に共に含まれて提供される復元変数を基に入力操作が加えられた後、映像フ
レームが変更される速度を調節する。これにより、実際に対象体を操作する時と同様に映
像を再生できる。
更に、他の実施形態として、第２クライアントが反応型映像を実行した特定時点からの
時間経過を算出し、対象体に対する入力操作による映像フレームの変化を調節する段階（
Ｓ１６００）を更に含む。これにより、現実において時間の経過に伴い、状態変化が生じ
て圧力による変形の程度が変わる対象体（例えば、果物、パン、セメントなど）の特性を
反応型映像でも現実と同様に状態変化を実現でき、ユーザは時間の変化に伴う物体の硬度
変化を反応型映像を通じて感じることができる。例えば、第２クライアントは、反応型映
像内でパンが時間の経過に伴って硬くなり、軟らかさが減少すること、セメントや粘土な
どが時間の経過に伴って硬くなることを、対象体の変形が少ない映像フレームを圧力によ
って提供される最後のフレームに変更するか、映像フレームの変化速度を調節して実現す
ることができる。
本発明の他の実施形態に係る多次元反応型映像生成装置は、制御部を含む。前記制御部
は、本発明の実施形態に係る多次元反応型映像生成方法を行う。
また、多次元反応型映像生成装置の他の実施形態は、基礎映像を撮影する映像撮影部（
即ち、カメラ）を含む。
以上で前述した本発明の実施形態に係る多次元反応型映像生成方法及び再生方法は、ハ
ードウェアであるコンピュータと結合されて実行されるためにプログラム（又はアプリケ
ーション）で実現して媒体に格納されることができる。
前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現
した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コン
ピュータの装置インターフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ（登録商標）
、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができ
る。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連
する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を
前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順と関連
する制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピ
ュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの
内部又は外部メモリのどの位置（アドレス）で参照されなければならないかに対するメモ
リ参照関連コードを更に含むことができる。また、前記コンピュータのプロセッサが前記
機能を実行させるために遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバな
どと通信が必要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある
任意の他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報
やメディアを送受信すべきかなどに対する通信関連コードを更に含むことができる。
前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短時間にデータを
格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎ
ｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、Ｒ
ＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げら
れるが、これに限定されない。即ち、前記プログラムは、前記コンピュータが接続できる
多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格
納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシス
テムに分散されて分散方式でコンピュータが読み取れるコードが格納されることができる
。
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野
における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他
の具体的な形態で実施され得るということが理解できるはずである。従って、以上で記述
した実施形態は、全ての面で例示的なものであり、制限的ではないものとして理解すべき
である。

Claims (11)

  1. コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得し、前記基礎映像
    は、対象体に操作体で操作を加える映像である多次元映像フレーム獲得段階と、
    コンピュータが前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を
    基に３次元のセル組み合わせを生成し、前記３次元のセル組み合わせは、異なる深さ情報
    及び位置情報が付与された複数の細部セルを含むセル組み合わせ生成段階と、
    コンピュータが前記基礎映像に含まれているそれぞれの映像フレームを、対応する前記
    細部セルにマッチさせる段階とを含み、
    前記深さ情報は、反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられ
    る時間長に関する情報であり、
    前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関
    する情報であり、
    前記設定領域は、対象体内で前記反応型映像として生成される２次元空間領域であり、
    前記フレーム密度は、前記基礎映像内の特定地点に適用される前記深さ情報段階の数で
    ある、多次元反応型映像生成方法。
  2. 前記多次元映像フレームは、
    操作体を用いて特定の対象体に操作が加えられる位置と圧力強度を変更しながら反復的
    に獲得されることを特徴とする請求項１に記載の多次元反応型映像生成方法。
  3. 前記多次元映像フレーム獲得段階は、
    操作体で対象体に入力操作を加える映像全体から入力操作が加えられた後に復元される
    復元映像を抽出し、前記復元映像内の複数の映像フレームを獲得することを特徴とする請
    求項１に記載の多次元反応型映像生成方法。
  4. 前記反応型映像として生成される前記設定領域を指定する段階を更に含むことを特徴と
    する請求項１に記載の多次元反応型映像生成方法。
  5. 特定強度の圧力が加えられた後、基礎映像内の変化を認識して前記対象体の復元変数を
    算出する段階を更に含むことを特徴とする請求項１に記載の多次元反応型映像生成方法。
  6. ハードウェアであるコンピュータと結合され、請求項１〜５の何れか一項に記載の方法
    を実行させるために媒体に格納された多次元反応型映像生成プログラム。
  7. コンピュータがユーザから対象体に対する入力操作を受信する段階と、
    各再生時点で受信した前記入力操作の位置情報及び深さ情報に従って、前記コンピュー
    タが反応型映像から位置情報及び深さ情報に対応する細部セルにマッチした映像フレーム
    を抽出する段階とを含み、
    前記深さ情報は、前記反応型映像に加えられる入力操作の圧力強度又は入力操作が加え
    られる時間長に関する情報であり、
    前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関
    する情報であり、
    前記細部セルは、前記入力操作の位置情報及び深さ情報に対応する特定の映像フレーム
    がマッチしたものであって、反応型映像内の３次元のセル組み合わせを構成する、多次元
    反応型映像再生方法。
  8. 隣接する領域に連続的な入力操作が入力される場合、
    コンピュータが画面上の特定地点に対応する深さ情報が異なる複数の映像フレームの組
    み合わせ又は以前の時点に提供された映像フレームと現在の入力操作に対応する細部セル
    内の映像フレームの組み合わせを基にモーフィングを行って最終の再生映像フレームを生
    成する段階を更に含むことを特徴とする請求項７に記載の多次元反応型映像再生方法。
  9. コンピュータが前記反応型映像から復元変数を抽出して映像フレームの変化速度を調節
    する段階を更に含むことを特徴とする請求項７に記載の多次元反応型映像再生方法。
  10. コンピュータが反応型映像を実行した特定時点からの時間経過を算出し、対象体に対す
    る入力操作による映像フレームの変化を調節する段階を更に含むことを特徴とする請求項
    ７に記載の多次元反応型映像再生方法。
  11. ハードウェアであるコンピュータと結合され、請求項７〜１０の何れか一項に記載の方
    法を実行させるために媒体に格納された反応型映像生成プログラム。



JP2021088851A 2016-09-07 2021-05-27 多次元反応型映像提供方法及びコンピュータ装置。 Active JP7258950B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023061258A JP7483979B2 (ja) 2016-09-07 2023-04-05 多次元反応型映像を再生する方法及び装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2016-0115235 2016-09-07
KR20160115235 2016-09-07
KR10-2017-0114671 2017-09-07
JP2019513893A JP6892498B2 (ja) 2016-09-07 2017-09-07 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム
KR1020170114671A KR102051981B1 (ko) 2016-09-07 2017-09-07 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019513893A Division JP6892498B2 (ja) 2016-09-07 2017-09-07 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023061258A Division JP7483979B2 (ja) 2016-09-07 2023-04-05 多次元反応型映像を再生する方法及び装置

Publications (2)

Publication Number Publication Date
JP2021129317A true JP2021129317A (ja) 2021-09-02
JP7258950B2 JP7258950B2 (ja) 2023-04-17

Family

ID=61660054

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019513893A Active JP6892498B2 (ja) 2016-09-07 2017-09-07 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム
JP2021088851A Active JP7258950B2 (ja) 2016-09-07 2021-05-27 多次元反応型映像提供方法及びコンピュータ装置。
JP2023061258A Active JP7483979B2 (ja) 2016-09-07 2023-04-05 多次元反応型映像を再生する方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019513893A Active JP6892498B2 (ja) 2016-09-07 2017-09-07 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023061258A Active JP7483979B2 (ja) 2016-09-07 2023-04-05 多次元反応型映像を再生する方法及び装置

Country Status (3)

Country Link
US (3) US11003264B2 (ja)
JP (3) JP6892498B2 (ja)
KR (3) KR102051981B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090009B1 (ko) * 2018-08-07 2020-03-17 클릭트 주식회사 3차원 영상 콘텐츠를 제공하는 방법 및 프로그램
WO2024076206A1 (ko) * 2022-10-07 2024-04-11 이철우 조작패턴 기반 반응형 영상 재생 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182717A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 情報処理装置、情報処理システム及びプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371428B1 (ko) 1995-03-28 2003-04-08 마츠시타 덴끼 산교 가부시키가이샤 화상기록장치및화상재생장치
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP3735358B2 (ja) 2003-09-12 2006-01-18 コナミ株式会社 ビデオゲームプログラム、ビデオゲーム装置及びビデオゲーム方法
JP2005216248A (ja) * 2004-02-02 2005-08-11 Tokyo Univ Of Science 物理的接触に応じた形状変形表示装置
CN101253466A (zh) 2004-08-02 2008-08-27 皇家飞利浦电子股份有限公司 能够建模虚拟对象的系统和方法
US7594177B2 (en) 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
KR101317204B1 (ko) * 2006-11-27 2013-10-10 삼성전자주식회사 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치
JP2012113387A (ja) * 2010-11-22 2012-06-14 Sharp Corp 電子機器、表示制御方法、およびプログラム
KR101804848B1 (ko) * 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US8630454B1 (en) 2011-05-31 2014-01-14 Google Inc. Method and system for motion detection in an image
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5613126B2 (ja) * 2011-09-09 2014-10-22 Kddi株式会社 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
WO2013086601A1 (en) * 2011-12-12 2013-06-20 The University Of British Columbia System and method for determining a depth map sequence for a two-dimensional video sequence
KR101410410B1 (ko) 2011-12-21 2014-06-27 주식회사 케이티 체감형 학습 장치 및 방법
CN103971082A (zh) 2013-01-31 2014-08-06 威联通科技股份有限公司 基于区域转换的视频对象检测系统及相关方法
US10549180B2 (en) 2013-09-30 2020-02-04 Zynga Inc. Swipe-direction gesture control for video games using glass input devices
CN104063280B (zh) * 2014-06-25 2017-09-12 华为技术有限公司 一种智能终端的控制方法
KR101608145B1 (ko) 2014-08-11 2016-04-01 서장원 터치입력에 반응하는 3d 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법
KR101582296B1 (ko) 2015-06-26 2016-01-04 주식회사 레드덕 모바일 게임을 위한 자동 조준 시스템 및 방법
KR101750060B1 (ko) * 2015-08-13 2017-06-22 이철우 반응형 영상 생성방법 및 생성프로그램
WO2017026834A1 (ko) 2015-08-13 2017-02-16 이철우 반응형 영상 생성방법 및 생성프로그램
WO2018048227A1 (ko) 2016-09-07 2018-03-15 이철우 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182717A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 情報処理装置、情報処理システム及びプログラム

Also Published As

Publication number Publication date
KR102051981B1 (ko) 2019-12-04
US20190204946A1 (en) 2019-07-04
JP6892498B2 (ja) 2021-06-23
JP2023098937A (ja) 2023-07-11
JP7483979B2 (ja) 2024-05-15
KR20180028046A (ko) 2018-03-15
KR102390930B1 (ko) 2022-04-26
US20220269360A1 (en) 2022-08-25
US20200293127A1 (en) 2020-09-17
US11003264B2 (en) 2021-05-11
JP2019535064A (ja) 2019-12-05
KR20200001574A (ko) 2020-01-06
JP7258950B2 (ja) 2023-04-17
US11360588B2 (en) 2022-06-14
KR20220054570A (ko) 2022-05-03

Similar Documents

Publication Publication Date Title
JP7457082B2 (ja) 反応型映像生成方法及び生成プログラム
CN111652121B (zh) 一种表情迁移模型的训练方法、表情迁移的方法及装置
US10331222B2 (en) Gesture recognition techniques
JP7483979B2 (ja) 多次元反応型映像を再生する方法及び装置
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
KR102363554B1 (ko) 다중 반응형영상 제작방법, 다중 반응형영상 메타데이터 생성방법, 인간 행동을 이해하기 위한 상호 작용 데이터 분석 방법 및 이를 이용한 프로그램
KR20180039321A (ko) 반응형영상 제작방법, 반응형영상 생성파일 제작방법, 반응형영상 기반의 광고효과 분석방법 및 이를 이용한 프로그램
WO2018048227A1 (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
Liu et al. COMTIS: Customizable touchless interaction system for large screen visualization
JP7323871B2 (ja) 多重反応型映像制作方法、多重反応型映像メタデータ生成方法、人間の行動を理解するための相互作用データ分析方法及びこれを用いたプログラム
CN113873162A (zh) 拍摄方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230405

R150 Certificate of patent or registration of utility model

Ref document number: 7258950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350