JP2014529233A - ビデオシミュレーション画像のための通信方法及びデバイス - Google Patents
ビデオシミュレーション画像のための通信方法及びデバイス Download PDFInfo
- Publication number
- JP2014529233A JP2014529233A JP2014526383A JP2014526383A JP2014529233A JP 2014529233 A JP2014529233 A JP 2014529233A JP 2014526383 A JP2014526383 A JP 2014526383A JP 2014526383 A JP2014526383 A JP 2014526383A JP 2014529233 A JP2014529233 A JP 2014529233A
- Authority
- JP
- Japan
- Prior art keywords
- data
- cartoon
- video
- sender
- receiver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004891 communication Methods 0.000 title claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000009877 rendering Methods 0.000 abstract 3
- 238000013480 data collection Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 210000000697 sensory organ Anatomy 0.000 description 5
- 230000006872 improvement Effects 0.000 description 3
- 230000035900 sweating Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Abstract
開示されるのは、ビデオシミュレーション画像のための通信方法及びデバイスである。方法は、送信者が、ビデオデータを収集し、取得したビデオデータを画像認識アルゴリズムを通じてベクトルデータに変換し、ベクトルデータを受信者に伝送するステップと、受信者が、カートゥーン描画モデルを呼び出し、受信したベクトルデータ及びカートゥーン描画モデルに従って対応するカートゥーンビデオシミュレーション画像を描画するステップを備える。デバイスは、ローカルビデオデータを取得するために使用されるビデオデータ収集モジュールと、収集したビデオデータを画像認識アルゴリズムを通じてベクトルデータに変換するために使用される識別及び変換モジュールと、ベクトルデータを受信者に送信するために使用される送信モジュールと、送信者からデータを受信するために使用される受信モジュールと、カートゥーン描画モデルを呼び出して、受信したベクトルデータ及びカートゥーン描画モデルに従って対応するカートゥーンビデオシミュレーション画像を描画するために使用される相手側ビデオシミュレーションモジュールとを備える。本発明を使用することにより、ネットワーク内で伝送されるデータの量が低減されうるので、ネットワーク帯域幅リソースが節約される。【選択図】 図７
Description
[0001]本開示は、ネットワーク通信技術の分野に関し、特に、シミュレーション画像付きビデオを通信するための方法及びデバイスに関する。
[0002]インターネット技術の発展に伴って、インターネットを基にした多種多様な通信ツールが開発されている。テキストベースの簡単なインスタントメッセンジャーのようなそれらの通信ツール、音声通信ツール、及びビデオ通信ツールも、我々の日常生活及び仕事に幅広く適用されてきた。
[0003]実際に、ビデオ通信ツールは、Ｗｅｂページ又はクライアント技術を採用して、カメラのようなビデオキャプチャツールによりチャット通信の視覚化を実現する。通信の二者は、データ処理デバイス（たとえば、コンピュータ、スマートフォンなど）に取り付けられたカメラによって各自のビデオ画像を記録し、それらのビデオ画像をチャットツールによってリアルタイム又は非リアルタイムで相互に伝送する。このようにして、非常に活気にあふれたチャットの視覚化が実現されうる。したがって、ますます多くのインターネットユーザが、ビデオチャットツールを好むようになっている。
[0004]図１は、既存のビデオチャット技術においてビデオデータを処理及び伝送するための標準的な方法を示す概略図である。図１に示されるように、送信者及び受信者は、通信の二者のデータ処理デバイスにインストールされているビデオチャットツールを示す。ビデオ通信ツールは、カメラのようなローカルビデオキャプチャツールに接続される必要がある。送信者のビデオチャット通信ツールは、ローカルカメラによって記録されたビデオデータを取得し、ビデオデータを圧縮して符号化し、データをビデオビットマップデータに変換して、ネットワークを介してビットマップデータを受信者に伝送することができる。ビットマップはまた、ラスタ画像又はグラフィックス画像とも称され、ピクセル（画像要素）と呼ばれる点を含む。それらの点は、パターンを形成するようにさまざまな方法で配列され彩色されてもよい。ビデオビットマップデータを受信した後、受信者のビデオチャットツールは、ビデオビットマップデータを復号して圧縮解除し、処理されたデータをローカル表示インターフェイスで表示し、そうしてビデオデータ伝送が実現される。図１は、一方向にビデオ画像を伝送するプロセスのみを示すものであり、逆方向のプロセスは同じである。このようにして、二者間のビデオの対話は、ビデオチャットツールによって実現されてもよい。
[0005]ビデオチャット技術は、ユーザのプライバシー及び画像の漏洩、又はユーザのビデオチャットプロファイルピクチャの盗用、及びハッカーによるユーザへの脅迫メールのような、何らかのセキュリティ上のリスクを伴う。ビデオチャットのリスクを低減して、ビデオチャットを活気あるものに保つために、ビデオチャットにおいてカートゥーン画像付きビデオの人物画像をシミュレートするためのビデオシミュレーション画像通信技術が提示される。図２は、ビデオチャットにおいてカートゥーン画像として人物画像をシミュレートする既存の概略図である。図２に示される技術は、図１に示されるような従来のビデオ通信技術の改良から派生したものであり、カメラによって記録されたビデオデータを送信者のビデオチャット通信ツールにより取得することと、ビデオデータをフィルタリングし、ビデオの記録された人物画像をシミュレートして描画して、ビデオの対応するカートゥーンシミュレーション画像、すなわちシミュレートされたカートゥーン画像付きビデオを得ることと、カートゥーン画像付きビデオデータを圧縮して符号化し、ビデオビットマップデータを生成することと、ビットマップデータを受信者に伝送することとを含む。カートゥーン画像付きビデオデータを受信した後、受信者のビデオチャットツールは、それに対応してカートゥーン画像付きビデオデータを復号して圧縮解除し、最終的に処理済みのビデオデータはローカル表示インターフェイスで表示されてもよい。
[0006]図２に示される既存の技術には一部欠点がある。
[0007]既存の技術は、図１に示されている、描画されたビデオデータが符号化されて従来のビデオ圧縮技術により通信の相手側に伝送される、従来のビデオチャット技術の簡単な改良に過ぎない。この符号化方式の目的は、リアルビデオデータであって、ネットワークで伝送されるデータはビデオビットマップデータであり、そのデータサイズは大きい。したがって、データを伝送することにより占有されるネットワークトラフィックは膨大なものになりうるので、限られたネットワーク帯域幅リソースでビデオ再生は円滑に行なわれない可能性もある。
[0008]以上のことを考慮して、本開示の主要な目的は、ネットワーク内で伝送されるデータボリュームを低減して帯域幅コストを節約するために、ビデオのシミュレーション画像を通信するための方法及びデバイスを提供することである。
[0009]本開示の解決策は、以下の方法及びデバイスによって実施される。
[0010]シミュレーション画像付きビデオを通信するための方法は、
送信者により、ビデオデータを取得し、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換して、ベクトルデータを受信者に送信するステップと、
受信者により、カートゥーン描画モデルを呼び出し、受信したベクトルデータを、カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付きビデオに描画するステップとを含む。
送信者により、ビデオデータを取得し、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換して、ベクトルデータを受信者に送信するステップと、
受信者により、カートゥーン描画モデルを呼び出し、受信したベクトルデータを、カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付きビデオに描画するステップとを含む。
[0011]シミュレーション画像付きビデオを通信するためのデバイスは、
ローカルビデオデータを取得するように構成されるビデオデータ取得モジュールと、
取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換するように構成される識別及び変換モジュールと、
ベクトルデータを受信者に送信するように構成される送信モジュールと、
送信者から送信されたデータを受信するように構成される受信モジュールと、
カートゥーン描画モデルを呼び出して、受信したベクトルデータを、カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付きビデオに描画するように構成される相手側ビデオシミュレーションモジュールとを含む。
ローカルビデオデータを取得するように構成されるビデオデータ取得モジュールと、
取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換するように構成される識別及び変換モジュールと、
ベクトルデータを受信者に送信するように構成される送信モジュールと、
送信者から送信されたデータを受信するように構成される受信モジュールと、
カートゥーン描画モデルを呼び出して、受信したベクトルデータを、カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付きビデオに描画するように構成される相手側ビデオシミュレーションモジュールとを含む。
[0012]命令セットを格納するように構成されるコンピュータ可読媒体であって、コンピュータは、命令セットが実行されるとき、シミュレーション画像付きビデオを通信するための方法を実行することができる。
[0013]既存の技術と比較すると、本開示において、送信者は、ビデオデータを取得し、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換して、ベクトルデータを受信者に送信することができる。受信者は、ベクトルデータを描画することができる。描画されたカートゥーンシミュレーション画像の基本データは、すべてカートゥーン描画モデルで設定されているので、受信者は、カートゥーン描画モデルを読み込んで、受信したベクトルデータを対応するカートゥーン画像で描画することができる。本開示において、ビットマップではなく、小さいデータサイズのベクトルデータがネットワーク内で伝送されるので、ネットワーク内で伝送されるデータボリュームが低減され、帯域幅リソースが節約されうる。
[0021]本開示は、図面及び実施形態と併せて後段のようにさらに指定されてもよい。
[0022]図３は、本開示によるシミュレーション画像付きビデオを通信するための方法の流れ図であり、一方向の本開示によるシミュレーション画像付きビデオの通信のプロセスを示す。つまり、図３は、Ａを送信者、Ｂを受信者として、二者の間のビデオ通信においてユーザＡの画像をユーザＢに伝送するプロセスを示す。Ｂを送信者、Ａを受信者として、ユーザＢの画像をユーザＡに伝送するプロセスは、同じ方法で実施されてもよい。加えて、技術的解決策は、複数のユーザ間のビデオ通信にさらに適用されてもよく、特定の通信者が送信者と見なされてもよく、その他の通信者が受信者と見なされてもよい。関連するプロセスは、以下のように指定されてもよい。
[0023]図３に示されるように、本開示による方法は、送信者により、ビデオデータを取得し、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換して、ベクトルデータを受信者に送信するステップと、受信者により、カートゥーン描画モデルを呼び出し、受信したベクトルデータを、カートゥーン描画モデルによって対応するカートゥーンシミュレーション画像（本明細書において、カートゥーン画像と略される）付きビデオに描画するステップとを含む。
[0024]これに対して、本開示により、シミュレーション画像付きビデオを通信するためのデバイスが提供され、デバイスは本開示によって提供される方法を実施するように構成される。図４は、本開示によるシミュレーション画像付きビデオを通信するためのデバイスを示す構造図である。図４に示されるように、デバイスは、ユーザ端末にインストールされたビデオ通信ツールであり、通信の二者は、ビデオ通信ツールによって本開示による方法を実施して、本開示によって提供されるカートゥーンシミュレーション画像によるビデオ通信を実現することができる。デバイスは、ビデオデータ取得モジュール４０１と、識別及び変換モジュール４０２と、送信モジュール４０３と、受信モジュール４０４と、相手側ビデオシミュレーションモジュール４０５とを含む。
[0025]ビデオデータ取得モジュール４０１は、ローカルビデオデータを取得するように構成される。
[0026]識別及び変換モジュール４０２は、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換するように構成される。
[0027]送信モジュール４０３は、ベクトルデータを受信者に送信するように構成される。
[0028]受信モジュール４０４は、送信者から送信されたデータを受信するように構成される。
[0029]相手側ビデオシミュレーションモジュール４０５は、カートゥーン描画モジュールを呼び出して、受信したベクトルデータを、カートゥーン描画モデルによって対応するカートゥーンシミュレーション画像付きビデオに描画し、カートゥーンシミュレーション画像付き描画ビデオを出力及び表示するように構成される。
[0030]この明細書において、明示的な記述がない限り、送信者とは、送信者のビデオシミュレーション画像通信デバイスを示すことができ、受信者とは、受信者のビデオシミュレーション画像通信デバイスを示すことができる。
[0031]本開示による方法において、カートゥーン描画モデルデータは事前設定される必要があり、受信者によってカートゥーン画像を取得するためにビデオデータを描画する基本データは、すべてカートゥーン描画モデルデータで設定することができる。カートゥーン描画モデルデータは、基本人物モデルデータを含むことができ、カートゥーンエフェクトデータなどをさらに含むことができる。基本人物モデルデータは、カートゥーン人物画像の顔、髪型、及び五感器官のモデルデータ、服装のモデルデータ、メガネのようなアクセサリーのモデルデータなどを含む。各基本人物モデルデータは、呼び出し識別子情報を有する。モデルデータの呼び出し識別子が選択されると、モデルデータに従って対応する画像を取得するために描画が行なわれる。顔（顔識別子）、五感器官の特徴（五感器官の識別子）、髪型（髪型識別子）、服装（服装識別子）、メガネをかけているかどうか及びメガネの型（メガネ識別子）のような、選択された呼び出し識別子情報は、画像認識アルゴリズムで送信者によって識別され取得されてもよい。カートゥーンエフェクトデータは、カートゥーン人物画像のエフェクトをさらに高めて豊かにするための代替であってもよい。カートゥーンエフェクトデータは、喜び、恥ずかしさ、発汗などのカートゥーンエフェクトデータのような、表現及び動作のカートゥーンエフェクトデータを含むことができるか、又は事前定義されているアニメーションなどであってもよい。各カートゥーンエフェクトは、送信者から送信される対応する呼び出し命令データを有する。
[0032]カートゥーン描画モデルデータは、受信者においてローカルに事前格納されてもよいか、又は特定のサーバにおいて事前格納されてもよく、受信者はそのストレージアドレスを通知されてもよい。ベクトルデータを受信した後、受信者は、特定のサーバからカートゥーン描画モデルデータをダウンロードすることができる。
[0033]図３に示されるように、送信者は、送信者端末の、カメラのようなビデオキャプチャデバイスと通信して、カメラによって記録されたビデオデータを取得することができる。ビデオチャットにおいて、送信者によって記録されたビデオデータは概して、送信者のユーザによる人物画像ビデオであり、ユーザの風貌（髪型、顔、服装などを含む）、表情、頭及び身体の動きを含むことができる。次いで、取得したビデオデータは、ベクトルデータを取得するために画像認識アルゴリズムで処理されてもよい。画像認識アルゴリズムは、既存の技術を採用することができ、１）中間調レベル正規化のような、画像前処理、２）顔検出及び位置決め、３）人物特徴抽出、並びに４）顔認識を含むことができる。画像データのベクトルデータは、画像認識アルゴリズムでビデオデータを処理することによって得られてもよい。ベクトルデータのデータサイズは、ビットマップデータのサイズよりもはるかに小さいので、帯域幅コストが低減されうる。
[0034]ベクトルデータは、基本人物データ及び人物バリエーションデータを含む。基本人物データは、カートゥーン描画モデルから、顔（顔識別子）、五感器官の特徴（五感器官の識別子）、髪型（髪型識別子）、服装（服装識別子）、メガネをかけているかどうか及びメガネの型（メガネ識別子）のような基本人物モデルを選択するように構成される。基本人物データは、カートゥーン描画モデルにおける基本人物モデルの呼び出し識別子である。受信者は、それらの基本人物データの呼び出し識別子に従ってカートゥーン描画モデルの対応する基本人物モデルデータを読み込み、それにより描画を行なってビデオのカートゥーンシミュレーション画像の基本人物画像を取得することができる。描画処理は、既存のアニメーション描画技術を採用することができ、１）モデルデータを読み込みロードすること、２）基本人物データ及びロードしたモデルデータに従って、描画モデル式から描画されるべきオブジェクトの人物情報を計算すること、３）カートゥーン画像を描くことを含むことができる。
[0035]人物バリエーションデータは、（たとえば、レベル１〜３で指示される）目の開閉の範囲、（たとえば、レベル１〜１０で指示される）口の開閉の範囲、（たとえば、レベル１０〜１０で指示される）頭の振りの範囲のような、現在のビデオの人物の動的な変化情報を指示するように構成される。受信者は、人物バリエーションデータに従って、描画された基本人物画像を変更することによって、ビデオの動的なカートゥーンシミュレーション画像を取得することができる。
[0036]既存の技術と比較すると、本開示において、ビットマップではなく、小さいデータサイズのベクトルデータがネットワーク内で伝送されるので、ネットワーク内で伝送されるデータボリュームが低減され、帯域幅コストが節約されうる。加えて、既存の技術解決策に従って伝送されるビットマップデータは、不変のビデオ品質（たとえば、画像解像度）を有する。送信者が、低品質のビデオを取得するように描画を実行すると、たとえ受信者のハードウェアの操作能力が強力であったとしても、表示されるビデオ品質は低いものになりうる。しかし、受信者に伝送されるデータは本開示においてベクトルデータであるので、受信者のハードウェアの操作能力が強力である場合、受信者は、より高い画像解像度及びより真に迫ったアニメーションのディテールのような、送信者よりも優れたビデオエフェクトを備えるビデオを取得するように描画を実行することができる。
[0037]図５は、本開示による方法のもう１つの実施態様を示す流れ図である。図５に示されるように、本実施形態において、送信者のビデオシミュレーション画像通信デバイスは、マイクロフォンのようなオーディオキャプチャデバイスとさらに接続されて、オーディオデータをキャプチャし、データを受信者に送信することができる。受信者は、受信したオーディオデータを、描画したカートゥーン画像と共に同期して再生することができる。オーディオデータは、独立した通信チャネル又はベクトルデータを伝送するための通信チャネルを介して伝送されてもよい。
[0038]これに対して、図７に示されるように、本開示の実施形態によるシミュレーション画像付きビデオを通信するためのデバイスにおいて、デバイスは、オーディオデータをキャプチャするように構成されるオーディオキャプチャモジュール４０６をさらに含むことができ、送信モジュール４０３はオーディオデータを受信者にさらに送信することができ、相手側ビデオシミュレーションモジュール４０５は、受信者から受信したオーディオデータを、描画したカートゥーン画像と共に同期して再生するようにさらに構成される。
[0039]図５に示される実施形態において、送信者は、ベクトルデータの一部として受信者に送信されうる特殊カートゥーンエフェクトの命令をさらに送信することができる。これらの命令は、カートゥーン描画モデルのカートゥーンエフェクトデータに対応する。特殊命令は、固有のカートゥーンエフェクトに対応する。たとえば、命令は、喜び、恥ずかしさ、発汗などのカートゥーンエフェクト命令のような、心的状態のカートゥーンエフェクト命令、又は事前定義されているアニメーションを再生する命令を含むことができる。
[0040]カートゥーンエフェクト命令をトリガーするには複数の方法があり、以下の２つの方法が含まれる。
[0041]トリガーモードＩにおいて、送信者は、たとえばインターフェイスで設定されたトリガーボタンなど、選択されたカートゥーンエフェクトのトリガーメカニズムを提供し、これは喜び、恥ずかしさ、発汗などのカートゥーンエフェクトをトリガーするように構成される。トリガーメカニズムがトリガーされると（たとえば、ボタンがクリックされると）、対応するカートゥーンエフェクト命令データが受信者に送信されてもよい。受信者は、受信した命令データに従ってカートゥーン描画モデルの対応するカートゥーンエフェクトデータを読み込み、描画を行なってカートゥーンシミュレーション画像にカートゥーンエフェクトを取得することができる。たとえば、恥ずかしさのカートゥーンエフェクト命令がトリガーされる場合、恥ずかしさのカートゥーンエフェクトが描画されてもよい。
[0042]トリガーモードＩＩにおいて、送信者は、センサーによって検知信号を検出する。たとえば、現在、多くの携帯電話が、携帯電話の振動、位置、及び向きのような、検知信号を検出するセンサーを備えている。送信者において、シミュレーション画像付きビデオを通信するためのデバイスは、それらのセンサーの検知信号を取得し、検知信号データをカートゥーンエフェクトの命令として受信者に送信する。カートゥーン描画モデルは、検知信号とカートゥーンエフェクトの対応する関係を格納する。受信者は、受信した検知信号データに従ってカートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なってカートゥーンシミュレーション画像付きビデオで対応するカートゥーンエフェクトを取得することができる。
[0043]これに対して、図７に示されるように、本開示の実施形態によるシミュレーション画像付きビデオを通信するためのデバイスにおいて、デバイス４００は、選択されたカートゥーンエフェクトのトリガーメカニズムを提供するように構成される選択済みエフェクトトリガーモジュール４０７をさらに含むことができる。トリガーメカニズムがトリガーされた後、対応するカートゥーンエフェクト命令データは、送信モジュール４０３によって受信者に送信されてもよく、相手側ビデオシミュレーションモジュール４０５は、受信した命令データに従ってカートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なってカートゥーンシミュレーション画像付きビデオでカートゥーンエフェクトを取得するようにさらに構成される。
[0044]デバイス４００は、センサーによって検知信号を検出して、検知信号データを送信モジュール４０３によって受信者に送信するように構成されるセンサー検出モジュール４０８をさらに含むことができる。相手側ビデオシミュレーションモジュール４０５は、受信した検知信号データに従ってカートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、カートゥーンシミュレーション画像付きビデオで対応するカートゥーンエフェクトを描画するようにさらに構成される。
[0045]データ伝送モードに関しては、伝送効率を高めるために、データを受信者に送信する前に、本開示において送信者は、送信されるべきデータをハフマン符号化又はＧｚｉｐデータ圧縮方式のような特定の方法でさらに符号化及び圧縮して、ネットワーク内で送信されるべきデータサイズを縮小することができる。送信者から送信されたデータを受信した後、受信者は、データをさらに圧縮解除及び復号することができる。固有の伝送プロセスにおいて、１対１の通信（２名のユーザ間のチャット）、又は一対多の通信（テレビ会議、グループゲーム）のような、さまざまな伝送モードが、さまざまな状況に適用されてもよい。さまざまな通信モードに従って、データはリアルタイム又は非リアルタイムで伝送されてもよく、データは一時的にサーバに格納されるか、又はサーバによって中継されてもよい。データは、データサイズが小さいので、高速でネットワーク内で伝送されうる。
[0046]これに対して、本開示の実施形態によるシミュレーション画像付きビデオを通信するためのデバイスにおいて、送信モジュールは、処理済みデータを送信する前に、送信されるべきデータを符号化及び圧縮するように構成される符号化モジュールをさらに含む。受信モジュールは、受信したデータを復号及び圧縮解除して、処理済みデータを処理のために相手側ビデオシミュレーションモジュールに送信するように構成される復号モジュールをさらに含む。
[0047]カートゥーンシミュレーション画像付きビデオを対話式に通信するためのプロセスにおいて、通信の二者は、各自のカートゥーン画像付きビデオを相手側が見ることを期待するだけではなく、各自の自身のカートゥーン画像付きビデオをローカルに見ることも期待することができる。この目的を達成するために、図６に示されるように、本開示の実施形態において、方法は、送信者により、受信者に送信されるべきデータをローカルにコピーし、受信者と同じカートゥーン描画モデルを呼び出し、コピーしたデータを、カートゥーン描画モデルによって対応するカートゥーンシミュレーション画像付きビデオに描画するステップをさらに含むことができる。描画するステップは、受信者と同じカートゥーン画像付きビデオにベクトルデータを描画し、トリガーメカニズムによってトリガーされた命令データ及び／又はセンサーによって検出された検知信号に従って、対応するカートゥーンエフェクトを取得するように描画を実行し、ローカルマイクロフォンによってキャプチャされたオーディオデータと共にローカルに描画されたカートゥーン画像を同期して再生するサブステップを含むことができる。
[0048]ローカルに送信者のユーザに表示された送信者のカートゥーン画像付きビデオが、受信者によって見られるビデオと同じエフェクトを有することを保証するため、二者は、同じカートゥーン描画モデルデータを呼び出すか、又は同じカートゥーン描画モデルデータ及びビデオを描画するための同じローカルハードウェア構成情報を呼び出す必要がある。ハードウェア構成情報は、画面解像度及びリフレッシュ頻度などであってもよい。同じカートゥーン描画モデルデータが二者によって呼び出される場合、二者は、同じカートゥーン画像エフェクトを取得するように描画を実行することができる。二者が同じハードウェア構成を有する場合、カートゥーン画像付き描画ビデオの表示エフェクトはさらに整合性のあるものとなりうる。
[0049]図６に示されるように、送信者及び受信者が、同じカートゥーン描画モデルデータを呼び出すか、又は同じカートゥーン描画モデルデータ及び同じローカルハードウェア構成情報を呼び出すようにするため、カートゥーン描画モデル及びハードウェア構成情報は同期される必要があり、２つの同期モードを含む。
[0050]第１の同期モードにおいて、通信の少なくとも一者は、カートゥーン描画モデルで構成される。二者間のリアルタイム通信において、二者は、ネゴシエートされた通信プロトコルに従って、カートゥーン描画モデルデータを同期して伝送することができる。二者は、カートゥーン描画モデルが呼び出される必要がある場合、ローカルのカートゥーン描画モデルを直接呼び出すことができる。通信プロトコルに従ってカートゥーン描画モデルデータを同期して伝送する場合、二者はさらに、ビデオ描画のローカルハードウェア構成情報を同期して伝送し、所定の方策に従ってそれらのハードウェア構成情報を同一にすることができる。
[0051]第２の同期モードにおいて、送信者のみが、カートゥーン描画モデルで構成される。二者間の非リアルタイム通信において、ベクトルデータを伝送する間、送信者はカートゥーン描画モデルデータを選択されたサーバに送信して格納し、受信者にストレージアドレスを通知することができる。ベクトルデータを受信した後、受信者は、ストレージアドレスからカートゥーン描画モデルデータをダウンロードすることができる。二者は、カートゥーン描画モデルが呼び出される必要がある場合、ローカルのカートゥーン描画モデルを直接呼び出すことができる。カートゥーン描画モデルデータを送信する場合、送信者はさらに、ビデオ描画のためのローカルハードウェア構成情報を受信者に送信することができる。データを受信した後、受信者は、ローカルハードウェア構成情報を、送信者のハードウェア構成情報と同一にすることができる。
[0052]これに対して、図７に示されるように、シミュレーション画像付きビデオを通信するためのデバイスは、コピーモジュール４０９及びローカルビデオシミュレーションモジュール４１０をさらに含むことができる。
[0053]コピーモジュール４０９は、受信者に送信されるべきデータをローカルにコピーするように構成される。
[0054]ローカルビデオシミュレーションモジュール４１０は、相手側と同じカートゥーン描画モデルを呼び出し、カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付きビデオでコピーされたデータを描画するように構成される。
[0055]シミュレーション画像付きビデオを通信するためのデバイスは、通信の二者のカートゥーン描画モデルデータを同期するか、又はカートゥーン描画モデルデータ及びビデオ描画のためのハードウェア構成情報を同期するように構成されるモデル同期モジュール４１１をさらに含むことができる。特に、上記の同期モードが採用されてもよい。
[0056]本開示の実施形態によるシミュレーション画像付きビデオを通信するためのデバイスが提供され、デバイスは、命令を格納するように構成されるメモリと、メモリに結合するように構成されるプロセッサとを含む。プロセッサは、メモリ内に格納された命令を実行するように構成され、シミュレーション画像付きビデオを通信するための上記の方法の実施形態を実施するように構成される。加えて、本開示の実施形態により、命令セットを格納するコンピュータ可読媒体が提供される。命令セットが実行されるとき、コンピュータは、シミュレーション画像付きビデオを通信するための上記の方法の実施形態を実施することができる。
[0057]上記の内容は、本開示によって提供される好ましい実施形態に過ぎず、本開示を限定するものではない。本開示の原理の範囲内で行なわれる任意の変更、置換、及び改良は、本開示の保護範囲に含まれる。
Claims (17)
- シミュレーション画像付きビデオを通信するための方法であって、
送信者により、ビデオデータを取得し、前記取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換して、前記ベクトルデータを受信者に送信するステップと、
前記受信者により、カートゥーン描画モデルを呼び出し、前記受信したベクトルデータを、前記カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付き前記ビデオで描画するステップと、を含む方法。 - 前記送信者により、オーディオデータを取得し、前記データを前記受信者に送信するステップであって、前記受信者が、前記受信したオーディオデータを前記カートゥーンシミュレーション画像付き描画ビデオと共に同期して再生するステップと、をさらに含む請求項１に記載の方法。
- 前記送信者により、選択されたカートゥーンエフェクトのトリガーメカニズムを提供し、前記トリガーメカニズムがトリガーされた後、カートゥーンエフェクトに対応する命令データを前記受信者に送信するステップと、
前記受信者により、前記受信した命令データに従って前記カートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なって前記カートゥーンシミュレーション画像付き前記ビデオの前記カートゥーンエフェクトを取得するステップと、をさらに含む請求項１に記載の方法。 - 前記送信者のセンサーにより検知信号を検出し、前記送信者により検知信号データを前記受信者に送信するステップと、
前記受信者により、前記検知信号データに従って前記カートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なって前記カートゥーンシミュレーション画像付き前記ビデオの前記カートゥーンエフェクトを取得するステップと、をさらに含む請求項１に記載の方法。 - 前記送信者により、前記受信者に送信されるべきデータをローカルにコピーし、前記受信者と同じカートゥーン描画モデルを呼び出し、前記コピーしたデータを、前記カートゥーン描画モデルに従って前記対応するカートゥーンシミュレーション画像付き前記ビデオで描画するステップをさらに含む請求項１〜４のいずれか一項に記載の方法。
- 前記送信者及び前記受信者により前記カートゥーン描画モデルデータを呼び出す前記方法が、
前記通信の少なくとも一者を前記カートゥーン描画モデルで構成するサブステップであって、前記送信者と前記受信者間のリアルタイム通信の場合、前記送信者及び前記受信は、ネゴシエートされた通信プロトコルに従ってカートゥーン描画モデルデータを同期して伝送し、前記送信者及び前記受信は、前記カートゥーン描画モデルが呼び出される場合、ローカルのカートゥーン描画モデルを直接呼び出す、サブステップ、若しくは
前記送信者のみを前記カートゥーン描画モデルで構成するサブステップであって、前記送信者と前記受信間の非リアルタイム通信の場合、前記ベクトルデータを伝送する間、前記送信者はカートゥーン描画モデルデータを選択されたサーバに送信して格納し、前記受信者に前記カートゥーン描画モデルデータのストレージアドレスを通知し、前記ベクトルデータを受信した後、前記受信者は前記ストレージアドレスから前記カートゥーン描画モデルデータをダウンロードし、前記送信者及び前記受信者は、前記カートゥーン描画モデルが呼び出される場合、ローカルのカートゥーン描画モデルを直接呼び出す、サブステップと、を含む請求項５に記載の方法。 - 前記送信者又は前記受信者により、前記カートゥーン描画モデルデータを送信する間に、ビデオ描画のためのローカルハードウェア構成情報を送信するステップと、
前記受信者又は前記送信者により、前記ハードウェア構成情報を受信した後、前記ハードウェア構成情報に従って対応する表示エフェクトを調整するステップと、を含む請求項６に記載の方法。 - 前記ベクトルデータは、基本人物データ及び人物バリエーションデータを備え、
前記受信したベクトルデータを、前記カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付き前記ビデオで描画する前記ステップは、
前記基本人物データに従って前記カートゥーン描画モデルから基本人物モデルデータを読み込み、前記ビデオの前記カートゥーンシミュレーション画像の基本人物画像に基本人物モデルデータを描画するサブステップと、
前記人物バリエーションデータに従って、前記ビデオの動的なカートゥーンシミュレーション画像を取得するために前記描画された基本人物画像を変更するサブステップと、を含む請求項５に記載の方法。 - 前記送信者によって、送信すべきデータを、前記データを前記受信者に送信する前に、符号化して圧縮するステップと、
前記送信者から送信された前記データを受信した後、前記受信者によって、前記データを圧縮解除して復号するステップと、を含む請求項１〜４のいずれか一項に記載の方法。 - シミュレーション画像付きビデオを通信するためのデバイスであって、
ローカルビデオデータを取得するように構成されるビデオデータ取得モジュールと、
前記取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換するように構成される識別及び変換モジュールと、
前記ベクトルデータを受信者に送信するように構成される送信モジュールと、
前記送信者から送信された前記データを受信するように構成される受信モジュールと、
カートゥーン描画モデルを呼び出して、前記受信したベクトルデータを、前記カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付き前記ビデオで描画するように構成される相手側ビデオシミュレーションモジュールと、を備えるデバイス。 - オーディオデータを取得するように構成されるオーディオデータ取得モジュールをさらに備え、
前記送信モジュールが、前記オーディオデータを前記受信者に送信するようにさらに構成され、前記相手側ビデオシミュレーションモジュールが、前記受信したオーディオデータを、前記カートゥーンシミュレーション画像付き前記描画ビデオと共に同期して再生するようにさらに構成される、請求項１０に記載のデバイス。 - 選択されたカートゥーンエフェクトのトリガーメカニズムを提供し、前記トリガーメカニズムがトリガーされた後にカートゥーンエフェクトに対応する命令データを前記受信者に送信するように構成された選択済みエフェクトトリガーモジュールをさらに備え、
前記相手側ビデオシミュレーションモジュールが、前記受信した命令データに従って前記カートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なって前記カートゥーンシミュレーション画像付き前記ビデオでカートゥーンエフェクトを取得するようにさらに構成される、請求項１０に記載のデバイス。 - センサーにより検知信号を検出するように構成されるセンサー検出モジュールをさらに備え、前記送信モジュールが前記検知信号データを前記受信者に送信し、
前記相手側ビデオシミュレーションモジュールが、前記受信した検知信号データに従って前記カートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を実行して前記カートゥーンシミュレーション画像付き前記ビデオで前記対応するカートゥーンエフェクトを取得するようにさらに構成される、請求項１０に記載のデバイス。 - 前記受信者に送信されるべき前記データをローカルにコピーするように構成されるコピーモジュールをさらに備え、
前記相手側ビデオシミュレーションモジュールが、相手側と同じカートゥーン描画モデルを呼び出し、前記カートゥーン描画モデルに従って前記対応するカートゥーンシミュレーション画像付き前記ビデオで前記コピーされたデータを描画するように構成される、請求項１０〜１３のいずれか一項に記載のデバイス。 - 前記送信者及び前記受信者のカートゥーン描画モデルデータを同期するか、又はカートゥーン描画モデルデータ及びビデオ描画のためのハードウェア構成情報を同期するように構成されるモデル同期モジュールをさらに備える、請求項１４に記載のデバイス。
- 前記送信モジュールが、前記送信されるべきデータを、前記処理済みデータを送信する前に、符号化して圧縮するように構成される符号化モジュールをさらに備え、前記受信モジュールが、前記受信したデータを、前記処理済みデータを処理のために前記相手側ビデオシミュレーションモジュールに送信する前に、復号及び圧縮解除するように構成される復号モジュールをさらに備える、請求項１０〜１３のいずれか一項に記載のデバイス。
- コンピュータ可読媒体であって、命令セットが前記コンピュータ可読媒体に格納され、コンピュータが、前記命令セットが実行されるときに請求項１〜９のいずれか一項に記載の方法を実行する、コンピュータ可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210087665.1A CN103369289B (zh) | 2012-03-29 | 2012-03-29 | 一种视频模拟形象的通信方法和装置 |
| CN201210087665.1 | 2012-03-29 | ||
| PCT/CN2013/072246 WO2013143380A1 (zh) | 2012-03-29 | 2013-03-06 | 一种视频模拟形象的通信方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014529233A true JP2014529233A (ja) | 2014-10-30 |
| JP5870469B2 JP5870469B2 (ja) | 2016-03-01 |
Family
ID=49258186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014526383A Active JP5870469B2 (ja) | 2012-03-29 | 2013-03-06 | ビデオシミュレーション画像のための通信方法及びデバイス |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9210372B2 (ja) |
| JP (1) | JP5870469B2 (ja) |
| CN (1) | CN103369289B (ja) |
| WO (1) | WO2013143380A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022517841A (ja) * | 2019-01-23 | 2022-03-10 | 広州視源電子科技股▲分▼有限公司 | ビデオ画像の伝送方法、装置、インテリジェントインタラクティブタブレット及び記憶媒体 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103647922A (zh) * | 2013-12-20 | 2014-03-19 | 百度在线网络技术（北京）有限公司 | 虚拟视频通话方法和终端 |
| CN105631914A (zh) * | 2014-10-31 | 2016-06-01 | 鸿富锦精密工业(武汉)有限公司 | 漫画创作系统及方法 |
| CN106303690A (zh) * | 2015-05-27 | 2017-01-04 | 腾讯科技（深圳）有限公司 | 一种视频处理方法及装置 |
| CN105263040A (zh) * | 2015-10-08 | 2016-01-20 | 安徽理工大学 | 一种节省手机流量观看球赛直播的方法 |
| CN105407313A (zh) * | 2015-10-28 | 2016-03-16 | 掌赢信息科技（上海）有限公司 | 一种视频通话方法、设备和系统 |
| US11736756B2 (en) * | 2016-02-10 | 2023-08-22 | Nitin Vats | Producing realistic body movement using body images |
| CN107465885A (zh) * | 2016-06-06 | 2017-12-12 | 中兴通讯股份有限公司 | 一种实现视频通讯的方法和装置 |
| CN106209878A (zh) * | 2016-07-20 | 2016-12-07 | 北京邮电大学 | 基于WebRTC的多媒体数据传输方法及装置 |
| US10497163B1 (en) * | 2017-05-16 | 2019-12-03 | Electronic Arts Inc. | Computer architecture for animation of a character in a simulation based on muscle activation data |
| CN107203953B (zh) * | 2017-07-14 | 2021-05-28 | 深圳极速汉语网络教育有限公司 | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 |
| CN107911644B (zh) * | 2017-12-04 | 2020-05-08 | 吕庆祥 | 基于虚拟人脸表情进行视频通话的方法及装置 |
| BR112021004210A2 (pt) | 2018-09-13 | 2021-05-25 | Sony Semiconductor Solutions Corporation | aparelho e método de processamento de informações, aparelho de formação de imagem, dispositivo móvel, e, programa de computador |
| CN109302598B (zh) * | 2018-09-30 | 2021-08-31 | Oppo广东移动通信有限公司 | 一种数据处理方法、终端、服务器和计算机存储介质 |
| CN111586259B (zh) * | 2020-04-03 | 2022-09-23 | 北京仿真中心 | 图像仿真方法、图像计算机以及目标模拟器 |
| CN112165598A (zh) * | 2020-09-28 | 2021-01-01 | 北京字节跳动网络技术有限公司 | 数据处理的方法、装置、终端和存储介质 |
| CN114373047B (zh) * | 2021-12-29 | 2023-05-12 | 达闼机器人股份有限公司 | 一种基于数字孪生监控物理世界的方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63191476A (ja) * | 1987-02-04 | 1988-08-08 | Nippon Telegr & Teleph Corp <Ntt> | 知能画像通信方式 |
| JPH08307841A (ja) * | 1995-05-10 | 1996-11-22 | Hitachi Ltd | 擬似動画ｔｖ電話装置 |
| JPH09138767A (ja) * | 1995-11-14 | 1997-05-27 | Fujitsu Ten Ltd | 感情表現の通信装置 |
| JP2002325238A (ja) * | 2001-04-26 | 2002-11-08 | Seiko Instruments Inc | 簡易動画送受信システム及び動画送受信方法 |
| JP2003109036A (ja) * | 2001-10-01 | 2003-04-11 | Minolta Co Ltd | 通信システム、端末装置、送信方法、およびコンピュータプログラム |
| JP2003248841A (ja) * | 2001-12-20 | 2003-09-05 | Matsushita Electric Ind Co Ltd | バーチャルテレビ通話装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1328908C (zh) * | 2004-11-15 | 2007-07-25 | 北京中星微电子有限公司 | 一种视频通信的方法 |
| US20070230794A1 (en) * | 2006-04-04 | 2007-10-04 | Logitech Europe S.A. | Real-time automatic facial feature replacement |
| US7698371B2 (en) * | 2006-10-16 | 2010-04-13 | Hewlett-Packard Development Company, L.P. | Communicating by video without replicating data |
| CN101640792B (zh) * | 2008-08-01 | 2011-09-28 | 中国移动通信集团公司 | 卡通视频的压缩编解码方法、设备及系统 |
| JP4725936B1 (ja) * | 2011-02-01 | 2011-07-13 | 有限会社Ｂｏｎｄ | 入力支援装置、入力支援方法及びプログラム |
| US9613450B2 (en) * | 2011-05-03 | 2017-04-04 | Microsoft Technology Licensing, Llc | Photo-realistic synthesis of three dimensional animation with facial features synchronized with speech |
| CN102364965A (zh) * | 2011-10-05 | 2012-02-29 | 辜进荣 | 手机通信信息精化显示方法 |
| US9456244B2 (en) * | 2012-06-25 | 2016-09-27 | Intel Corporation | Facilitation of concurrent consumption of media content by multiple users using superimposed animation |
-
2012
- 2012-03-29 CN CN201210087665.1A patent/CN103369289B/zh active Active
-
2013
- 2013-03-06 WO PCT/CN2013/072246 patent/WO2013143380A1/zh active Application Filing
- 2013-03-06 JP JP2014526383A patent/JP5870469B2/ja active Active
-
2014
- 2014-01-27 US US14/165,117 patent/US9210372B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63191476A (ja) * | 1987-02-04 | 1988-08-08 | Nippon Telegr & Teleph Corp <Ntt> | 知能画像通信方式 |
| JPH08307841A (ja) * | 1995-05-10 | 1996-11-22 | Hitachi Ltd | 擬似動画ｔｖ電話装置 |
| JPH09138767A (ja) * | 1995-11-14 | 1997-05-27 | Fujitsu Ten Ltd | 感情表現の通信装置 |
| JP2002325238A (ja) * | 2001-04-26 | 2002-11-08 | Seiko Instruments Inc | 簡易動画送受信システム及び動画送受信方法 |
| JP2003109036A (ja) * | 2001-10-01 | 2003-04-11 | Minolta Co Ltd | 通信システム、端末装置、送信方法、およびコンピュータプログラム |
| JP2003248841A (ja) * | 2001-12-20 | 2003-09-05 | Matsushita Electric Ind Co Ltd | バーチャルテレビ通話装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022517841A (ja) * | 2019-01-23 | 2022-03-10 | 広州視源電子科技股▲分▼有限公司 | ビデオ画像の伝送方法、装置、インテリジェントインタラクティブタブレット及び記憶媒体 |
| JP7250937B2 (ja) | 2019-01-23 | 2023-04-03 | 広州視源電子科技股▲分▼有限公司 | ビデオ画像の伝送方法、装置、インテリジェントインタラクティブタブレット及び記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013143380A1 (zh) | 2013-10-03 |
| US9210372B2 (en) | 2015-12-08 |
| CN103369289B (zh) | 2016-05-04 |
| US20140139619A1 (en) | 2014-05-22 |
| CN103369289A (zh) | 2013-10-23 |
| JP5870469B2 (ja) | 2016-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5870469B2 (ja) | ビデオシミュレーション画像のための通信方法及びデバイス | |
| KR101768980B1 (ko) | 가상 동영상 통화 방법 및 단말 | |
| CN113422903B (zh) | 拍摄模式切换方法、设备、存储介质 | |
| EP1480425B1 (en) | Portable terminal and program for generating an avatar based on voice analysis | |
| CN109670427B (zh) | 一种图像信息的处理方法、装置及存储介质 | |
| CN112714327B (zh) | 基于直播应用程序的互动方法、装置、设备及存储介质 | |
| CN107924587A (zh) | 在混合现实会话内将用户引导至对象 | |
| KR950030647A (ko) | 화상통신장치 | |
| CN107333086A (zh) | 一种在虚拟场景中进行视频通信的方法及装置 | |
| WO2022022019A1 (zh) | 投屏数据处理方法和装置 | |
| WO2018120657A1 (zh) | 一种共享虚拟现实数据的方法和设备 | |
| CN112584049A (zh) | 远程交互方法及装置、电子设备、存储介质 | |
| CN114710640A (zh) | 基于虚拟形象的视频通话方法、装置和终端 | |
| CN113473005A (zh) | 拍摄中转场动效插入方法、设备、存储介质和程序产品 | |
| CN112949547A (zh) | 数据传输和显示方法、装置、系统、设备以及存储介质 | |
| CN113920010A (zh) | 图像帧的超分辨率实现方法和装置 | |
| CN111696039A (zh) | 图像处理方法及装置、存储介质和电子设备 | |
| CN111464828A (zh) | 虚拟特效显示方法、装置、终端及存储介质 | |
| CN109413152B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JPH11341456A (ja) | 家庭用マルチメディア通信システム | |
| CN107925657A (zh) | 经由用户设备的异步会话 | |
| JP2020115299A (ja) | 仮想空間情報処理装置、方法、プログラム | |
| CN115550559A (zh) | 视频画面显示方法、装置、设备和存储介质 | |
| CN112382380A (zh) | 智能手环及系统 | |
| CN112348738A (zh) | 图像优化方法、图像优化装置、存储介质与电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5870469 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |