JP2021150735A - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2021150735A
JP2021150735A JP2020046807A JP2020046807A JP2021150735A JP 2021150735 A JP2021150735 A JP 2021150735A JP 2020046807 A JP2020046807 A JP 2020046807A JP 2020046807 A JP2020046807 A JP 2020046807A JP 2021150735 A JP2021150735 A JP 2021150735A
Authority
JP
Japan
Prior art keywords
information
moving image
subject
unit
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020046807A
Other languages
English (en)
Other versions
JP7017596B2 (ja
Inventor
悠太 滝沢
Yuta Takizawa
悠太 滝沢
幸一 矢萩
Koichi Yahagi
幸一 矢萩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020046807A priority Critical patent/JP7017596B2/ja
Priority to CN202110261210.6A priority patent/CN113411632B/zh
Priority to US17/199,592 priority patent/US20210297728A1/en
Publication of JP2021150735A publication Critical patent/JP2021150735A/ja
Application granted granted Critical
Publication of JP7017596B2 publication Critical patent/JP7017596B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/2625—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ネットワークを介して他の装置との間で動画情報および音声情報の通信を行う際に、音声情報の通信に対する動画情報の通信の遅延を低減すること。【解決手段】ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置は、ネットワークを介して他の装置から、動画情報および音声情報、または、ネットワークの通信負荷が閾値以上の高負荷になったことにより、他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および音声情報、を受信する通信部と、通信部が被写体情報および音声情報を受信した場合に、被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を記憶部から選択し、被写体画像の各部位と被写体情報との位置ずれから算出した動作量に従って、被写体画像を変位させた再現動画情報を生成する生成部と、を備える。【選択図】図５

Description

本発明は情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
特許文献１には、ネットワーク負荷の改善方法として、片方向コミュニケーションか、双方向コミュニケーションか等に応じて解像度やフレームレート、ビットレートを変更する通信システムが開示されている。
特開２０１６-１７８４１９号公報
しかしながら、従来技術における通信システムでは、ネットワークの通信負荷が高くなると、音声情報に比べて動画情報の通信に遅延が生じ得る。
本発明の目的は、ネットワークを介して他の装置との間で動画情報および音声情報の通信を行う際に、音声情報の通信に対する動画情報の通信の遅延を低減することが可能な情報処理技術の提供を目的とする。
本発明の第１の態様にかかる情報処理装置は、ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置であって、
前記ネットワークを介して前記他の装置から、前記動画情報および前記音声情報、または、前記ネットワークの通信負荷が閾値以上の高負荷になったことにより、前記他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および前記音声情報、を受信する通信部と、
前記通信部が前記他の装置から前記動画情報および前記音声情報を受信した場合、前記音声情報を音声出力部から出力させ、前記音声情報に対応する前記動画情報を表示部に表示させる情報処理部と、
前記動画情報を記憶する記憶部と、
前記通信部が前記被写体情報および前記音声情報を受信した場合に、前記被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を前記記憶部から選択し、前記被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた再現動画情報を生成する生成部と、を備え、
前記情報処理部は、前記生成部により前記再現動画情報が生成された場合、前記音声情報に対応する前記動画情報として前記再現動画情報を前記表示部に表示させる。
本発明の第２の態様にかかる情報処理装置では、被写体の音声情報を入力する音声入力部と、
前記被写体の動画情報を撮影する撮影部と、
前記撮影部により撮影された動画情報から前記被写体を部分的に抽出した被写体情報を取得する被写体情報取得部と、
前記他の装置との通信に基づいて、前記ネットワークの通信負荷の状態を示す状態情報を取得する状態情報取得部と、
前記状態情報が閾値以上か否かの判定に基づいて、前記ネットワークを介して、前記動画情報または前記被写体情報と、前記音声情報とを前記他の装置に送信する送信制御を行う送信制御部と、を更に備える。
本発明の第３の態様にかかる情報処理装置では、前記送信制御部は、
前記状態情報が閾値以上の場合、前記被写体情報と前記音声情報とを前記他の装置に送信し、
前記状態情報が閾値未満の場合、前記動画情報と前記音声情報とを前記他の装置に送信する。
本発明の第４の態様にかかる情報処理装置では、前記被写体情報のフレーム間で撮影されている被写体の比較の結果、または、操作部からの入力に基づいたタイミングで前記記憶部に記憶されている前記動画情報を更新する動画更新部を更に備える。
本発明の第５の態様にかかる情報処理装置では、前記動画更新部は、
前記他の装置から受信した前記被写体情報のフレーム間で撮影されている被写体の比較を行い、新たな被写体が撮影されていると判定する場合、前記被写体情報の送信元の前記他の装置に動画情報のみの送信を要求し、
前記送信の要求に対して前記他の装置から送信された動画情報に基づいて、前記記憶部に記憶された前記動画情報の更新を行う。
本発明の第６の態様にかかる情報処理装置では、前記動画更新部は、
操作部からの入力に基づいて、前記音声入力部の動作がオフにされた場合、前記被写体情報の送信元の前記他の装置に動画情報のみの送信を要求し、
前記送信の要求に対して前記他の装置から送信された動画情報に基づいて、前記記憶部に記憶された前記動画情報の更新を行う。
本発明の第７の態様にかかる情報処理装置では、前記撮影部で撮影された前記動画情報および前記生成部で生成された前記再現動画情報を補正する動画補正部を更に備え、
前記動画補正部は、前記動画情報および前記再現動画情報における前記被写体の視線が前記撮影部に合うように前記動画情報および前記再現動画情報を補正する。
本発明の第８の態様にかかる情報処理装置では、前記生成部は、前記認証処理に基づいた、前記被写体情報と前記記憶部に記憶されている前記動画情報との比較により、前記被写体の類似度が最も高い動画情報の被写体画像を同一の被写体が撮影された動画情報の被写体画像として選択し、当該動画情報の被写体画像を用いて前記再現動画情報を生成する。
本発明の第９の態様にかかる情報処理システムでは、ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置を有する情報処理システムであって、前記情報処理装置は、
前記ネットワークを介して前記他の装置から、前記動画情報および前記音声情報、または、前記ネットワークの通信負荷が閾値以上の高負荷になったことにより、前記他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および前記音声情報、を受信する通信部と、
前記通信部が前記他の装置から前記動画情報および前記音声情報を受信した場合、前記音声情報を音声出力部から出力させ、前記音声情報に対応する前記動画情報を表示部に表示させる情報処理部と、
前記動画情報を記憶する記憶部と、
前記通信部が前記被写体情報および前記音声情報を受信した場合に、前記被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を前記記憶部から選択し、前記被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた再現動画情報を生成する生成部と、を備え、
前記情報処理部は、前記生成部により前記再現動画情報が生成された場合、前記音声情報に対応する前記動画情報として前記再現動画情報を前記表示部に表示させる。
本発明の第１０の態様にかかる情報処理方法では、ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置の情報処理方法であって、
前記ネットワークを介して前記他の装置から、前記動画情報および前記音声情報、または、前記ネットワークの通信負荷が閾値以上の高負荷になったことにより、前記他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および前記音声情報、を受信する通信工程と、
前記通信工程で前記他の装置から前記動画情報および前記音声情報を受信した場合、前記音声情報を音声出力部から出力させ、前記音声情報に対応する前記動画情報を表示部に表示させる情報処理工程と、
前記動画情報を記憶部に記憶する記憶工程と、
前記通信工程で前記被写体情報および前記音声情報を受信した場合に、前記被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を前記記憶部から選択し、前記被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた再現動画情報を生成する生成工程と、
前記生成工程で前記再現動画情報が生成された場合、前記音声情報に対応する前記動画情報として前記再現動画情報を前記表示部に表示させる工程と、
を有する。
本発明の第１１の態様にかかるプログラムは、コンピュータに、ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置の情報処理方法の各工程を実行させるプログラムであって、前記情報処理方法が、
前記ネットワークを介して前記他の装置から、前記動画情報および前記音声情報、または、前記ネットワークの通信負荷が閾値以上の高負荷になったことにより、前記他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および前記音声情報、を受信する通信工程と、
前記通信工程で前記他の装置から前記動画情報および前記音声情報を受信した場合、前記音声情報を音声出力部から出力させ、前記音声情報に対応する前記動画情報を表示部に表示させる情報処理工程と、
前記動画情報を記憶部に記憶する記憶工程と、
前記通信工程で前記被写体情報および前記音声情報を受信した場合に、前記被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を前記記憶部から選択し、前記被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた再現動画情報を生成する生成工程と、
前記生成工程で前記再現動画情報が生成された場合、前記音声情報に対応する前記動画情報として前記再現動画情報を前記表示部に表示させる工程と、
を有する。
本発明の第１の態様の情報処理装置によれば、ネットワークを介して他の装置との間で動画情報および音声情報の通信を行う際に、音声情報の通信に対する動画情報の通信の遅延を低減することが可能になる。
本発明の第２の態様および第３の態様の情報処理装置によれば、ネットワークの通信負荷の状態を示す状態情報が閾値以上か否かの判定に基づいて、ネットワークを介して、動画情報または被写体情報と、音声情報とを他の装置に送信する送信制御を行うことが可能になる。
本発明の第４の態様の情報処理装置によれば、被写体情報のフレーム間で撮影されている被写体の比較の結果、または、操作部からの入力に基づいたタイミングで記憶部に記憶されている動画情報を更新することができる。
本発明の第５の態様の情報処理装置によれば、被写体情報のフレーム間で撮影されている被写体の比較を行い、新たな被写体が撮影されていると判定する場合、新たな被写体が撮影されている動画情報に基づいて、記憶部に記憶されている動画情報を更新することができる。
本発明の第６の態様の情報処理装置によれば、動画情報の通信の遅延の影響を受けない、音声入力部の動作がオフにされたタイミングで、記憶部に記憶されている動画情報を更新することができる。
本発明の第７の態様の情報処理装置によれば、被写体の視線が撮影部に合うように動画情報および再現動画情報を補正することが可能になる。これにより、ネットワークを介して他の装置との間で動画情報および音声情報の送受信を行い、テレビ会議を行う場合に、被写体画像における視線の方向を、より自然な方向に向けた双方向の通信を行うことが可能になる。
本発明の第８の態様の情報処理装置によれば、認証処理に基づいた、被写体情報と記憶部に記憶されている動画情報との比較により、被写体の類似度が最も高い動画情報の被写体画像を同一の被写体が撮影された動画情報の被写体画像として選択することにより、より精度の高い再現動画情報を生成することが可能になる。
本発明の第９の態様の情報処理システム、第１０の態様の情報処理方法および第１１の態様のプログラムによれば、ネットワークを介して他の装置との間で動画情報および音声情報の通信を行う際に、音声情報の通信に対する動画情報の通信の遅延を低減することが可能になる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
実施形態にかかる情報処理システムの構成の一例を示す図。 情報処理装置のハードウェア構成の一例を示すブロック図。 情報処理装置の機能構成の一例を示すブロック図。 被写体情報を例示的に説明する図。 情報処理装置における情報の受信処理の流れを説明する図。 情報処理装置における情報の送信処理の流れを説明する図。 通信負荷に基づいて制御する動画情報の送信または被写体情報の送信を例示的に説明する図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
（システム構成）
図１は、実施形態にかかる情報処理システム１０の構成の一例を示す図である。図１において、情報処理システム１０は、ネットワーク１６０に無線通信または有線通信により接続する複数の情報処理装置１００Ａ、１００Ｂ及び１００Ｃを含む。情報処理装置１００Ａ、１００Ｂ及び１００Ｃは、ネットワーク１６０を介して他の装置との間で動画情報および音声情報の送受信が可能である。例えば、情報処理装置１００Ａは、ネットワーク１６０を介して他の装置（情報処理装置１００Ｂまたは１００Ｃ）との間で動画情報および音声情報の送受信が可能である。情報処理システム１０の構成により、例えば、ネットワーク１６０を介して、遠隔地のユーザーとの間で会話等のコミュニケーションやテレビ会議などを行うことが可能になる。
図１の例では、情報処理装置１００Ａ、１００Ｂはデスクトップ型の装置として構成され、情報処理装置１００Ｃは、携帯端末型の装置として構成されるが、本実施形態の情報処理装置は、いずれの装置構成であってもよい。また、図１に示したネットワーク１６０の接続する情報処理装置の数は例示的なものであり、更に複数の情報処理装置をネットワーク１６０に接続し、双方向に動画情報および音声情報の送受信を行うことが可能である。
複数の情報処理装置１００Ａ、１００Ｂ、１００Ｃは同様の構成を備えるものとし、代表して、以下、情報処理装置１００Ａとして説明する。また、情報処理装置１００Ａから見て情報処理装置１００Ｂまたは１００Ｃを他の装置として説明する。
（情報処理装置１００Ａのハードウェア構成）
図２は、情報処理装置１００Ａのハードウェア構成の一例を示すブロック図である。情報処理装置１００Ａは、装置全体を制御するためのＣＰＵ（Central Processing Unit）２１０と、ＣＰＵ２１０で実行されるプログラムを記憶するためのＲＯＭ（Read Only Memory）２１１と、ＣＰＵ２１０がプログラムを実行する際の作業領域として各種情報を記憶するための記憶部２１２とを含む。記憶部２１２は、例えば、ＲＡＭ（Random Access Memory）、やメモリカード、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）などにより構成することができる。情報処理装置１００Ａは、ネットワーク１６０を介した他の装置との通信により取得した情報を記憶部２１２に保存することが可能である。
また、情報処理装置１００Ａは、ネットワーク１６０に接続するためのインタフェースとして機能する通信部２１３と、情報処理装置１００Ａを操作するための操作部２１４とを含む。また、情報処理装置１００Ａは、動画情報を表示する表示部２１５と、音声情報を出力する音声出力部２１６と、動画情報を入力する撮影部２１７と、音声情報を入力する音声入力部２１８とを含む。
表示部２１５は、ネットワーク１６０を介して他の装置から受信した動画情報を表示することが可能であり、例えば、液晶や有機ＥＬ（Electro-Luminescence）等を用いたディスプレイ装置や、プロジェクタ等が用いられる。
音声出力部２１６は、ネットワーク１６０を介して他の装置から受信した音声情報をスピーカ等の音声情報の再生装置により再生することが可能であり、ＣＰＵ２１０は、動画情報と音声情報とを同期させた再生制御を行うことが可能である。
撮影部２１７は、動画撮影を行うことが可能なカメラであり、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。
音声入力部２１８は、マイク等の集音装置であり、音声入力部２１８により、被写体の画像を撮影部２１７で撮影するのに合わせて、ユーザーの音声情報が取得される。音声入力部２１８の種類等は限定されず、例えば被写体の数や被写体の周囲の環境に合わせて指向性を設定することが可能なマイク等が用いられる。
（情報処理装置１００Ａの機能構成）
図３は、情報処理装置１００Ａの機能構成の一例を示すブロック図である。情報処理装置１００Ａは、機能構成として、情報処理部３１０、生成部３１１、被写体情報取得部３１２、状態情報取得部３１３、送信制御部３１４、動画更新部３１５、および動画補正部３１６を有している。これらの機能構成は、情報処理装置１００ＡのＣＰＵ２１０がＲＯＭ２１１から読み込んだ所定のプログラムを実行することで実現される。情報処理装置１００Ａの機能構成の各部の構成は、同様の機能を果たすのであれば、それらは集積回路などで構成してもよい。
情報処理装置１００Ａの通信部２１３は、ネットワーク１６０を介して他の装置（例えば、情報処理装置Ｂや情報処理装置Ｃ）から、動画情報および音声情報、または、ネットワーク１６０の通信負荷が閾値以上の高負荷になったことにより、他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および音声情報、を受信する。
情報処理部３１０は、ネットワーク１６０を介して他の装置（情報処理装置Ｂや情報処理装置Ｃ）から受信した情報を処理する。通信部２１３が他の装置から動画情報および音声情報を受信した場合、情報処理部３１０は、他の装置から受信した音声情報を音声出力部２１６から出力させ、音声情報に対応する動画情報を表示部２１５に表示させる。
情報処理部３１０が動画情報の表示処理を行う際に、記憶部２１２は、情報処理装置１００Ａの通信部２１３がネットワーク１６０を介して受信した動画情報を記憶する。ここで記憶された動画情報は、後に説明する生成部３１１が、被写体情報に基づいて動画情報（再現動画情報）を生成（再現）する際に使用される。
被写体情報取得部３１２は、撮影部２１７により撮影された動画情報から被写体を部分的に抽出した被写体情報を取得する。図４は被写体情報を例示的に説明する図である。被写体情報取得部３１２は、図４に示すように、動画情報の各フレーム（例えば、図４のフレーム４０１）について、撮影されている被写体４０２（人物）を特定する。動画情報の各フレームに複数の被写体が撮影されている場合、被写体情報取得部３１２は、フレーム中の各被写体を特定し、各被写体について被写体情報を取得する。
被写体情報取得部３１２は、ソリッドモデルとして特定した被写体の特徴部位を離散的に抽出した情報（点群の間引情報）を被写体情報として取得する。被写体の特徴部位は、例えば、各部位の関節（肩、肘、手首、膝）、手足や顔の位置や向き、顔のパーツ（目、鼻、口、耳）などが含まれ、被写体情報には、各特徴部位の位置情報や角度情報や撮影部（カメラ）に対する焦点深度に関する情報が含まれる。
被写体情報は、被写体の特徴部位の情報（位置情報）をつなげた線状の被写体４０３として示すことが可能であり、動画情報の各フレームにおけるソリッドモデルの被写体４０２に比べて情報量を低減することができる。
状態情報取得部３１３は、他の装置（例えば、情報処理装置Ｂや情報処理装置Ｃ）との通信に基づいて、ネットワーク１６０の通信負荷の状態を示す状態情報を取得する。状態情報は、例えば、情報処理装置１００Ａが他の装置と通信を行うために要する時間に関する情報であり、状態情報取得部３１３は、一定量の情報を他の装置と定期的に通信して、状態情報を取得する。
状態情報取得部３１３は、通信部２１３を介して、定期的に他の装置と通信を行い、基準となる通信時間（閾値）に対して遅れが生じているか否かを判定する。状態情報が通信時間（閾値）以上の場合、状態情報取得部３１３は、ネットワークの通信負荷が閾値以上の高負荷になったと判定する。一方、状態情報が通信時間（閾値）未満の場合、状態情報取得部３１３は、ネットワークの通信負荷が閾値未満の低負荷と判定する。
図７は通信負荷に基づいて制御する動画情報の送信または被写体情報の送信を例示的に説明する図であり、横軸は時間を示し、縦軸は通信負荷を示す。通信負荷は時間経過により変動し、通信負荷が閾値以上となる場合、送信制御部３１４による被写体情報の送信領域となる。被写体情報の送信領域では、送信制御部３１４は被写体情報と音声情報とを他の装置に送信する。また、通信負荷が閾値未満となる場合、送信制御部３１４による動画情報の送信領域となる。動画情報の送信領域では、送信制御部３１４は動画情報と音声情報とを他の装置に送信する。
送信制御部３１４は、状態情報が閾値以上か否かの判定に基づいて、ネットワーク１６０を介して、動画情報または被写体情報と、音声情報とを他の装置に送信する送信制御を行う。ここで、動画情報は撮影部２１７で撮影された情報であり、被写体情報は、被写体情報取得部３１２により取得された情報である（図４の４０３）。
送信制御部３１４は、状態情報が閾値以上の場合、被写体情報と音声情報とを他の装置に送信し、状態情報が閾値未満の場合、動画情報と音声情報とを他の装置に送信する。送信制御部３１４は他の装置に情報を送信する際に、動画情報または被写体情報を区別することが可能な属性情報を送信情報に組み合わせて送信する。情報の受信側では、通信部２１３は、属性情報に基づいて、動画情報または被写体情報を区別することができる。
通信部２１３が、ネットワーク１６０の通信負荷が閾値以上の高負荷になったことにより、他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および音声情報を受信した場合に、生成部３１１は、被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を記憶部２１２から選択し、選択した動画情報の被写体画像の各部位と被写体情報との位置ずれから算出した動作量に従って、被写体画像を変位させた動画情報（再現動画情報）を被写体の動画情報として生成する。
生成部３１１は、通信部２１３が被写体情報を他の装置から受信すると、被写体情報の特徴に基づいて、対応する被写体（人物）が撮影された動画情報を記憶部２１２から選択する。生成部３１１は、被写体情報を用いた認証処理（例えば、顔認証技術）により、動画情報に撮影されている被写体（人物）から被写体情報の被写体に対応する被写体を同一の被写体として特定する。
そして、同一の被写体（人物）を特定できた場合、生成部３１１は、特定した同一の被写体（人物）が撮影された動画情報を記憶部２１２から選択する。生成部３１１は、認証処理に基づいた、被写体情報と記憶部に記憶されている動画情報との比較により、被写体の類似度が最も高い動画情報の被写体画像を、同一の被写体（人物）が撮影された動画情報の被写体画像として選択し、当該選択された被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた動画情報（再現動画情報）を生成する。認証処理に基づいた、被写体情報と記憶部２１２に記憶されている動画情報との比較により、被写体の類似度が最も高い動画情報の被写体画像を同一の被写体が撮影された動画情報の被写体画像として選択することにより、より精度の高い再現動画情報を生成することが可能になる。
動画情報の候補が複数ある場合、生成部３１１は、被写体情報のフレーム及び動画情報のフレームに対して類似度の比較を行い、類似度の最も高いフレームを有する動画情報の被写体画像を選択する。動画情報の候補が複数ある場合であっても、フレーム単位で類似度の比較を行うことにより、生成部３１１は、被写体情報のフレームにおける撮影シーン（例えば、笑顔で話している、立った状態で話している、着席した状態で話しているなど）に最も近い動画情報の被写体画像を選択することができる。
生成部３１１が動画情報の被写体画像を選択すると、生成部３１１は、被写体情報における被写体の特徴部位と、動画情報の被写体画像における被写体の特徴部位との対応付けを行い、各特徴部位のずれを被写体の動作を表す特徴部位ベクトルとして算出する。生成部３１１は、特徴部位ベクトルの方向や大きさに基づいて、各特徴部位の動作量を算出する。生成部３１１は、動画情報の被写体画像における被写体の各特徴部位を、算出した動作量に従って変位させる。
また、各特徴部位以外のその他の部位（周辺部位）に関しては、特徴部位および周辺部位の相対的な位置関係と、特徴部位について算出した動作量と、に基づいて、周辺部位の動作量を算出する。生成部３１１は、動画情報の被写体画像における被写体の周辺部位を、算出した周辺部位の動作量に従って変位させる。
生成部３１１は、記憶部２１２から選択した動画情報の被写体画像における被写体の各特徴部位および周辺部位を、それぞれ算出した動作量に従って変位させた被写体画像を、被写体情報に基づいた動画情報（再現動画情報）として生成する。
情報処理部３１０は、生成部３１１により動画情報（再現動画情報）が生成された場合、音声情報に対応する動画情報として再現動画情報を表示部２１５に表示させる。
動画更新部３１５は、被写体情報のフレーム間で撮影されている被写体の比較の結果、または、操作部２１４からの入力に基づいたタイミングで記憶部２１２に記憶されている動画情報を更新する。動画情報を更新するタイミングとして、動画更新部３１５は、他の装置から受信した被写体情報のフレーム間で撮影されている被写体の比較を行い、新たな被写体が撮影されていると判定する場合、被写体情報の送信元の他の装置に、動画情報のみの送信を要求する。そして、動画更新部３１５は送信の要求に対して他の装置から送信された動画情報に基づいて、記憶部２１２に記憶された動画情報の更新を行う。
例えば、被写体情報のフレームＦ１には被写体Ａが撮影されているときに、被写体情報の次のフレームＦ２で、被写体Ａと新しい被写体Ｂが撮影されている場合、被写体Ｂの情報を記憶部２１２に記憶するために、被写体情報の送信元の他の装置に、動画情報のみの送信を要求し、送信の要求に対して他の装置から送信された動画情報（被写体Ａと新しい被写体Ｂが撮影されている動画情報）に基づいて、記憶部に記憶された動画情報の更新を行う。これにより、被写体情報のフレーム間で撮影されている被写体の比較を行い、新たな被写体が撮影されていると判定する場合、新たな被写体が撮影されている動画情報に基づいて、記憶部２１２に記憶されている動画情報を更新することができる。
また、動画情報を更新するタイミングとして、動画更新部３１５は、操作部２１４からの入力に基づいて、音声入力部２１８の動作がオフにされた場合、他の装置に音声入力部２１８のオフ状態を通知し、被写体情報の送信元の他の装置に、動画情報のみの送信を要求する。そして、動画更新部３１５は送信の要求に対して他の装置から送信された動画情報に基づいて、記憶部２１２に記憶された動画情報の更新を行う。これにより、動画情報の通信の遅延の影響を受けない、音声入力部の動作がオフにされたタイミングで、記憶部２１２に記憶されている動画情報を更新することができる。
動画補正部３１６は、他の装置の撮影部で撮影された動画情報および生成部３１１で生成された動画情報（再現動画情報）を補正する。動画補正部３１６は、動画情報および再現動画情報における被写体の視線が撮影部に合うように動画情報および再現動画情報を補正する。これにより、ネットワークを介して他の装置との間で動画情報および音声情報の送受信を行い、テレビ会議を行う場合に、被写体画像における視線の方向を、より自然な方向に向けた双方向の通信を行うことが可能になる。
（情報の受信処理例）
次に、情報処理装置１００Ａにおける情報処理の流れを説明する。図５は、情報処理装置１００Ａにおける情報の受信処理の流れを説明する図である。
ＳＴ５０１において、通信部２１３は、ネットワーク１６０を介して他の装置から、動画情報および音声情報、または、ネットワーク１６０の通信負荷が閾値以上の高負荷になったことにより、他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および音声情報、を受信する。通信部２１３が受信する情報には、動画情報または被写体情報を区別することが可能な属性情報が組み合わせられており、属性情報に基づいて、音声情報とともに受信した情報の種別（動画情報または被写体情報）を判定することができる。
ＳＴ５０２において、通信部２１３が動画情報および音声情報を受信した場合（ＳＴ５０２−Ｙｅｓ）、ＳＴ５０３において、記憶部２１２は、通信部２１３がネットワーク１６０を介して受信した動画情報を記憶する。
ＳＴ５０４において、情報処理部３１０は、ネットワーク１６０を介して他の装置から受信した音声情報を音声出力部２１６から出力させ、音声情報に対応する動画情報を表示部２１５に表示させる。
ＳＴ５０５において、動画更新部３１５は、記憶部２１２に記憶された動画情報の更新を行うか判定する。動画情報の更新のタイミングとして、動画更新部３１５は、被写体情報のフレーム間で撮影されている被写体の比較の結果、または、操作部２１４からの入力に基づいたタイミングで記憶部２１２に記憶されている動画情報を更新することが可能である。
動画情報の更新を行う場合（ＳＴ５０５−Ｙｅｓ）、ＳＴ５０６において、動画更新部３１５は、被写体情報の送信元の他の装置に、動画情報のみの送信を要求する。そして、ＳＴ５０７において、動画更新部３１５は送信の要求に対して他の装置から送信された動画情報に基づいて、記憶部２１２に記憶された動画情報の更新を行う。
一方、ＳＴ５０５の判定で、動画情報の更新を行わない場合（ＳＴ５０５−Ｎｏ）、情報処理装置１００Ａは処理をＳＴ５０１に戻し、同様の処理を繰り返し実行する。
ＳＴ５０２の判定において、通信部２１３が被写体情報および音声情報を受信した場合（ＳＴ５０２−Ｎｏ）、ＳＴ５０８において、生成部３１１は、被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を記憶部２１２から選択する。ＳＴ５０９において、生成部３１１は、ＳＴ５０８で選択した動画情報の被写体画像の各部位と被写体情報との位置ずれから算出した動作量に従って、被写体画像を変位させた動画情報（再現動画情報）を被写体の動画情報として生成する。
そして、Ｓ５１０において、情報処理部３１０は、生成部３１１により動画情報（再現動画情報）が生成された場合、音声情報に対応する動画情報として再現動画情報を表示部２１５に表示させる。情報処理部３１０は、動画情報（再現動画情報）と音声情報とを同期させた再生制御を行う。
（情報の送信処理例）
図６は情報処理装置１００Ａにおける情報の送信処理の流れを説明する図である。ＳＴ６０１において、撮影部２１７は動画撮影により被写体(人物)の動画情報を入力し、音声入力部２１８は、被写体(人物)の画像を撮影部２１７で撮影するのに合わせて、被写体(人物)の音声情報を取得する。
ＳＴ６０２において、被写体情報取得部３１２は、撮影部２１７により撮影された動画情報から被写体を部分的に抽出した被写体情報を取得する。
ＳＴ６０３において、状態情報取得部３１３は、他の装置との通信に基づいて、ネットワーク１６０の通信負荷の状態を示す状態情報を取得する。
ＳＴ６０４において、状態情報取得部３１３は、通信部２１３を介して、定期的に他の装置と通信を行い、基準となる通信時間（閾値）に対して遅れが生じているか否かを判定する。
ＳＴ６０４の判定で、状態情報が通信時間（閾値）以上の場合（ＳＴ６０４−ＹＥＳ）、状態情報取得部３１３は、ネットワークの通信負荷が閾値以上の高負荷になったと判定する。そして、ＳＴ６０５において、送信制御部３１４は、状態情報が閾値以上の場合、被写体情報と音声情報とを他の装置に送信する。被写体情報と音声情報とを他の装置に送信する際に、送信制御部３１４は、動画情報または被写体情報を区別することが可能な属性情報を送信情報に組み合わせて送信する。属性情報を送信情報（被写体情報および音声情報）と組み合わせて送信することにより、情報の受信側では、属性情報に基づいて、動画情報または被写体情報を区別することができる。
一方、ＳＴ６０４の判定で、状態情報が通信時間（閾値）未満の場合、状態情報取得部３１３は、ネットワークの通信負荷が閾値未満の低負荷と判定する。そして、ＳＴ６０６において、送信制御部３１４は、状態情報が閾値以上の場合、被写体情報と音声情報とを他の装置に送信し、状態情報が閾値未満の場合、動画情報と音声情報とを他の装置に送信する。動画情報と音声情報とを他の装置に送信する際に、送信制御部３１４は、動画情報または被写体情報を区別することが可能な属性情報を送信情報に組み合わせて送信する。属性情報を送信情報（動画情報および音声情報）と組み合わせて送信することにより、情報の受信側では、属性情報に基づいて、動画情報または被写体情報を区別することができる。
[その他の実施形態]
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
１０：情報処理システム、１００Ａ：情報処理装置、２１０：ＣＰＵ、
２１２：記憶部、２１３：通信部、２１４：操作部、２１５：表示部、
２１６：音声出力部、２１７：撮影部、２１８：音声入力部、
３１０：情報処理部、３１１：生成部、３１２：被写体情報取得部、
３１３：状態情報取得部、３１４：送信制御部、３１５：動画更新部、
３１６：動画補正部

Claims (11)

  1. ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置であって、
    前記ネットワークを介して前記他の装置から、前記動画情報および前記音声情報、または、前記ネットワークの通信負荷が閾値以上の高負荷になったことにより、前記他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および前記音声情報、を受信する通信部と、
    前記通信部が前記他の装置から前記動画情報および前記音声情報を受信した場合、前記音声情報を音声出力部から出力させ、前記音声情報に対応する前記動画情報を表示部に表示させる情報処理部と、
    前記動画情報を記憶する記憶部と、
    前記通信部が前記被写体情報および前記音声情報を受信した場合に、前記被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を前記記憶部から選択し、前記被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた再現動画情報を生成する生成部と、を備え、
    前記情報処理部は、前記生成部により前記再現動画情報が生成された場合、前記音声情報に対応する前記動画情報として前記再現動画情報を前記表示部に表示させることを特徴とする情報処理装置。
  2. 被写体の音声情報を入力する音声入力部と、
    前記被写体の動画情報を撮影する撮影部と、
    前記撮影部により撮影された動画情報から前記被写体を部分的に抽出した被写体情報を取得する被写体情報取得部と、
    前記他の装置との通信に基づいて、前記ネットワークの通信負荷の状態を示す状態情報を取得する状態情報取得部と、
    前記状態情報が閾値以上か否かの判定に基づいて、前記ネットワークを介して、前記動画情報または前記被写体情報と、前記音声情報とを前記他の装置に送信する送信制御を行う送信制御部と、
    を更に備えることを特徴とする請求項１に記載の情報処理装置。
  3. 前記送信制御部は、
    前記状態情報が閾値以上の場合、前記被写体情報と前記音声情報とを前記他の装置に送信し、
    前記状態情報が閾値未満の場合、前記動画情報と前記音声情報とを前記他の装置に送信することを特徴とする請求項２に記載の情報処理装置。
  4. 前記被写体情報のフレーム間で撮影されている被写体の比較の結果、または、操作部からの入力に基づいたタイミングで前記記憶部に記憶されている前記動画情報を更新する動画更新部を更に備えることを特徴とする請求項２に記載の情報処理装置。
  5. 前記動画更新部は、
    前記他の装置から受信した前記被写体情報のフレーム間で撮影されている被写体の比較を行い、新たな被写体が撮影されていると判定する場合、前記被写体情報の送信元の前記他の装置に動画情報のみの送信を要求し、
    前記送信の要求に対して前記他の装置から送信された動画情報に基づいて、前記記憶部に記憶された前記動画情報の更新を行うことを特徴とする請求項４に記載の情報処理装置。
  6. 前記動画更新部は、
    操作部からの入力に基づいて、前記音声入力部の動作がオフにされた場合、前記被写体情報の送信元の前記他の装置に動画情報のみの送信を要求し、
    前記送信の要求に対して前記他の装置から送信された動画情報に基づいて、前記記憶部に記憶された前記動画情報の更新を行うことを特徴とする請求項４に記載の情報処理装置。
  7. 前記撮影部で撮影された前記動画情報および前記生成部で生成された前記再現動画情報を補正する動画補正部を更に備え、
    前記動画補正部は、前記動画情報および前記再現動画情報における前記被写体の視線が前記撮影部に合うように前記動画情報および前記再現動画情報を補正することを特徴とする請求項２に記載の情報処理装置。
  8. 前記生成部は、前記認証処理に基づいた、前記被写体情報と前記記憶部に記憶されている前記動画情報との比較により、前記被写体の類似度が最も高い動画情報の被写体画像を同一の被写体が撮影された動画情報の被写体画像として選択し、当該動画情報の被写体画像を用いて前記再現動画情報を生成することを特徴とする請求項１または７に記載の情報処理装置。
  9. ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置を有する情報処理システムであって、前記情報処理装置は、
    前記ネットワークを介して前記他の装置から、前記動画情報および前記音声情報、または、前記ネットワークの通信負荷が閾値以上の高負荷になったことにより、前記他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および前記音声情報、を受信する通信部と、
    前記通信部が前記他の装置から前記動画情報および前記音声情報を受信した場合、前記音声情報を音声出力部から出力させ、前記音声情報に対応する前記動画情報を表示部に表示させる情報処理部と、
    前記動画情報を記憶する記憶部と、
    前記通信部が前記被写体情報および前記音声情報を受信した場合に、前記被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を前記記憶部から選択し、前記被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた再現動画情報を生成する生成部と、を備え、
    前記情報処理部は、前記生成部により前記再現動画情報が生成された場合、前記音声情報に対応する前記動画情報として前記再現動画情報を前記表示部に表示させることを特徴とする情報処理システム。
  10. ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置の情報処理方法であって、
    前記ネットワークを介して前記他の装置から、前記動画情報および前記音声情報、または、前記ネットワークの通信負荷が閾値以上の高負荷になったことにより、前記他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および前記音声情報、を受信する通信工程と、
    前記通信工程で前記他の装置から前記動画情報および前記音声情報を受信した場合、前記音声情報を音声出力部から出力させ、前記音声情報に対応する前記動画情報を表示部に表示させる情報処理工程と、
    前記動画情報を記憶部に記憶する記憶工程と、
    前記通信工程で前記被写体情報および前記音声情報を受信した場合に、前記被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を前記記憶部から選択し、前記被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた再現動画情報を生成する生成工程と、
    前記生成工程で前記再現動画情報が生成された場合、前記音声情報に対応する前記動画情報として前記再現動画情報を前記表示部に表示させる工程と、
    を有することを特徴とする情報処理方法。
  11. コンピュータに、ネットワークを介して他の装置との間で動画情報および音声情報の送受信が可能な情報処理装置の情報処理方法の各工程を実行させるプログラムであって、前記情報処理方法が、
    前記ネットワークを介して前記他の装置から、前記動画情報および前記音声情報、または、前記ネットワークの通信負荷が閾値以上の高負荷になったことにより、前記他の装置の撮影部で撮影されている被写体の特徴部位を離散的に抽出した被写体情報および前記音声情報、を受信する通信工程と、
    前記通信工程で前記他の装置から前記動画情報および前記音声情報を受信した場合、前記音声情報を音声出力部から出力させ、前記音声情報に対応する前記動画情報を表示部に表示させる情報処理工程と、
    前記動画情報を記憶部に記憶する記憶工程と、
    前記通信工程で前記被写体情報および前記音声情報を受信した場合に、前記被写体情報を用いた認証処理により同一の被写体が撮影された動画情報の被写体画像を前記記憶部から選択し、前記被写体画像の各部位と前記被写体情報との位置ずれから算出した動作量に従って、前記被写体画像を変位させた再現動画情報を生成する生成工程と、
    前記生成工程で前記再現動画情報が生成された場合、前記音声情報に対応する前記動画情報として前記再現動画情報を前記表示部に表示させる工程と、
    を有することを特徴とするプログラム。
JP2020046807A 2020-03-17 2020-03-17 情報処理装置、情報処理システム、情報処理方法およびプログラム Active JP7017596B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020046807A JP7017596B2 (ja) 2020-03-17 2020-03-17 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN202110261210.6A CN113411632B (zh) 2020-03-17 2021-03-10 信息处理装置、信息处理系统、信息处理方法以及存储介质
US17/199,592 US20210297728A1 (en) 2020-03-17 2021-03-12 Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020046807A JP7017596B2 (ja) 2020-03-17 2020-03-17 情報処理装置、情報処理システム、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021150735A true JP2021150735A (ja) 2021-09-27
JP7017596B2 JP7017596B2 (ja) 2022-02-08

Family

ID=77691421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020046807A Active JP7017596B2 (ja) 2020-03-17 2020-03-17 情報処理装置、情報処理システム、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20210297728A1 (ja)
JP (1) JP7017596B2 (ja)
CN (1) CN113411632B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239393A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 通信制御装置、通信制御方法、通信制御プログラム
JP2017512420A (ja) * 2014-02-25 2017-05-18 アルカテル−ルーセント モデルを使用して動画配信における遅延を低減するためのシステムおよび方法
WO2017155126A1 (ja) * 2016-03-08 2017-09-14 一般社団法人 日本画像認識協会 情報伝送システム、情報送信装置、情報受信装置、およびコンピュータプログラム
JP2020017242A (ja) * 2018-07-25 2020-01-30 株式会社バーチャルキャスト ３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163914A (ja) * 2001-11-26 2003-06-06 Kubota Corp 監視システム及び画像伝送ユニット
JP5567021B2 (ja) * 2008-10-07 2014-08-06 ユークリッド・ディスカバリーズ・エルエルシー 特徴を基礎とするビデオ圧縮
JP6567946B2 (ja) * 2014-11-04 2019-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 遠隔カメラ制御方法、遠隔撮影システムおよびサーバ
JP2016178419A (ja) * 2015-03-19 2016-10-06 株式会社リコー 通信制御装置、通信システム、通信制御方法およびプログラム
US10182248B2 (en) * 2016-11-21 2019-01-15 Cisco Technology, Inc. Keyframe mitigation for video streams with multiple receivers
KR102256110B1 (ko) * 2017-05-26 2021-05-26 라인 가부시키가이샤 영상 압축 방법 및 영상 복원 방법
JP6560421B1 (ja) * 2018-09-19 2019-08-14 株式会社トライフォート 情報処理システム、情報処理方法及び情報処理プログラム
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239393A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 通信制御装置、通信制御方法、通信制御プログラム
JP2017512420A (ja) * 2014-02-25 2017-05-18 アルカテル−ルーセント モデルを使用して動画配信における遅延を低減するためのシステムおよび方法
WO2017155126A1 (ja) * 2016-03-08 2017-09-14 一般社団法人 日本画像認識協会 情報伝送システム、情報送信装置、情報受信装置、およびコンピュータプログラム
JP2020017242A (ja) * 2018-07-25 2020-01-30 株式会社バーチャルキャスト ３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラム

Also Published As

Publication number Publication date
CN113411632A (zh) 2021-09-17
US20210297728A1 (en) 2021-09-23
JP7017596B2 (ja) 2022-02-08
CN113411632B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
US11218649B2 (en) Photographing method, apparatus, and device
JP5450739B2 (ja) 画像処理装置及び画像表示装置
CN110719392B (zh) 可移动摄像设备、拍摄控制方法、控制设备及存储介质
US20230132407A1 (en) Method and device of video virtual background image processing and computer apparatus
JP6330036B2 (ja) 画像処理装置及び画像表示装置
US9445045B2 (en) Video conferencing device for a communications device and method of manufacturing and using the same
KR20200140368A (ko) 화상 회의를 위한 보충 콘텐츠를 이용한 비디오 스트림들의 수정
TW201901527A (zh) 視訊會議裝置與視訊會議管理方法
CN105190511A (zh) 图像处理方法、图像处理装置和图像处理程序
US10523820B2 (en) High-quality audio/visual conferencing
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
US20200195905A1 (en) Method and apparatus for obtaining image, storage medium and electronic device
JP6096654B2 (ja) 画像の記録方法、電子機器およびコンピュータ・プログラム
CN109194916B (zh) 一种具有图像处理模块的可移动拍摄系统
JP6533761B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP7017596B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP2015191358A (ja) 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体
JP2015119335A (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
JP2014027365A (ja) 撮影機器
JP2004118563A (ja) 文字画像処理方法および装置並びにプログラム
KR20170127354A (ko) 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
CN110913161B (zh) 一种竖屏录制横幅视频的方法和装置
WO2017166081A1 (zh) 终端的图像配准方法、装置和终端
CN111866391B (zh) 一种视频拍摄方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220127

R150 Certificate of patent or registration of utility model

Ref document number: 7017596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150