JP2014120830A - 情報処理装置およびその制御方法 - Google Patents

情報処理装置およびその制御方法 Download PDF

Info

Publication number
JP2014120830A
JP2014120830A JP2012272940A JP2012272940A JP2014120830A JP 2014120830 A JP2014120830 A JP 2014120830A JP 2012272940 A JP2012272940 A JP 2012272940A JP 2012272940 A JP2012272940 A JP 2012272940A JP 2014120830 A JP2014120830 A JP 2014120830A
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
delay time
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012272940A
Other languages
English (en)
Other versions
JP5974881B2 (ja
Inventor
Sho Amano
翔 天野
Tomoya Yamaura
智也 山浦
Yasushi Katayama
靖 片山
Hideyuki Suzuki
英之 鈴木
Yoshihiko Ikenaga
慶彦 池長
Kimiya Kato
公也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012272940A priority Critical patent/JP5974881B2/ja
Priority to PCT/JP2013/005309 priority patent/WO2014091643A1/en
Priority to US14/647,411 priority patent/US10098080B2/en
Publication of JP2014120830A publication Critical patent/JP2014120830A/ja
Application granted granted Critical
Publication of JP5974881B2 publication Critical patent/JP5974881B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/364—Delay profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H04L7/0033—Correction by delay
    • H04L7/0041—Delay of data signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】適切な遅延時間とする。
【解決手段】情報処理装置は、取得部および制御部を具備する情報処理装置である。ここで、その取得部は、無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間を取得するものである。また、その制御部は、その取得部により取得された遅延時間（無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間）に基づいて、無線通信を利用した他の情報処理装置へのデータ送信に係る設定内容を決定するための制御を行うものである。
【選択図】図２

Description

本技術は、情報処理装置に関する。詳しくは、無線通信を利用して各種情報のやり取りを行う情報処理装置およびその制御方法に関する。
従来、無線通信を利用して各種データのやり取りを行う無線通信技術が存在する。例えば、２つの無線通信装置間において無線通信により各種データのやり取りを行う情報交換装置が提案されている（例えば、特許文献１参照。）。
特開２００８−２７８３８８号公報
上述の従来技術によれば、有線回線で接続しなくても無線通信により２つの無線通信装置間において各種データのやり取りを行うことができる。ただし、このように２つの無線通信装置間において各種データのやり取りを行う場合には、無線通信による遅延が発生することがある。
ここで、例えば、送信側の情報処理装置から送信された画像データに基づく画像を表示部に表示している受信側の情報処理装置において、その画像に関する操作を行うための操作入力をユーザが行う場合を想定する。この場合には、その操作入力が反映された画像データに基づく画像が表示部に表示されるまでの時間は、その遅延分だけ遅くなることが想定される。このように、その操作入力が反映された画像が表示されるまでの時間が長くなると、ユーザが違和感を覚えることが想定される。この場合には、ユーザの興味が低減してしまうことも想定される。そこで、適切な遅延時間としてユーザの興味を高めることが重要となる。
本技術はこのような状況に鑑みて生み出されたものであり、適切な遅延時間とすることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間を取得する取得部と、上記取得された遅延時間に基づいて上記他の情報処理装置へのデータ送信に係る設定内容を決定するための制御を行う制御部とを具備する情報処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間に基づいて、他の情報処理装置へのデータ送信に係る設定内容を決定するという作用をもたらす。
また、この第１の側面において、上記取得部は、上記他の情報処理装置へのデータ送信に用いられる複数のパラメータについて計測された上記遅延時間を上記パラメータ毎に取得し、上記制御部は、上記取得された遅延時間のうちの最も値が小さい遅延時間に対応するパラメータを上記設定内容として決定するようにしてもよい。これにより、取得された遅延時間のうちの最も値が小さい遅延時間に対応するパラメータを決定するという作用をもたらす。
また、この第１の側面において、上記制御部は、上記遅延時間を上記パラメータ毎に計測するため、上記複数のパラメータを順次設定するようにしてもよい。これにより、遅延時間をパラメータ毎に計測するため、複数のパラメータを順次設定するという作用をもたらす。
また、この第１の側面において、上記制御部は、上記他の情報処理装置への送信対象となるデータをエンコードする際に用いられるパラメータを上記設定内容として決定するようにしてもよい。これにより、他の情報処理装置への送信対象となるデータをエンコードする際に用いられるパラメータを決定するという作用をもたらす。
また、この第１の側面において、上記他の情報処理装置への送信対象となるデータを記憶する記憶部と、上記他の情報処理装置から出力された上記データを取得するデータ取得部とをさらに具備し、上記取得部は、上記記憶されたデータと上記取得されたデータとの比較結果に基づいて上記遅延時間を算出するようにしてもよい。これにより、記憶部に記憶されたデータと、取得されたデータとの比較結果に基づいて遅延時間を算出するという作用をもたらす。
また、この第１の側面において、上記取得部は、上記他の情報処理装置への送信対象となる画像データと上記他の情報処理装置から出力された当該画像データとの比較結果と、上記他の情報処理装置への送信対象となる音声データと上記他の情報処理装置から出力された当該音声データとの比較結果とに基づいて上記遅延時間を算出するようにしてもよい。これにより、他の情報処理装置への送信対象となる画像データと、他の情報処理装置から出力されたその画像データとの比較結果と、他の情報処理装置への送信対象となる音声データと、他の情報処理装置から出力されたその音声データとの比較結果とに基づいて遅延時間を算出するという作用をもたらす。
また、この第１の側面において、上記画像データを、上記遅延時間を測定するためのテスト画像データとし、上記音声データを、上記遅延時間を測定するためのテスト音声データとするようにしてもよい。これにより、テスト画像データおよびテスト音声データを用いて遅延時間を測定するという作用をもたらす。
本技術によれば、適切な遅延時間とすることができるという優れた効果を奏し得る。
本技術の実施の形態における通信システム１００の構成例を示す図である。 本技術の実施の形態における情報処理装置２００の機能構成例を示すブロック図である。 本技術の実施の形態における画像情報記憶部２５０および音声情報記憶部２５５の記憶内容の一例を示す図である。 本技術の実施の形態における遅延時間情報記憶部２８０の記憶内容の一例を示す図である。 本技術の実施の形態における情報処理装置３００の機能構成例を示すブロック図である。 本技術の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の実施の形態における情報処理装置２００によるパラメータ設定制御処理の処理手順の一例を示すフローチャートである。 本技術の実施の形態における情報処理装置３００によるデータ受信処理の処理手順の一例を示すフローチャートである。 本技術の実施の形態の変形例における情報処理装置６００の機能構成例を示すブロック図である。 本技術の実施の形態の変形例における情報処理装置７００の機能構成例を示すブロック図である。 本技術の実施の形態の変形例における画像情報記憶部６４０および７３０の記憶内容の一例を示す図である。 本技術の実施の形態の変形例における通信システム８００の構成例を示す図である。 本技術の実施の形態の変形における情報処理装置８１０および撮像装置８５０の機能構成例を示すブロック図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態（パラメータ設定制御：送信機器および受信機器間における無線通信による遅延時間に基づいてエンコードパラメータを決定する例）
２．変形例
＜１．実施の形態＞
［通信システムの構成例］
図１は、本技術の実施の形態における通信システム１００の構成例を示す図である。図１では、２つの情報処理装置（情報処理装置２００および３００）を直接無線接続する際におけるシステム構成の一例を示す。
通信システム１００は、情報処理装置２００および３００を備える。情報処理装置２００は、例えば、無線通信機能を備える送信機器（例えば、画像（映像）および音声をネットワークを通じて送信する電子機器）である。また、情報処理装置３００は、例えば、無線通信機能を備える受信機器（例えば、ネットワークから受信した画像および音声を出力する電子機器）である。
例えば、情報処理装置２００および３００は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１仕様に準拠した無線通信装置である。そして、情報処理装置２００および３００は、無線通信機能を利用して各種情報のやり取りを行うことができる。
ここで、通信システム１００に用いられる無線通信として、例えば、無線ＬＡＮ（Local Area Network）を用いることができる。この無線ＬＡＮとして、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity） Ｄｉｒｅｃｔ、ＴＤＬＳ（Tunneled Direct Link Setup）、アドホックネットワークを用いることができる。また、通信システム１００に用いられる近距離無線ＡＶ（Audio Visual）伝送通信として、例えば、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔを用いることができる。なお、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔは、Ｗｉ−Ｆｉ ＤｉｒｅｃｔやＴＤＬＳの技術を利用して、一方の端末で再生される音声や表示映像を他の端末に送信し、他の端末でも同様にその音声、映像データを出力させるミラーリング技術である。
また、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔでは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）上でＵＩＢＣ（User Input Back Channel）を実現している。ＵＩＢＣは、一方の端末から他方の端末へマウスやキーボード等の入力機器の操作情報を送信する技術である。なお、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔの代わりに、他のリモートデスクトップソフトウェア（例えば、ＶＮＣ（Virtual Network Computing））を適用するようにしてもよい。
また、情報処理装置２００には、撮像装置４００が装着されている。撮像装置４００は、被写体を撮像して画像データを生成し、この生成された画像データを情報処理装置２００に出力する撮像装置である。また、撮像装置４００は、画像データの生成時における周囲の音声を取得し、この取得された音声に関するデータ（音声データ）を情報処理装置２００に出力する。撮像装置４００は、例えば、マイクロフォン付きのＷｅｂカメラにより実現される。なお、本技術の実施の形態では、別の電子機器として存在する撮像装置４００を情報処理装置２００に装着して使用する例を示すが、撮像装置が内蔵されている情報処理装置を用いるようにしてもよい。
なお、情報処理装置２００は、例えば、無線通信機能を備える携帯型の情報処理装置（例えば、カメラを搭載した電子機器（例えば、パソコン、ゲーム機、スマートフォン、タブレット端末））である。また、情報処理装置３００は、例えば、無線通信機能を備える表示装置（例えば、テレビジョン、プロジェクタ、パーソナルコンピュータ）や携帯型の情報処理装置（例えば、スマートフォン、タブレット端末）である。
また、図１では、情報処理装置２００に装着されている撮像装置４００を用いて、情報処理装置３００の表示部３４１を撮影することができる状態で通信システム１００を使用する例を示す。例えば、無線通信を利用して情報処理装置２００が画像データおよび音声データを送信し、情報処理装置３００がその画像データおよび音声データを受信して出力させることができる。また、撮像装置４００は、情報処理装置３００の表示部３４１に表示される画像を撮影して、その画像データを情報処理装置２００に出力することができる。
ここで、例えば、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔでは、画像（映像）はＨ．２６４を用いて圧縮・展開すると定められている。また、例えば、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔでは、Ｈ．２６４を送信側で調整することができる。なお、例えば、送信機器および受信機器が同じ会社の機器である場合には、適切なパラメータが設定されていることが多いが、送信機器および受信機器が異なる会社の機器である場合に、遅延等の問題が生じやすい。また、Ｈ．２６４は、パラメータの変更が多い。このため、適切なパラメータを設定することが重要である。そこで、本技術の実施の形態では、送信機器および受信機器間における無線通信による遅延時間に基づいて適切なエンコードパラメータを決定する例を示す。
［情報処理装置（送信側）の構成例］
図２は、本技術の実施の形態における情報処理装置２００の機能構成例を示すブロック図である。
情報処理装置２００は、アンテナ２１０と、無線通信部２２０と、画像・音声生成部２３０と、画像・音声圧縮部２４０と、画像情報記憶部２５０と、音声情報記憶部２５５とを備える。また、情報処理装置２００は、データ取得部２６０と、遅延時間算出部２７０と、遅延時間情報記憶部２８０と、制御部２９０とを備える。
無線通信部２２０は、無線通信を利用して、他の情報処理装置（例えば、情報処理装置３００）との間で各情報（例えば、画像データ（映像データ）および音声データ）の送受信をアンテナ２１０を介して行うものである。例えば、画像データの送信処理が行われる場合には、画像・音声生成部２３０により生成された画像データが画像・音声圧縮部２４０により圧縮され、この圧縮された画像データが無線通信部２２０を経由してアンテナ２１０から送信される。
画像・音声生成部２３０は、出力対象となるデータ（画像データ、音声データ）を生成するものであり、生成されたデータを画像・音声圧縮部２４０に出力する。例えば、画像・音声生成部２３０は、表示部２０１（図１に示す）に表示される画像（例えば、ゲームの表示画面、ＣＧ画面、レンダリング）を生成する。また、このように生成されたデータは、他の情報処理装置（例えば、情報処理装置３００）への送信対象となる。また、画像・音声生成部２３０は、生成された画像データを時間情報に関連付けて画像情報記憶部２５０に記録させるとともに、生成された音声データを時間情報に関連付けて音声情報記憶部２５５に記録させる。
画像・音声圧縮部２４０は、制御部２９０により決定されたエンコードパラメータを用いて、画像・音声生成部２３０により生成されたデータ（画像データおよび音声データ）を圧縮（エンコード）するものである。そして、画像・音声圧縮部２４０は、その圧縮されたデータ（画像データおよび音声データ）を無線通信部２２０に出力する。なお、画像・音声圧縮部２４０は、ソフトウエアによるエンコードの実行により実現するようにしてもよく、ハードウエアによるエンコードの実行により実現するようにしてもよい。
画像情報記憶部２５０は、画像・音声生成部２３０により生成された画像データを時間情報に関連付けて記憶するものであり、記憶されている情報（画像情報）を遅延時間算出部２７０に供給する。なお、画像情報記憶部２５０の記憶内容については、図３を参照して詳細に説明する。
音声情報記憶部２５５は、画像・音声生成部２３０により生成された音声データを時間情報に関連付けて記憶するものであり、記憶されている情報（音声情報）を遅延時間算出部２７０に供給する。なお、音声情報記憶部２５５の記憶内容については、図３を参照して詳細に説明する。
データ取得部２６０は、撮像装置４００により生成された画像データおよび音声データを取得するものであり、取得された画像データおよび音声データを遅延時間算出部２７０に供給する。すなわち、データ取得部２６０は、他の情報処理装置から出力されたデータを取得するデータ取得部である。
遅延時間算出部２７０は、画像データおよび音声データの少なくとも１つに基づいて、情報処理装置２００と他の情報処理装置（例えば、情報処理装置３００）との間でデータの送受信を行う際に生じる遅延時間を算出するものである。そして、遅延時間算出部２７０は、算出された遅延時間を遅延時間情報記憶部２８０に記憶させる。
例えば、遅延時間算出部２７０は、画像情報記憶部２５０に記憶されている画像情報と、データ取得部２６０により取得された画像データとを比較し、この比較結果に基づいて遅延時間を算出する。また、例えば、遅延時間算出部２７０は、音声情報記憶部２５５に記憶されている音声情報と、データ取得部２６０により取得された音声データとを比較し、この比較結果に基づいて遅延時間を算出する。また、例えば、遅延時間算出部２７０は、画像データの比較結果と、音声データの比較結果とに基づいて、遅延時間を算出するようにしてもよい。例えば、画像データの比較結果（差分値）と、音声データの比較結果（差分値）との平均値を遅延時間として算出することができる。すなわち、遅延時間算出部２７０は、無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間を取得する。なお、遅延時間算出部２７０は、特許請求の範囲に記載の取得部の一例である。
遅延時間情報記憶部２８０は、画像・音声圧縮部２４０に設定されているエンコードパラメータと、このエンコードパラメータの設定時における遅延時間（遅延時間算出部２７０により算出された遅延時間）とを関連付けて記憶するものである。そして、遅延時間情報記憶部２８０は、記憶されている遅延時間情報を制御部２９０に供給する。なお、遅延時間情報記憶部２８０の記憶内容については、図４を参照して詳細に説明する。
制御部２９０は、情報処理装置２００の各部を制御するものである。例えば、制御部２９０は、画像・音声生成部２３０により生成された画像データおよび音声データを情報処理装置３００に送信する制御を行う。また、制御部２９０は、画像・音声圧縮部２４０におけるエンコードパラメータを設定するための制御を行う。
また、例えば、制御部２９０は、遅延時間算出部２７０により算出された遅延時間に基づいて、他の情報処理装置へのデータ送信に係る設定内容を決定するための制御を行う。この設定内容は、例えば、他の情報処理装置への送信対象となるデータをエンコードする際に用いられるパラメータである。この場合に、制御部２９０は、例えば、その遅延時間をパラメータ毎に計測するため、複数のパラメータを順次設定することができる。また、例えば、制御部２９０は、遅延時間算出部２７０により算出された遅延時間のうちの最も値が小さい遅延時間に対応するパラメータを、その設定内容として決定することができる。
なお、情報処理装置２００は、上述した各部以外にも、表示部２０１（図１に示す）、音声出力部、操作受付部、インジケータ等を備えることができるが、これらについては、図２での図示を省略する。
表示部２０１は、例えば、画像・音声生成部２３０により生成された画像を表示する表示部である。なお、表示部２０１として、例えば、有機ＥＬ（Electro Luminescence）、ＬＣＤ（Liquid Crystal Display）等の表示パネルを用いることができる。インジケータは、遅延時間を計測中か否かを示すインジケータである。
音声出力部（図示せず）は、例えば、画像・音声生成部２３０により生成された音声を出力する音声出力部（例えば、スピーカ）である。なお、送信機器および受信機器の双方から画像を出力するが、音声については何れか一方のみから出力することが好ましい。このため、送信機の音声を拾ってしまうことは想定していない。
操作受付部（図示せず）は、ユーザにより行われた操作入力を受け付ける操作受付部であり、例えば、キーボード、マウス、ゲームパッド、タッチパネル、カメラである。なお、操作受付部および表示部２０１については、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いて一体で構成することができる。
［画像情報記憶部および音声情報記憶部の記憶内容例］
図３は、本技術の実施の形態における画像情報記憶部２５０および音声情報記憶部２５５の記憶内容の一例を示す図である。図３では、画像・音声生成部２３０が各記憶部（画像情報記憶部２５０および音声情報記憶部２５５）にデータを記録する場合における記憶内容例を示す。図３のａには、画像情報記憶部２５０の記憶内容を示し、図３のｂには、音声情報記憶部２５５の記憶内容を示す。なお、画像情報記憶部２５０および音声情報記憶部２５５は、他の情報処理装置への送信対象となるデータを記憶する記憶部の一例である。すなわち、画像情報記憶部２５０および音声情報記憶部２５５は、特許請求の範囲に記載の記憶部の一例である。
図３のａに示すように、画像情報記憶部２５０には、画像情報２５１と、時間情報２５２とが関連付けて記憶されている。なお、図３のａでは、３０ｆｐｓの例を示す。
画像情報２５１は、画像・音声生成部２３０により生成された画像データ（フレーム）である。なお、図３のａでは、説明の容易のため、画像データ（フレーム）を識別するための番号のみを画像情報２５１に示す。
時間情報２５２は、基準時刻からの経過時間である。例えば、画像・音声圧縮部２４０により最初に生成された画像データ（フレーム）の生成時刻を基準時刻とし、この基準時刻からの経過時間が時間情報２５２に順次記録される。
このように、画像情報記憶部２５０には、画像・音声生成部２３０により生成された画像データ（フレーム）と、この画像データ（フレーム）に関する時間情報（基準時刻からの経過時間）とが関連付けて順次記録される。例えば、フレーム（例えば、３３ｍｓｅｃ）毎に記録される。
図３のｂに示すように、音声情報記憶部２５５には、音声情報２５６と、時間情報２５７とが関連付けて記憶されている。なお、図３のｂでは、４４，１００Ｈｘの例を示す。
音声情報２５６は、画像・音声生成部２３０により生成された音声データ（例えば、テスト用の音声「ポン」）である。なお、図３のｂでは、説明の容易のため、音声データを識別するための番号のみを音声情報２５６に示す。
時間情報２５７は、基準時刻からの経過時間である。例えば、画像・音声圧縮部２４０により最初に生成された画像データ（フレーム）の生成時刻を基準時刻とし、この基準時刻からの経過時間が時間情報２５７に順次記録される。
このように、音声情報記憶部２５５には、画像・音声生成部２３０により生成された音声データと、この音声データに関する時間情報（基準時刻からの経過時間）とが関連付けて順次記録される。
図３では、画像・音声生成部２３０が各記憶部にデータを記録する場合における記憶内容例を示すが、一定時間毎に各記憶部が画像・音声生成部２３０に対して問合せを行うことにより、一定時間毎のデータを順次記録するようにしてもよい。
［遅延時間情報記憶部の記憶内容例］
図４は、本技術の実施の形態における遅延時間情報記憶部２８０の記憶内容の一例を示す図である。
遅延時間情報記憶部２８０には、エンコードパラメータ２８１と、遅延時間２８２とが関連付けて記憶されている。
エンコードパラメータ２８１は、画像・音声圧縮部２４０が、送信対象となる画像データを圧縮（エンコード）する際に用いられるパラメータ（エンコードパラメータ）である。このエンコードパラメータは、制御部２９０により設定される。
遅延時間２８２は、遅延時間算出部２７０により算出された遅延時間である。すなわち、画像・音声圧縮部２４０に設定されているエンコードパラメータの各組合せ（例えば、Ａ乃至Ｘ）について、エンコードパラメータおよび遅延時間が順次記録される。
このように、遅延時間情報記憶部２８０には、遅延時間算出部２７０により算出された遅延時間（情報処理装置３００へのデータ送信に用いられる複数のパラメータについて計測された遅延時間）が、パラメータ毎に記憶される。
［エンコードパラメータおよび遅延時間の関係例］
ここで、エンコードパラメータと遅延時間との関係について説明する。ここでは、近年、動画の圧縮方法として広く用いられているＨ．２６４に関して、遅延時間に関係するエンコードパラメータ（圧縮パラメータ）のうち、いくつかの例について説明する。
［圧縮率（ビットレート）］
基本的に、圧縮率を上げてビットレートの値を低くすることにより、画像データの送信に必要な帯域を減らすことができる。このように、画像データの送信に必要な帯域を減らすことにより、ネットワークが多少混雑したような場合でも、画像データが送信途中で欠落して再送処理が必要となるケースを減少させることができ、遅延を小さくすることができる。
［画像の解像度］
一般的に、解像度が大きくなるほど圧縮、展開に必要な計算量が増え、圧縮処理、展開処理に時間がかかる。このため、画像の解像度を大きくするのに応じて、遅延時間が大きくなると考えられる。
［Ｂフレーム（Bi-directional Predicted Frame）の使用の有無］
Ｂフレームは、時間軸においてそのフレームの前後に位置するＩフレーム（Intra-coded Frame）から予測されるフレームである。すなわち、時間軸においてＢフレームよりも後に位置するＩフレームを受信しない限り、そのＢフレームを表示することができない。このため、送信機器がＢフレームを送信してから、受信機器がそのＢフレームを表示するまでの遅延時間は大きくなる。基本的に、リアルタイム性が要求されるようなアプリケーションの場合には、Ｂフレームは使われないことが多い。
［動き探索の範囲］
動き探索処理は、連続している２枚のフレームにおいて、物体がどの方向にどれだけ動いたかを検出する処理である。この動き探索処理では、探索範囲の上限が定められていることが多い。比較的広い範囲を探索するように設定されている場合には、動画全体の圧縮率を上げることが可能性であるが、送信機器が画像データをエンコード処理する際における負荷が上がる。このため、比較的広い範囲を探索するように設定されている場合には、フレーム送出までの時間が長くなる可能性がある。
［スライスエンコーディングの使用の有無］
スライスエンコーディングは、１つのフレーム全体を圧縮する代わりに、フレームを複数のブロックに分割してそれぞれを圧縮する処理である。スライスエンコーディングを使用すると、１つのフレーム全体の圧縮の完了を待たずに部分的にフレームを送信できるため、遅延時間を短縮することができる。
［デブロッキングフィルタの使用］
一般的に、デブロッキングフィルタを使用すると画質を向上させることができるが、一方でＨ．２６４のデコーダの負荷が大きくなり、受信機器の処理量が増加する。このため、比較的短い時間でデコードするためには、デブロッキングフィルタを採用しない方が好ましい。
ここで、送信機器に内蔵されているエンコーダや受信機器に内蔵されているデコーダが特定の用途に特化して設計されている場合を想定する。この場合には、上述したパラメータ以外のパラメータ（例えば、参照フレーム数、プロファイル、レベル等）の変更も遅延時間の増減に寄与する可能性がある。また、一部の受信機器においては、映像ストリームや音声ストリームに含まれるタイムスタンプ情報が適切に設定されていないと、画像データ、音声データの出力が遅れることがある。なお、そのタイムスタンプ情報は、ＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）と称される。
また、無線通信を行う情報処理装置が複数のコーデック（Ｃｏｄｅｃ）を使用可能である場合には、遅延時間が比較的少なくなるコーデックを選択することが好ましい。例えば、ＭｏｔｉｏｎＪＰＥＧは、各フレームを独立に圧縮する（すなわち、フレーム間の圧縮を行わない）。このため、他のフレームの受信状況に関わらず、そのフレームのデータを受け取った直後にそのフレームを出力することができる。また、例えば、ＭｏｔｉｏｎＪＰＥＧは、圧縮、展開に要する計算量が小さいため、計算に要する時間を短くすることができる。このため、例えば、画像データの圧縮においては、Ｈ．２６４を使用するよりもＭｏｔｉｏｎＪＰＥＧを使用した方が遅延時間を少なくすることができる。
［情報処理装置（受信側）の構成例］
図５は、本技術の実施の形態における情報処理装置３００の機能構成例を示すブロック図である。
情報処理装置３００は、アンテナ３１０と、無線通信部３２０と、画像・音声展開部３３０と、画像・音声出力部３４０とを備える。
無線通信部３２０は、無線通信を利用して、他の情報処理装置（例えば、情報処理装置２００）との間で各情報（例えば、画像データおよび音声データ）の送受信をアンテナ３１０を介して行うものである。例えば、画像データの受信処理が行われる場合には、アンテナ３１０により受信された画像データが、無線通信部３２０を経由して画像・音声展開部３３０により展開（復号）され、この展開された画像データが表示部３４１に供給される。そして、その展開された画像データに応じた画像が表示部３４１に表示される。
画像・音声展開部３３０は、情報処理装置２００から出力されたデータ（画像データおよび音声データ）を展開（デコード）するものであり、展開されたデータ（画像データおよび音声データ）を画像・音声出力部３４０に出力する。なお、画像・音声展開部３３０は、ソフトウエアによるデコードの実行により実現するようにしてもよく、ハードウエアによるデコードの実行により実現するようにしてもよい。
画像・音声出力部３４０は、表示部３４１および音声出力部３４２を備える。
表示部３４１は、画像・音声展開部３３０により展開された画像データに基づく各画像（例えば、図１に示す表示画面）を表示する表示部である。なお、表示部３４１として、例えば、有機ＥＬパネル、ＬＣＤパネル等の表示パネルを用いることができる。なお、表示部３４１として、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
音声出力部３４２は、画像・音声展開部３３０により展開された音声データに基づく各種音声（映画の音声、ゲームの音声等）を出力する音声出力部（例えば、スピーカ）である。
［通信例］
図６は、本技術の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。なお、図６では、送信側の情報処理装置２００および受信側の情報処理装置３００間において、最初に、テスト用の情報の送受信を行う場合における通信処理例を示す。ここで、テスト用の情報は、例えば、遅延時間を測定するためのテスト用の画像データと、遅延時間を測定するためのテスト用の音声データとの少なくとも１つである。なお、テスト用の画像データに基づいて表示される画像（テスト画像）は、例えば、１フレーム毎に数字を付した画像である。また、テスト用の音声データに基づいて出力される音声（テスト音声）は、例えば、所定数のフレーム間隔で設定される所定音（例えば、「ポン」）である。
最初に、送信側の情報処理装置２００は、受信側の情報処理装置３００に画像データおよび音声データを送信するための画像・音声送信の準備を行う（５０１）。この準備には、例えば、無線通信部２２０、画像・音声圧縮部２４０、画像情報記憶部２５０、音声情報記憶部２５５、遅延時間情報記憶部２８０の初期化処理が含まれる。また、送信側の情報処理装置２００の制御部２９０は、この準備において、画像・音声圧縮部２４０におけるエンコードパラメータの初期値を設定する。
ここで、使用するネットワークの種別によっては、この準備の時点（５０１）で無線通信部２２０を制御し、受信機器（受信側の情報処理装置３００）とのネットワーク接続を確立するようにしてもよい。例えば、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔの場合には、ＷＦＤ（Wi-Fi Direct） Ｃｏｎｎｅｃｔｉｏｎ Ｓｅｔｕｐ等の一連の動作において、受信機器とのネットワーク接続を確立することができる。その一連の動作は、例えば、ＷＦＤ Ｄｅｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ、ＷＦＤ Ｓｅｒｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ（Ｏｐｔｉｏｎａｌ）、ＷＦＤ Ｃｏｎｎｅｃｔｉｏｎ Ｓｅｔｕｐである。なお、ＷＦＤ Ｄｅｖｉｃｅ Ｄｉｓｃｏｖｅｒｙは、相手機器を発見する処理である。また、ＷＦＤ Ｓｅｒｖｉｃｅ Ｄｉｓｃｏｖｅｒｙは、相手機器の詳細情報を取得する処理である。また、ＷＦＤ Ｃｏｎｎｅｃｔｉｏｎ Ｓｅｔｕｐは、相手機器とのネットワーク接続を確立する処理である。
また、画像データおよび音声データの伝送方式によっては、この準備の時点（５０１）で受信機器との間で設定情報を交換するようにしてもよい。例えば、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔの場合には、Ｃａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎと呼ばれる事前設定をこの時点で行う。ここで、Ｃａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎは、ＷＦＤのコネクションセットアップが完了した後、ＷＦＤ ｓｅｓｓｉｏｎ ｅｓｔａｂｌｉｓｈｍｅｎｔの前に、ＷＦＤ ＳｏｕｒｃｅとＷＦＤ Ｓｉｎｋ間でＲＴＳＰ（Real Time Streaming Protocol）プロトコルを用いたメッセージシーケンスの交換を行う処理である。
また、受信側の情報処理装置３００は、送信側の情報処理装置２００から画像データおよび音声データを受信するための画像・音声受信の準備を行う（５０２）。この準備には、例えば、無線通信部３２０、画像・音声展開部３３０、画像・音声出力部３４０の初期化処理が含まれる。
ここで、送信側の情報処理装置２００と同様に、使用するネットワークの種別によっては、この準備の時点（５０２）で無線通信部３２０を制御し、送信機器（送信側の情報処理装置２００）とのネットワーク接続を確立するようにしてもよい。また、画像データおよび音声データの伝送方式によっては、この準備の時点（５０２）で送信機器との間で設定情報を交換するようにしてもよい。なお、これらの各処理については、送信側の情報処理装置２００と同様であるため、ここでの説明を省略する。
続いて、送信側の情報処理装置２００は、受信側の情報処理装置３００への画像データおよび音声データの送信を開始する（５０３）。また、送信側の情報処理装置２００は、画像データおよび音声データの送信とともに、画像・音声生成部２３０により生成された画像データおよび音声データを、各記憶部（画像情報記憶部２５０および音声情報記憶部２５５）に順次記録させる（５０３）。
具体的には、画像・音声生成部２３０により生成された画像データおよび音声データが画像・音声圧縮部２４０により圧縮される。そして、その圧縮された画像データおよび音声データが無線通信部２２０を介してストリームとして受信側の情報処理装置３００に送信される（５０３）。また、画像・音声生成部２３０により生成された画像データが画像情報記憶部２５０に順次記録され、画像・音声生成部２３０により生成された音声データが音声情報記憶部２５５に順次記録される（５０３）
また、これ以降も同様に、画像・音声生成部２３０により生成された画像データおよび音声データの送信および記録が順次行われる。なお、画像情報記憶部２５０および音声情報記憶部２５５の記憶容量に制限がある場合も想定される。この場合には、画像・音声生成部２３０により生成された画像データおよび音声データのうちの最新のデータ（例えば、最新の所定秒間のデータ）のみを画像情報記憶部２５０および音声情報記憶部２５５に記録させるようにしてもよい。
また、受信側の情報処理装置３００は、送信側の情報処理装置２００からのストリーム（圧縮された画像データおよび音声データ）の受信を開始する（５０４）。具体的には、送信側の情報処理装置２００からのストリームが無線通信部３２０により受信されると、この受信したストリームが画像・音声展開部３３０に入力されて展開される。そして、その展開された画像データおよび音声データが画像・音声出力部３４０から出力される（５０５）。
続いて、送信側の情報処理装置２００のデータ取得部２６０は、撮像装置４００により生成された画像データおよび音声データを取得する。そして、送信側の情報処理装置２００の遅延時間算出部２７０は、その取得された画像データと、画像情報記憶部２５０に記憶されている画像データとに基づいて、画像データの遅延時間を算出する（５０６）。また、送信側の情報処理装置２００の遅延時間算出部２７０は、その取得された音声データと、音声情報記憶部２５５に記憶されている音声データとに基づいて、音声データの遅延時間を算出する（５０６）。すなわち、遅延時間の測定が行われる（５０６）。
具体的には、遅延時間算出部２７０は、データ取得部２６０により取得された画像データと一致する画像データを、画像情報記憶部２５０から抽出する。例えば、遅延時間算出部２７０は、文字認識技術（例えば、テンプレートマッチング処理）により画像データに含まれる数値を認識することができる。そして、遅延時間算出部２７０は、その抽出された画像データに関連付けられている時間情報と、現在時刻とに基づいて、遅延時間を算出する。例えば、その抽出された画像データに関連付けられている時間情報と、現在時刻との差分値が算出され、この差分値が遅延時間として算出される。
また、音声データについても同様に遅延時間を算出することができる。すなわち、遅延時間算出部２７０は、データ取得部２６０により取得された音声データと一致する音声データを、音声情報記憶部２５５から抽出する。例えば、遅延時間算出部２７０は、音声認識技術（例えば、音声信号（波形）のマッチング処理）により、特定の音声データ（例えば、「ポン」）を認識することができる。そして、遅延時間算出部２７０は、その抽出された音声データに関連付けられている時間情報と、現在時刻とに基づいて、遅延時間を算出する。例えば、その抽出された音声データに関連付けられている時間情報と、現在時刻との差分値が算出され、この差分値が遅延時間として算出される。
このように、遅延時間算出部２７０は、画像データの比較結果と、音声データの比較結果とに基づいて遅延時間を算出することができる。
また、これらの遅延時間の計測については、必要に応じて数秒乃至数十秒間行われる。例えば、遅延時間の計測時間を長くした場合には、計測された遅延時間の平均値を求め、この平均値を遅延時間とすることができる。このように、遅延時間の計測時間を長くすることにより、計測される遅延時間の精度を高めることができる。
ここで、画像データを用いて算出された遅延時間と、音声データを用いて算出された遅延時間とが異なる値となることも想定される。このような場合には、画像データに基づく遅延時間を優先して用いるようにしてもよく、画像データを用いて算出された遅延時間と、音声データを用いて算出された遅延時間との平均値を用いるようにしてもよい。
また、この例では、画像データおよび音声データの双方を用いて遅延時間を計測する例を示したが、画像データおよび音声データの何れか一方を用いて遅延時間を計測するようにしてもよい。
続いて、送信側の情報処理装置２００の遅延時間算出部２７０は、計測により求められた遅延時間と、画像・音声圧縮部２４０に設定されているエンコードパラメータ（圧縮に関する各種設定）とを関連付けて遅延時間情報記憶部２８０に記録させる（５０７）。
続いて、送信側の情報処理装置２００の制御部２９０は、試すことができる他のエンコードパラメータが存在するか否かを判断する。そして、送信側の情報処理装置２００の制御部２９０は、試すことができる他のエンコードパラメータが存在する場合には、画像・音声圧縮部２４０の設定内容を他のエンコードパラメータに変更する（５０８）。
このように、エンコードパラメータの設定が変更された場合には（５０８）、画像・音声生成部２３０により生成された画像データおよび音声データが、変更後のエンコードパラメータを用いて画像・音声圧縮部２４０により圧縮される。そして、その圧縮された画像データおよび音声データが無線通信部２２０を介してストリームとして受信側の情報処理装置３００に送信される（５０３）。また、画像・音声生成部２３０により生成された画像データが画像情報記憶部２５０に順次記録され、画像・音声生成部２３０により生成された音声データが音声情報記憶部２５５に順次記録される（５０３）
このように、送信側の情報処理装置２００は、途中でエンコードパラメータを変更するが、受信側の情報処理装置３００では、その変更に対応する処理を特に行わない。すなわち、受信側の情報処理装置３００は、送信側の情報処理装置２００から送信されたストリーム（画像データおよび音声データ）を受信して順次出力するのみでよい。ただし、以下に示すように、送信側の情報処理装置２００が、明示的にエンコードパラメータの変更を通知することも可能である。このような場合には、受信側の情報処理装置３００は、その通知に基づいて画像・音声展開部３３０や画像・音声出力部３４０の再初期化を行うようにしてもよい。
なお、なんらかの手段により受信側の情報処理装置３００が対応しているエンコードパラメータを予め把握している場合には、送信側の情報処理装置２００は、受信側の情報処理装置３００が対応していないパラメータを試さずに省略することができる。例えば、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔの場合には、上述したＣａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎの手続きにより、送信機器は、受信機器がサポートしている映像フォーマットの種類や解像度等を取得することができる。このため、送信機器がパラメータを変更する場合には、そのように取得された受信機器に関する情報（受信機器がサポートしている映像フォーマットの種類や解像度等）をチェックすることにより、受信機器がサポートしていないものを予め省くことができる。
また、新しいエンコードパラメータを用いてストリームを送信する前に、送信機器は、その以前のストリームの送信を一時的に中断し、受信機器に対して、別の種類のストリームを送信する旨を伝達するようにしてもよい。
また、伝送方式によっては、明示的にエンコードパラメータの変更を別の経路で受信機器に通知することもできる。例えば、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔの場合には、Ｃａｐａｂｉｌｉｔｙ Ｒｅ−ｎｅｇｏｔｉａｔｉｏｎと呼ばれる仕組みにより通知することができる。ここで、Ｃａｐａｂｉｌｉｔｙ Ｒｅ−ｎｅｇｏｔｉａｔｉｏｎは、ＷＦＤ ＳｏｕｒｃｅからＷＦＤ Ｓｉｎｋに対して、画像（映像）の解像度やフレームレートの変更を事前に通知するものである。また、ＷＦＤ Ｓｏｕｒｃｅは、ＷＦＤ Ｓｅｓｓｉｏｎにおけるパラメータを、ＲＴＳＰプロトコルを用いて適宜アップデートすることができる。例えば、Ｗｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔの規格を独自に拡張し、ＲＴＳＰプロトコルでさらに様々なパラメータをアップデートすることができる。そして、このアップデートされたパラメータを用いて遅延時間の測定（５０６）を行うようにしてもよい。
また、エンコードパラメータの設定が変更された場合には（５０８）、送信側の情報処理装置２００は、新たに設定されたエンコードパラメータについて遅延時間の計測（５０６）、遅延時間等の記録（５０７）を行う。すなわち、エンコードパラメータの設定が変更される毎に（５０８）、遅延時間の計測（５０６）、遅延時間等の記録（５０７）が繰り返し行われる。
また、試すことができる全てのエンコードパラメータについて遅延時間の計測（５０６）、遅延時間等の記録（５０７）が行われた場合には、試した中から最適なエンコードパラメータが抽出される（５０９）。具体的には、送信側の情報処理装置２００の制御部２９０は、遅延時間情報記憶部２８０に記憶されている遅延時間のうちから最小値を抽出し、この抽出された最小値の遅延時間に関連付けて記憶されているエンコードパラメータを抽出する（５０９）。例えば、図４に示すように、遅延時間が記録されている場合には、最小値「５」が抽出され、この抽出された最小値の遅延時間に関連付けて記憶されているエンコードパラメータ「Ａ３乃至Ｘ３」が抽出される（５０９）。すなわち、最適なエンコードパラメータが決定される（５０９）。
続いて、送信側の情報処理装置２００の制御部２９０は、その決定されたエンコードパラメータを画像・音声圧縮部２４０に設定する（５１０）。そして、送信側の情報処理装置２００は、新たに設定されたエンコードパラメータを用いて圧縮された画像データおよび音声データの送信を開始する（５１１）。
なお、例えば、測定中である場合には（５０１乃至５１０）、その旨を示すインジケータによりその旨を表示させることができる。また、表示画面上のメッセージ表示によりその旨をユーザに通知するようにしてもよい。
また、受信側の情報処理装置３００は、送信側の情報処理装置２００からのストリーム（圧縮された画像データおよび音声データ）の受信を開始し（５１２）、その受信した画像データおよび音声データを画像・音声出力部３４０から出力する（５１３）。
なお、新しいエンコードパラメータを用いてストリームを送信する前に、送信側の情報処理装置２００は、それ以前のストリームの送信を一時的に中断するようにしてもよい。また、新しいエンコードパラメータを用いてストリームを送信する前に、送信側の情報処理装置２００は、別の経路を用いて新しいエンコードパラメータを受信側の情報処理装置３００に通知するようにしてもよい。
また、図６では、テスト用の情報の送受信を行う際に遅延時間を計測する例を示したが、通常の情報の送受信を行う際に遅延時間を計測するようにしてもよい。例えば、ユーザが通信システム１００を用いてゲームをしている場合に、定期的または不定期に、そのゲームに係る画像データおよび音声データの送受信を行う際の遅延時間を計測することができる。この場合には、定期的または不定期に、最適なエンコードパラメータの決定を行い、最適なエンコードパラメータを適宜設定するようにしてもよい。
この場合に、データ取得部２６０により取得された画像データと一致する画像データを、画像情報記憶部２５０から抽出する場合には、例えば、画像データにおける各画素の輝度の差分値の絶対値に基づいて抽出することができる。例えば、比較対象となる２つの画像データ（データ取得部２６０により取得された画像データ、画像情報記憶部２５０に記憶されている画像データ）を同一サイズとし、各画像データにおける各画素の輝度の差分値の絶対値を算出する。そして、その算出された輝度の差分値の絶対値が最も小さい画像データ（画像情報記憶部２５０の画像データ）を、データ取得部２６０により取得された画像データと一致する画像データとして画像情報記憶部２５０から抽出することができる。
［情報処理装置（送信側）の動作例］
図７は、本技術の実施の形態における情報処理装置２００によるパラメータ設定制御処理の処理手順の一例を示すフローチャートである。なお、この例では、送信側の情報処理装置２００および受信側の情報処理装置３００間で無線通信を行う例を示す。
最初に、制御部２９０は、受信側の情報処理装置３００に画像データおよび音声データを送信するための画像・音声送信の準備を行う（ステップＳ９０１）。この準備には、例えば、無線通信部２２０、画像・音声圧縮部２４０、画像情報記憶部２５０、音声情報記憶部２５５、遅延時間情報記憶部２８０の初期化処理が含まれる。また、制御部２９０は、この準備において、画像・音声圧縮部２４０におけるエンコードパラメータの初期値を設定する。
続いて、制御部２９０は、受信側の情報処理装置３００への画像データおよび音声データの送信を開始するための制御を行う（ステップＳ９０２）。また、制御部２９０は、画像・音声生成部２３０により生成された画像データおよび音声データを、各記憶部（画像情報記憶部２５０および音声情報記憶部２５５）に順次記録させるための制御を行う（ステップＳ９０２）。
続いて、遅延時間の計測が開始されたか、または、遅延時間の計測中であるかが判断される（ステップＳ９０３）。遅延時間の計測が開始されておらず、かつ、遅延時間の計測中でない場合には（ステップＳ９０３）、ステップＳ９１１に進む。
一方、遅延時間の計測が開始された場合、または、遅延時間の計測中である場合には（ステップＳ９０３）、遅延時間の測定が行われる（ステップＳ９０４）。すなわち、遅延時間算出部２７０は、データ取得部２６０により取得された画像データと、画像情報記憶部２５０に記憶されている画像データとに基づいて、画像データの遅延時間を算出する（ステップＳ９０４）。また、遅延時間算出部２７０は、その取得された音声データと、音声情報記憶部２５５に記憶されている音声データとに基づいて、音声データの遅延時間を算出する（ステップＳ９０４）。なお、ステップＳ９０４は、特許請求の範囲に記載の取得手順の一例である。
続いて、遅延時間算出部２７０は、計測により求められた遅延時間と、画像・音声圧縮部２４０に設定されているエンコードパラメータ（圧縮に関する各種設定）とを関連付けて遅延時間情報記憶部２８０に記録させる（ステップＳ９０５）。
続いて、制御部２９０は、試すことができる他のエンコードパラメータが存在するか否かを判断する（ステップＳ９０６）。そして、試すことができる他のエンコードパラメータが存在する場合には（ステップＳ９０６）、制御部２９０は、画像・音声圧縮部２４０の設定内容を他のエンコードパラメータに変更する（ステップＳ９０７）。
続いて、制御部２９０は、変更後のエンコードパラメータを用いた画像データおよび音声データの送信を開始するための制御を行う（ステップＳ９０８）。また、制御部２９０は、画像・音声生成部２３０により生成された画像データおよび音声データを、各記憶部（画像情報記憶部２５０および音声情報記憶部２５５）に順次記録させるための制御を行い（ステップＳ９０８）、ステップＳ９０３に戻る。
続いて、試すことができる他のエンコードパラメータが存在しない場合には（ステップＳ９０６）、制御部２９０は、試した中から最適なエンコードパラメータを決定する（ステップＳ９０９）。なお、ステップＳ９０９は、特許請求の範囲に記載の制御手順の一例である。続いて、制御部２９０は、その決定されたエンコードパラメータを画像・音声圧縮部２４０に設定する（ステップＳ９１０）。続いて、制御部２９０は、新たに設定されたエンコードパラメータを用いた画像データおよび音声データの送信を開始するための制御を行う（ステップＳ９１１）。
続いて、画像・音声の出力終了指示が行われたか否かが判断され（ステップＳ９１２）、画像・音声の出力終了指示が行われていない場合には、ステップＳ９０３に戻る。一方、画像・音声の出力終了指示が行われた場合には（ステップＳ９１２）、パラメータ設定制御処理の動作を終了する。
［情報処理装置（受信側）の動作例］
図８は、本技術の実施の形態における情報処理装置３００によるデータ受信処理の処理手順の一例を示すフローチャートである。なお、この例では、送信側の情報処理装置２００および受信側の情報処理装置３００間で無線通信を行う例を示す。
最初に、送信側の情報処理装置２００から画像データおよび音声データを受信するための画像・音声受信の準備が行われる（ステップＳ９２１）。この準備には、例えば、無線通信部３２０、画像・音声展開部３３０、画像・音声出力部３４０の初期化処理が含まれる。
続いて、送信側の情報処理装置２００からのストリーム（圧縮された画像データおよび音声データ）を受信する（ステップＳ９２２）。続いて、受信したストリームが画像・音声展開部３３０に入力されて展開され、その展開された画像データおよび音声データが画像・音声出力部３４０から出力される（ステップＳ９２３）。
続いて、画像・音声の出力終了指示が行われたか否かが判断され（ステップＳ９２４）、画像・音声の出力終了指示が行われていない場合には、ステップＳ９２２に戻る。一方、画像・音声の出力終了指示が行われた場合には（ステップＳ９２４）、データ受信処理の動作を終了する。
［ユースケース例］
ここで、図１を参照してユースケース例について説明する。
上述したステップＳ９０１乃至Ｓ９０８の各処理が実行されている間は、受信側の情報処理装置３００から出力される画像および音声を撮像装置４００が適切に取得する必要がある。このため、送信側の情報処理装置２００のユーザは、撮像装置４００の光軸方向を受信側の情報処理装置３００の表示部３４１に向けておく必要がある。例えば、ユーザは、図１に示すように、受信側の情報処理装置３００の前に机を設置し、この机の上に送信側の情報処理装置２００を置き、撮像装置４００の光軸方向を受信側の情報処理装置３００の表示部３４１に向ける等の工夫が必要となる。また、ユーザは、送信側の情報処理装置２００を手でしっかりと持つことにより、撮像装置４００の光軸方向を受信側の情報処理装置３００の表示部３４１に向けるようにしてもよい。また、撮像装置４００が適切に画像および音声を取得することができているか否かを確認することができるアプリケーションを、送信側の情報処理装置２００上で実行しておくようにしてもよい。
また、ステップＳ９０１乃至Ｓ９０８の各処理が終了した場合に、送信側の情報処理装置２００または受信側の情報処理装置３００からその旨を通知するための通知情報を出力するようにしてもよい。例えば、送信側の情報処理装置２００の表示部２０１または受信側の情報処理装置３００の表示部３４１にその旨のメッセージを表示することができる。これにより、ユーザが、撮像装置４００を受信側の情報処理装置３００に向けておく必要がある期間を容易に把握することができる。
なお、送信側の情報処理装置２００の表示部２０１または受信側の情報処理装置３００の表示部３４１には、例えば、各種ゲーム（例えば、アクションゲーム、対戦ゲーム、カーレース）を表示させることができる。
＜２．変形例＞
以上では、送信側の情報処理装置における撮像装置により取得された画像データまたは音声データを用いて、２つの情報処理装置間における無線通信の遅延時間を取得する例を示した。ただし、他の測定方法を用いて遅延時間を取得するようにしてもよい。そこで、以下では、他の測定方法を用いて遅延時間を取得する例を示す。
［内部時計を用いて遅延時間を取得する例］
最初に、送信側および受信側の情報処理装置における内部時計を同期させ、この内部時計を用いて遅延時間を取得する例を示す。
［情報処理装置の構成例］
図９は、本技術の実施の形態の変形例における情報処理装置６００の機能構成例を示すブロック図である。なお、情報処理装置６００は、図２に示す情報処理装置２００の変形例であるため、情報処理装置２００と共通する部分については、同一の符号を付して、その説明の一部を省略する。
情報処理装置６００は、無線通信部６１０と、画像・音声生成部６２０と、時刻情報管理部６３０と、画像情報記憶部６４０と、遅延時間算出部６５０とを備える。なお、無線通信部６１０は、図２に示す無線通信部２２０に対応し、画像・音声生成部６２０は、図２に示す画像・音声生成部２３０に対応し、画像情報記憶部６４０は、図２に示す画像情報記憶部２５０に対応する。
無線通信部６１０は、無線通信を利用して他の情報処理装置から送信された画像情報（図１０に示す画像情報記憶部７３０に記憶されている画像情報）を受信すると、この画像情報を遅延時間算出部６５０に出力するものである。
画像・音声生成部６２０は、生成された画像データを識別するための画像識別情報を時間情報に関連付けて画像情報記憶部６４０に記録させるものである。
時刻情報管理部６３０は、精度の高い外部時計から時刻情報を取得して管理するものであり、管理している時刻情報を画像情報記憶部６４０に供給する。なお、時刻情報管理部６３０については、図１０に示す時刻情報管理部７２０とともに詳細に説明する。
画像情報記憶部６４０は、時刻情報管理部６３０から供給された時刻情報と、画像・音声生成部６２０により生成された画像データを識別するための画像識別情報とを関連付けて記憶するものである。そして、画像情報記憶部６４０は、記憶されている情報（画像情報）を遅延時間算出部６５０に供給する。なお、画像情報記憶部６４０の記憶内容については、図１１を参照して詳細に説明する。
遅延時間算出部６５０は、画像情報記憶部６４０に記憶されている画像情報と、無線通信部６１０を介して受信した画像情報とに基づいて、遅延時間を算出するものであり、算出された遅延時間を遅延時間情報記憶部２８０に記憶させる。なお、遅延時間の算出方法については、図１１を参照して詳細に説明する。
［情報処理装置の構成例］
図１０は、本技術の実施の形態の変形例における情報処理装置７００の機能構成例を示すブロック図である。なお、情報処理装置７００は、図５に示す情報処理装置３００の変形例であるため、情報処理装置３００と共通する部分については、同一の符号を付して、その説明の一部を省略する。
情報処理装置７００は、画像・音声展開部７１０と、時刻情報管理部７２０と、画像情報記憶部７３０と、無線通信部７４０とを備える。なお、無線通信部７４０は、図５に示す無線通信部３２０に対応し、画像・音声展開部７１０は、図５に示す画像・音声展開部３３０に対応する。
時刻情報管理部７２０は、精度の高い外部時計から時刻情報を取得して管理するものであり、管理している時刻情報を画像情報記憶部７３０に供給する。ここで、時刻情報管理部６３０（図９に示す）および時刻情報管理部７２０として、例えば、ＧＰＳ（Global Positioning System）受信器を用いることができる。このＧＰＳ受信器によりＧＰＳ信号を受信することにより、情報処理装置６００および７００の内部時計を、精度の高い外部時計（ＧＰＳの原子時計）に同期させることができる。
なお、情報処理装置６００および７００の内部時計を同期させることができる他の同期方法を用いるようにしてもよい。例えば、標準電波を用いて情報処理装置６００および７００の内部時計を同期させるようにしてもよい。
なお、この例では、情報処理装置６００および７００の内部時計を、精度の高い外部時計に同期させる例を示したが、一方の内部時計を他方の内部時計に精度の高い方法で同期させるようにしてもよい。例えば、情報処理装置６００および７００のうち、一方にＮＴＰ（Network Time Protocol）サーバ機能を搭載し、他方にＮＴＰクライアント機能を搭載させる。そして、遅延時間の測定の前に、ＮＴＰクライアントがＮＴＰサーバに現在時刻を問い合わせ、ＮＴＰサーバが自身の内部時計に基づく時刻をＮＴＰクライアントに返却する。この場合には、ＮＴＰクライアントは、その返却された時刻に基づいて自身の内部時計を調整することにより、情報処理装置６００および７００の内部時計を同期させることができる。
画像情報記憶部７３０は、時刻情報管理部７２０から供給された時刻情報と、画像・音声展開部７１０により展開された画像データを識別するための画像識別情報とを関連付けて記憶するものである。そして、画像情報記憶部７３０に記憶されている情報（画像情報）が、無線通信部７４０を介して情報処理装置６００に供給される。なお、画像情報記憶部７３０の記憶内容については、図１１を参照して詳細に説明する。
無線通信部７４０は、定期的または不定期に、画像情報記憶部７３０に記憶されている画像情報をアンテナ３１０を介して他の情報処理装置（例えば、情報処理装置６００）に送信するものである。
［画像情報記憶部の記憶内容例］
図１１は、本技術の実施の形態の変形例における画像情報記憶部６４０および７３０の記憶内容の一例を示す図である。図１１のａには、画像情報記憶部６４０の記憶内容を示し、図１１のｂには、画像情報記憶部７３０の記憶内容を示す。
図１１のａに示すように、画像情報記憶部６４０には、画像識別情報６４１および時間情報６４２が関連付けて記憶されている。また、図１１のｂに示すように、画像情報記憶部７３０には、画像識別情報７３１および時間情報７３２が関連付けて記憶されている。
画像識別情報６４１は、画像・音声生成部６２０により生成された画像データ（フレーム）を識別するための画像識別情報（例えば、フレームの順序）である。また、画像識別情報７３１は、画像・音声展開部７１０により展開された画像データ（フレーム）を識別するための画像識別情報（例えば、フレームの順序）である。
時間情報６４２は、時刻情報管理部６３０から供給された時刻情報である。例えば、画像・音声生成部６２０により生成された画像データ（フレーム）の生成時刻が時間情報６４２に順次記録される。また、時間情報７３２は、時刻情報管理部７２０から供給された時刻情報である。例えば、画像・音声展開部７１０により展開された画像データ（フレーム）の展開時刻（生成時刻）が時間情報７３２に順次記録される。なお、図１１では、説明の容易のため、フレーム間の時間間隔を大きくして示す。
ここで、遅延時間の算出方法について説明する。この変形例では、上述したように、送信機器および受信機器のそれぞれの内部時計を同期させた状態で、受信機器が、画像データを表示した時刻を送信機器へ送信する。例えば、情報処理装置６００および７００のそれぞれの内部時計を同期させた状態で、定期的または不定期に、画像情報記憶部７３０に記憶されている画像情報を、受信側の情報処理装置７００が、送信側の情報処理装置６００に送信する。
受信側の情報処理装置７００からの画像情報を受信した場合には、送信側の情報処理装置６００の遅延時間算出部６５０は、その受信した画像情報と、画像情報記憶部６４０に記憶されている画像情報とに基づいて、遅延時間を算出する。
例えば、図１１のｂに示すように、受信側の情報処理装置７００における１フレーム目の表示時刻は「１７時０８分１８秒５」であり、２フレーム目の表示時刻は「１７時０８分１９秒５」である。また、図１１のａに示すように、送信側の情報処理装置６００における１フレーム目の生成時刻は「１７時０８分１７秒４」であり、２フレーム目の生成時刻は「１７時０８分１８秒４」である。この場合には、送信側の情報処理装置６００の遅延時間算出部６５０は、受信側の情報処理装置７００における各フレームの表示時刻と、送信側の情報処理装置６００における各フレームの生成時刻との差分を算出し、この差分値を遅延時間とする。例えば、図１１に示す例では、受信側の情報処理装置７００における各フレームの表示時刻と、送信側の情報処理装置６００における各フレームの生成時刻との差分として、１．１秒が算出される。なお、各フレームの表示時刻と生成時刻との差分がフレーム毎に異なる場合には、算出された差分の平均値を用いるようにしてもよい。
なお、この変形例では、画像データを用いて遅延時間を算出する例を示したが、音声データについても同様に遅延時間を算出することができる。
［送信機器および受信機器の出力画像を外部機器で取得して遅延時間を取得する例］
次に、送信機器および受信機器の出力画像を外部機器で取得し、この出力画像の比較結果に基づいて遅延時間を取得する例を示す。
［通信システムの構成例］
図１２は、本技術の実施の形態の変形例における通信システム８００の構成例を示す図である。図１２では、２つの情報処理装置（情報処理装置８１０および３００）を直接無線接続する際におけるシステム構成の一例を示す。なお、通信システム８００は、図１に示す通信システム１００の変形例であるため、通信システム１００と共通する部分については、同一の符号を付して、その説明の一部を省略する。
通信システム８００は、情報処理装置３００と、情報処理装置８１０と、撮像装置８５０とを備える。なお、情報処理装置８１０は、図１に示す情報処理装置２００に対応する。
撮像装置８５０は、被写体を撮像して画像データを生成し、この生成された画像データに基づいて、情報処理装置８１０および３００間でデータの送受信を行う際に生じる遅延時間を算出するものである。そして、撮像装置８５０は、算出された遅延時間を、無線通信を利用して情報処理装置８１０に出力する。なお、撮像装置８５０として、無線通信機能を備えるハイスピードカメラを用いることができる。
［情報処理装置および撮像装置の構成例］
図１３は、本技術の実施の形態の変形における情報処理装置８１０および撮像装置８５０の機能構成例を示すブロック図である。なお、情報処理装置８１０は、図２に示す情報処理装置２００の変形例であるため、情報処理装置２００と共通する部分については、同一の符号を付して、その説明の一部を省略する。
撮像装置８５０は、撮像部８６０および遅延時間算出部８７０を備える。
撮像部８６０は、被写体を撮像して画像データを生成し、この生成された画像データを遅延時間算出部８７０に出力するものである。
遅延時間算出部８７０は、撮像部８６０から出力された画像データに基づいて、情報処理装置８１０および３００間でデータの送受信を行う際に生じる遅延時間を算出するものである。そして、遅延時間算出部８７０は、算出された遅延時間を、無線通信を利用して情報処理装置８１０に出力し、遅延時間情報記憶部２８０に記録させる。なお、図１３では、説明の容易のため、情報処理装置８１０および撮像装置８５０間の無線通信に関する機能構成を省略する。
ここで、遅延時間の算出方法について説明する。この変形例では、図１２に示すように、２つの情報処理装置（情報処理装置８１０および３００）を近づけて同じ向きに並べ、撮像装置８５０を用いて、２つの情報処理装置の出力画像を同時に撮影する。この場合に、２つの情報処理装置（情報処理装置８１０および３００）には、テスト画像（例えば、１フレーム毎に数字が増加する画像）を表示させる。すなわち、図１２に示す状態で、送信側の情報処理装置８１０が受信側の情報処理装置３００にテスト画像を順次送信し、情報処理装置８１０および３００のそれぞれにテスト画像を表示させる。
撮像装置８５０の撮像部８６０は、送信側の情報処理装置８１０および受信側の情報処理装置３００のそれぞれに表示されている２つのテスト画像を含む画像データを生成し、この生成された画像データを遅延時間算出部８７０に出力する。
遅延時間算出部８７０は、撮像部８６０から出力された画像データに含まれる２つのテスト画像を検出し、この検出されたテスト画像の比較結果に基づいて遅延時間を算出する。例えば、公知の画像解析方法を用いてテスト画像を検出することができる。例えば、矩形状の物体を検出する画像検出技術を用いて、テスト画像を抽出することができる。また、上述した文字認識技術を用いて、各テスト画像に含まれる数字を特定することができる。
例えば、図１２に示す例では、送信側の情報処理装置８１０の表示部２０１に「２５」が表示され、受信側の情報処理装置３００の表示部３４１に「１９」が表示されている。この場合には、遅延時間算出部８７０は、送信側の情報処理装置８１０および受信側の情報処理装置３００間の遅延時間は、６フレーム分であると判断することができる。例えば、テスト画像が３０ｆｐｓで送信されている場合には、遅延時間として２００（ｍｓｅｃ）が算出される。
なお、この変形例では、１つの撮像装置８５０を用いて２つのテスト画像を取得する例を示したが、複数の撮像装置を用いて２つのテスト画像を取得するようにしてもよい。例えば、同時にシャッターを切れる２つのカメラを用いて、送信機器および受信機器を同時に撮影して２つのテスト画像を取得することができる。この場合には、何れかのカメラ（または、送信機器）において、遅延時間を算出することができる。
なお、この変形例では、画像データを用いて遅延時間を算出する例を示すが、音声データを用いて遅延時間を算出するようにしてもよい。例えば、情報処理装置３００および情報処理装置８１０から出力される同一の音声データ（例えば、「ポン」）を撮像装置８５０が取得する。そして、遅延時間算出部８７０は、情報処理装置３００から出力される音声データ（例えば、「ポン」）と、情報処理装置８１０から出力される音声データ（例えば、「ポン」）とに基づいて、遅延時間を算出する。例えば、情報処理装置３００から出力される音声データ（例えば、「ポン」）と、情報処理装置８１０から出力される音声データ（例えば、「ポン」）との取得タイミングの差分に基づいて遅延時間を算出することができる。
ここで、ある情報処理装置から出力されている画像および音声を、リアルタイムに他の情報処理装置にネットワークを介して送信して出力させる通信システムを考える。この通信システムにおいて、画像データを非圧縮のまま転送しようとすると、非常に広い帯域を必要としてしまう。このため、画像データおよび音声データの送信前に、画像データおよび音声データを何らかの方式を用いて圧縮し、受信した情報処理装置においては、その圧縮された画像データおよび音声データを展開して表示させることが多い。例えば、Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅが策定を進めているＷｉ−Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔにおいては、画像は、Ｈ．２６４を用いて圧縮・展開すると定められている。
このように、上述した通信システムでは、ネットワークを用いた無線通信による遅延とともに、画像データおよび音声データの圧縮にかかる時間と、展開にかかる時間による遅延が発生する。
例えば、ユーザによる操作入力に基づいて画面全体の描画が定まるようなアプリケーション（例えば、ゲーム）を、上述した通信システムに適用する場合を想定する。例えば、タブレット端末上でゲームアプリケーションを動作させ、タブレット端末が出力しているゲーム画面および音声を、ディスプレイ端末（例えば、テレビジョン）にネットワークを介して送信することを考える。この場合には、ユーザがタブレット端末に操作入力を与えてから、その操作入力が反映された画像および音声がディスプレイ端末から出力されるまでの間、上述した遅延による時間差が生じる。特に、動きが激しいゲームやタイミングが厳しいゲームにおいては、このような遅延または時間差がユーザに大きな違和感を与えてしまうおそれがある。この場合には、ユーザのゲームに対する興味が低下してしまうおそれがある。
ここで、画像データおよび音声データの圧縮方式には様々な種類があり、種類によって圧縮や展開に要する計算量や時間が異なる。また、ある一つの圧縮方式（例えば、Ｈ．２６４）をとっても、その内部では数多くのパラメータが使用されており、その値によっても圧縮や展開にかかる時間が変化する。なお、送信機器内のエンコーダ（圧縮機）や受信機器内のデコーダ（展開機）が特定の使い方に特化して設計・実装されていた場合（例えば、テレビ放送の受信用等）を想定する。この場合には、その使い方と同じ圧縮方式・圧縮パラメータ設定を用いることにより、圧縮や展開に要する時間が小さくなる可能性がある。このように、圧縮、展開による遅延時間は、圧縮方式やその設定により変化する。
また、低い圧縮率で画像データおよび音声データを伝送しようとすると、伝送量が大きくなる。したがって、伝送するネットワークの帯域が小さい場合、または、ネットワークが混雑している場合に、低い圧縮率を選択してしまうと、画像データや音声データが伝送途中で欠落し、再送処理によって逆に遅延が大きくなる可能性がある。
これらのことを踏まえると、ネットワークを用いて画像データおよび音声データを送信する際には、使用する圧縮方式やそのパラメータを適切に調整することにより、遅延時間を短縮し、ユーザ体験を向上させることができる。
そこで、本技術の実施の形態では、送信機器側で圧縮方式やパラメータを様々に変化させ、圧縮→伝送→展開の全体の遅延量の変化を監視し、各パラメータについて遅延時間を計測する。そして、計測された遅延時間に基づいて、遅延に関するパラメータの調整を行い、ユーザに対する遅延の影響を補償する。例えば、最も遅延時間が少ない圧縮パラメータを決定することができる。これにより、圧縮と伸張に係る遅延時間の最低値を送信側で探索し、通信システム全体として遅延を補償することができる。
すなわち、本技術の実施の形態では、画像データおよび音声データを圧縮し、この圧縮された画像データおよび音声データを送信機器から受信機器にネットワークを経由して送信して出力する通信システムにおいて、適切な圧縮パラメータを決定することができる。これにより、ユーザにとって適切な遅延時間とすることができる。
なお、圧縮と伸張による遅延時間は、送信機器と受信機器の組み合わせによって変化してしまうことが多いが、本技術の実施の形態では、どのような組み合わせでも遅延時間を最短にするパラメータを見つけ出すことができる。
また、本技術の実施の形態では、圧縮・展開にかかる時間だけでなく、ネットワークの帯域による影響も含め、全体としての遅延時間の最適値を探ることができる。また、本技術の第１の実施の形態で示したように、送信機器側のみで処理を完結することができる。この場合には、受信機器には特別な装置・処理を追加する必要がなく、受信機器および送信機器間で、遅延等に関する情報をネットワークを通じてやり取りする必要がない。また、新たにネットワーク通信プロトコルを設計・実装する必要がなく、互換性の問題が発生しない。また、ユーザの操作が必要なく、自動で測定・調整が完了することができる。
なお、遅延の発生よりも高画質を求めるユーザも存在することが想定される。そこで、例えば、遅延を最小化する以外にも、遅延量と圧縮率のバランスを取る場合や、遅延量と画像・音声品質のバランスを取る場合等のような用途にも本技術の実施の形態を応用することができる。例えば、ユーザが重視する設定項目（遅延量と圧縮率のバランス、遅延量と画像・音声品質のバランス）をユーザ操作に基づいて設定可能とし、この設定に基づいて、エンコードパラメータを決定するようにしてもよい。
また、本技術の実施の形態では、送信機器または外部機器において遅延時間を計測する例を示したが、受信機器において遅延時間を計測するようにしてもよい。この場合には、受信機器において計測された遅延時間を、送信機器に送信して用いるようにする。
また、本技術の実施の形態では、送信機器から受信機器への送信対象となるデータとして、画像データおよび音声データを例にして説明した。ただし、画像データおよび音声データ以外の他のデータを、送信機器から受信機器への送信対象とする場合についても、本技術の実施の形態を適用することができる。
ここで、上述したように、複数のコーデック（Ｃｏｄｅｃ）を使用可能な情報処理装置が存在する。このため、例えば、送信機器および受信機器の何れもが複数のコーデックに対応していることも想定される。そこで、送信機器および受信機器の何れもが複数のコーデックに対応している場合には、送信機器および受信機器の双方において、複数のコーデックの全てを順番に試して遅延時間を測定するようにしてもよい。この場合には、その測定された遅延時間に基づいて、データ送信に係る設定内容として、送信機器および受信機器のそれぞれに設定すべきコーデックの種類が決定される。例えば、その測定された遅延時間の中で、遅延時間が最も短いコーデックが、送信機器および受信機器のそれぞれに設定すべきコーデックとして決定される。
また、本技術の実施の形態では、無線通信機能を備える表示装置、携帯型の情報処理装置を例にして説明したが、無線通信機能を備える他の情報処理装置についても本技術の実施の形態を適用することができる。例えば、家庭用ゲーム機器、携帯用映像処理装置、携帯用ゲーム機器、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）、デジタルフォトフレーム等の情報処理装置に適用することができる。また、例えば、無線通信機能を備える無線通信機器を装着することにより、無線通信を行うことが可能な情報処理装置（例えば、無線通信機能を備えていないパーソナルコンピュータ）についても本技術の実施の形態を適用することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
なお、本技術は以下のような構成もとることができる。
（１）
無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間を取得する取得部と、
前記取得された遅延時間に基づいて前記他の情報処理装置へのデータ送信に係る設定内容を決定するための制御を行う制御部と
を具備する情報処理装置。
（２）
前記取得部は、前記他の情報処理装置へのデータ送信に用いられる複数のパラメータについて計測された前記遅延時間を前記パラメータ毎に取得し、
前記制御部は、前記取得された遅延時間のうちの最も値が小さい遅延時間に対応するパラメータを前記設定内容として決定する
前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記遅延時間を前記パラメータ毎に計測するため、前記複数のパラメータを順次設定する前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記他の情報処理装置への送信対象となるデータをエンコードする際に用いられるパラメータを前記設定内容として決定する前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記他の情報処理装置への送信対象となるデータを記憶する記憶部と、
前記他の情報処理装置から出力された前記データを取得するデータ取得部とをさらに具備し、
前記取得部は、前記記憶されたデータと前記取得されたデータとの比較結果に基づいて前記遅延時間を算出する
前記（１）から（４）のいずれかに記載の情報処理装置。
（６）
前記取得部は、前記他の情報処理装置への送信対象となる画像データと前記他の情報処理装置から出力された当該画像データとの比較結果と、前記他の情報処理装置への送信対象となる音声データと前記他の情報処理装置から出力された当該音声データとの比較結果とに基づいて前記遅延時間を算出する前記（１）から（５）のいずれかに記載の情報処理装置。
（７）
前記画像データは、前記遅延時間を測定するためのテスト画像データであり、
前記音声データは、前記遅延時間を測定するためのテスト音声データである
前記（６）に記載の情報処理装置。
（８）
無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間を取得する取得手順と、
前記取得された遅延時間に基づいて前記他の情報処理装置へのデータ送信に係る設定内容を決定する制御手順と
を具備する情報処理装置の制御方法。
１００、８００ 通信システム
２００、３００、６００、７００、８１０ 情報処理装置
２０１、３４１ 表示部
２１０、３１０ アンテナ
２２０、３２０、６１０、７４０ 無線通信部
２３０、６２０ 画像・音声生成部
２４０ 画像・音声圧縮部
２５０、６４０、７３０ 画像情報記憶部
２５５ 音声情報記憶部
２６０ データ取得部
２７０、６５０、８７０ 遅延時間算出部
２８０ 遅延時間情報記憶部
２９０ 制御部
３３０、７１０ 画像・音声展開部
３４０ 画像・音声出力部
３４２ 音声出力部
４００、８５０ 撮像装置
６３０、７２０ 時刻情報管理部
８６０ 撮像部

Claims (8)

  1. 無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間を取得する取得部と、
    前記取得された遅延時間に基づいて前記他の情報処理装置へのデータ送信に係る設定内容を決定するための制御を行う制御部と
    を具備する情報処理装置。
  2. 前記取得部は、前記他の情報処理装置へのデータ送信に用いられる複数のパラメータについて計測された前記遅延時間を前記パラメータ毎に取得し、
    前記制御部は、前記取得された遅延時間のうちの最も値が小さい遅延時間に対応するパラメータを前記設定内容として決定する
    請求項１記載の情報処理装置。
  3. 前記制御部は、前記遅延時間を前記パラメータ毎に計測するため、前記複数のパラメータを順次設定する請求項２記載の情報処理装置。
  4. 前記制御部は、前記他の情報処理装置への送信対象となるデータをエンコードする際に用いられるパラメータを前記設定内容として決定する請求項１記載の情報処理装置。
  5. 前記他の情報処理装置への送信対象となるデータを記憶する記憶部と、
    前記他の情報処理装置から出力された前記データを取得するデータ取得部とをさらに具備し、
    前記取得部は、前記記憶されたデータと前記取得されたデータとの比較結果に基づいて前記遅延時間を算出する
    請求項１記載の情報処理装置。
  6. 前記取得部は、前記他の情報処理装置への送信対象となる画像データと前記他の情報処理装置から出力された当該画像データとの比較結果と、前記他の情報処理装置への送信対象となる音声データと前記他の情報処理装置から出力された当該音声データとの比較結果とに基づいて前記遅延時間を算出する請求項１記載の情報処理装置。
  7. 前記画像データは、前記遅延時間を測定するためのテスト画像データであり、
    前記音声データは、前記遅延時間を測定するためのテスト音声データである
    請求項６記載の情報処理装置。
  8. 無線通信を利用した他の情報処理装置へのデータ送信に係る遅延時間を取得する取得手順と、
    前記取得された遅延時間に基づいて前記他の情報処理装置へのデータ送信に係る設定内容を決定する制御手順と
    を具備する情報処理装置の制御方法。
JP2012272940A 2012-12-14 2012-12-14 情報処理装置およびその制御方法 Expired - Fee Related JP5974881B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012272940A JP5974881B2 (ja) 2012-12-14 2012-12-14 情報処理装置およびその制御方法
PCT/JP2013/005309 WO2014091643A1 (en) 2012-12-14 2013-09-06 Device, method and computer readable medium
US14/647,411 US10098080B2 (en) 2012-12-14 2013-09-06 Device, method and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012272940A JP5974881B2 (ja) 2012-12-14 2012-12-14 情報処理装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2014120830A true JP2014120830A (ja) 2014-06-30
JP5974881B2 JP5974881B2 (ja) 2016-08-23

Family

ID=49231599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012272940A Expired - Fee Related JP5974881B2 (ja) 2012-12-14 2012-12-14 情報処理装置およびその制御方法

Country Status (3)

Country Link
US (1) US10098080B2 (ja)
JP (1) JP5974881B2 (ja)
WO (1) WO2014091643A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016005264A (ja) * 2014-06-20 2016-01-12 船井電機株式会社 映像送信装置及び映像送信方法
KR20160029552A (ko) * 2014-09-05 2016-03-15 엘지전자 주식회사 전자 기기, 및 그 동작 방법
JP2018026815A (ja) * 2016-08-12 2018-02-15 Ｌｉｎｅ株式会社 映像通話品質測定方法およびシステム
WO2021199128A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像生成方法およびコンピュータプログラム
EP4027617A1 (en) 2021-01-12 2022-07-13 Yamaha Corporation Signal processing method and signal processing apparatus

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10516718B2 (en) * 2015-06-10 2019-12-24 Google Llc Platform for multiple device playout
US9762915B2 (en) * 2015-12-03 2017-09-12 Facebook, Inc. Systems and methods for variable compression of media content based on media properties
CN105635942A (zh) * 2015-12-17 2016-06-01 努比亚技术有限公司 通话控制装置和方法
US10833866B2 (en) 2017-10-04 2020-11-10 International Business Machines Corporation Managing interval boundaries for grouped and digitally signed computer-based records
CN108628270B (zh) * 2018-06-11 2020-11-20 哈尔滨工程大学 一种基于plc远程监控终端的优化网络控制装置与方法
CN114520779B (zh) * 2022-04-20 2022-07-01 华锐分布式(北京)技术有限公司 基于类波形匹配的加密网关时延度量方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204278A (ja) * 2000-10-31 2002-07-19 Toshiba Corp データ伝送装置およびデータ伝送方法
JP2006128997A (ja) * 2004-10-28 2006-05-18 Sharp Corp 映像送信装置、映像受信装置、映像送信方法及び映像伝送システム
US20110013085A1 (en) * 2008-03-19 2011-01-20 Telefonaktiebolaget Lm Ericsson (Publ) Method and Apparatus for Measuring Audio-Video Time skew and End-to-End Delay
US20110299588A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Rate control in video communication via virtual transmission buffer
JP2012141685A (ja) * 2010-12-28 2012-07-26 Sony Corp 送信装置、送信方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100604480B1 (ko) 2004-03-22 2006-07-24 엘지전자 주식회사 이동 영상 전화에서 양방향 지연 시간 검증 방법 및 시스템
US7916653B2 (en) 2006-09-06 2011-03-29 Cisco Technology, Inc. Measurement of round-trip delay over a network
JP2008278388A (ja) 2007-05-07 2008-11-13 Sony Corp 情報交換装置および情報交換方法
US8451994B2 (en) * 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
US9204203B2 (en) 2011-04-07 2015-12-01 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US8525884B2 (en) 2011-05-15 2013-09-03 Videoq, Inc. Systems and methods for metering audio and video delays
WO2012172310A2 (en) * 2011-06-16 2012-12-20 Blinkpipe Limited Video conferencing systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204278A (ja) * 2000-10-31 2002-07-19 Toshiba Corp データ伝送装置およびデータ伝送方法
JP2006128997A (ja) * 2004-10-28 2006-05-18 Sharp Corp 映像送信装置、映像受信装置、映像送信方法及び映像伝送システム
US20110013085A1 (en) * 2008-03-19 2011-01-20 Telefonaktiebolaget Lm Ericsson (Publ) Method and Apparatus for Measuring Audio-Video Time skew and End-to-End Delay
US20110299588A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Rate control in video communication via virtual transmission buffer
JP2012141685A (ja) * 2010-12-28 2012-07-26 Sony Corp 送信装置、送信方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岡崎勝彦 他: "インターネットにおける双方向映像通信のend-end遅延の測定", 電子情報通信学会２００３年通信ソサイエティ大会講演論文集２, JPN6015047636, 10 September 2003 (2003-09-10), JP, pages 454, ISSN: 0003342983 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016005264A (ja) * 2014-06-20 2016-01-12 船井電機株式会社 映像送信装置及び映像送信方法
KR20160029552A (ko) * 2014-09-05 2016-03-15 엘지전자 주식회사 전자 기기, 및 그 동작 방법
KR102269276B1 (ko) * 2014-09-05 2021-06-24 엘지전자 주식회사 전자 기기, 및 그 동작 방법
JP2018026815A (ja) * 2016-08-12 2018-02-15 Ｌｉｎｅ株式会社 映像通話品質測定方法およびシステム
JP7029902B2 (ja) 2016-08-12 2022-03-04 Ｌｉｎｅ株式会社 映像通話品質測定方法およびシステム
WO2021199128A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像生成方法およびコンピュータプログラム
JP7441936B2 (ja) 2020-03-30 2024-03-01 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像生成方法およびコンピュータプログラム
EP4027617A1 (en) 2021-01-12 2022-07-13 Yamaha Corporation Signal processing method and signal processing apparatus
US11711416B2 (en) 2021-01-12 2023-07-25 Yamaha Corporation Signal processing method and signal processing apparatus

Also Published As

Publication number Publication date
JP5974881B2 (ja) 2016-08-23
US10098080B2 (en) 2018-10-09
US20150327192A1 (en) 2015-11-12
WO2014091643A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
JP5974881B2 (ja) 情報処理装置およびその制御方法
KR102305302B1 (ko) 무선 디스플레이를 위한 다이렉트 스트리밍
CN109089064B (zh) 一种用于处理媒体信号的装置和方法
US10285035B2 (en) Communication apparatus and control method therefor
WO2016004857A1 (zh) 一种同屏共享的方法、装置及系统
JP6598875B2 (ja) 情報処理システム、無線端末、及び情報処理方法
US10268436B2 (en) Communication apparatus, control method therefor, and non-transitory computer-readable storage medium
US11435973B2 (en) Communication apparatus, communication method, and storage medium
JP2010118976A (ja) 通信装置、通信方法および通信プログラム
WO2014017468A1 (ja) 通信システムと方法とプログラム
US9332308B2 (en) Image communication apparatus and control method therefor
JP6193569B2 (ja) 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
JP2013187826A (ja) 撮像装置、撮像システム、及び撮像方法
JP2014026171A (ja) システム及び方法
KR101339835B1 (ko) 이동 단말의 실시간 화면 재생기, 그 시스템 및 화면 재생 방법
JP2019219920A (ja) 通信装置、通信方法、およびプログラム
JP6327809B2 (ja) 受信装置、制御方法及びプログラム
JP2013046319A (ja) 画像処理装置及び、画像処理方法
JP6400163B2 (ja) 受信装置、受信方法、送信装置、送信方法、及びプログラム
JP6701406B2 (ja) 通信装置、その制御方法、およびプログラム
JP2005352412A (ja) 動画表示装置、動画送信装置、テレビ電話システム、動画表示方法、動画記録方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
TWI508562B (zh) 雲端服務設備、提供視訊播放時多畫面預覽的方法及系統
JP7118764B2 (ja) 通信装置、制御方法、およびプログラム
JP6604256B2 (ja) 情報処理端末、情報処理方法、及びプログラム
JP2016100651A (ja) 送信装置およびその制御方法、画像通信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160704

R151 Written notification of patent or utility model registration

Ref document number: 5974881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees