JP2015159381A - 情報処理装置、データ生成装置、情報処理方法、および情報処理システム - Google Patents

情報処理装置、データ生成装置、情報処理方法、および情報処理システム Download PDF

Info

Publication number
JP2015159381A
JP2015159381A JP2014032321A JP2014032321A JP2015159381A JP 2015159381 A JP2015159381 A JP 2015159381A JP 2014032321 A JP2014032321 A JP 2014032321A JP 2014032321 A JP2014032321 A JP 2014032321A JP 2015159381 A JP2015159381 A JP 2015159381A
Authority
JP
Japan
Prior art keywords
time
data
information processing
unit
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014032321A
Other languages
English (en)
Inventor
博隆 石川
Hirotaka Ishikawa
博隆 石川
泰樹 金間
Yasuki KANEMA
泰樹 金間
岩津 健
Takeshi Iwazu
健 岩津
角野 徹
Toru Sumino
徹 角野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014032321A priority Critical patent/JP2015159381A/ja
Priority to US14/620,276 priority patent/US9467582B2/en
Publication of JP2015159381A publication Critical patent/JP2015159381A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H04N1/00214Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/802Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving processing of the sound signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】互いに異なる方式で伝送されたデータを同期させることが可能な情報処理装置を提供する。【解決手段】情報処理装置は、受信部と、時刻処理部と、送信部とを具備する。上記受信部は、外部機器により送信された開始要求を受信する。上記時刻処理部は、上記受信部が上記開始要求を受信した受信時刻を取得し、第1のデータにタイムスタンプを付与する。上記送信部は、上記時刻処理部が取得した上記受信時刻を上記外部機器に送信し、上記受信時刻の後に生成され、上記時刻処理部が上記タイムスタンプを付与した上記第1のデータを上記外部機器に送信し、上記受信時刻の後に生成された第2のデータを上記外部機器にリアルタイム送信する。【選択図】図7

Description

本技術は、複数種類のデータを同期させることが可能な情報処理装置、データ生成装置、情報処理方法、および情報処理システムに関する。
ユーザの頭部に装着され、眼前に配置されたディスプレイによってユーザの視野の一部に画像を提示することが可能なヘッドマウントディスプレイが知られている。
特許文献1には、カメラおよびマイクロフォンを備え、静止画や動画を記録することが可能なヘッドマウントディスプレイが開示されている。このようなヘッドマウントディスプレイでは、例えば、ユーザの視野内の風景をそのまま記録することができるため、ユーザの行動を記録として残すことが可能である。
特開2013−141272号公報
上記のようなヘッドマウントディスプレイでは、映像データと音声データとが記録され、映像データと音声データとを合成することにより動画データが得られる。しかし、小型化および軽量化が求められるヘッドマウントディスプレイには、処理能力の高い処理装置や大容量のバッテリを搭載することは困難である。
したがって、ヘッドマウントディスプレイによって生成された映像データおよび音声データは、スマートホンなどの外部機器に伝送された後に、外部機器によって動画データに合成される必要がある。
ヘッドマウントディスプレイによる映像データと音声データとの外部機器への伝送には、例えば、Wi-FiやBluetooth(登録商標)を用いることができる。Wi-Fiは、Bluetooth(登録商標)よりも伝送速度が早い一方で、Bluetooth(登録商標)よりも消費電力が大きい。したがって、容量の大きい映像データの伝送にはWi-Fiを用いざるを得ないが、容量の小さい音声データの伝送には低消費電力のBluetooth(登録商標)を用いることが好ましい。
しかし、映像データと音声データとが異なる方式にて外部機器に伝送されると、外部機器において映像データと音声データとの同期をとることが難しくなる。そのため、外部機器によって合成された動画データには映像データと音声データとのズレが発生する場合がある。
以上のような事情に鑑み、本技術の目的は、互いに異なる方式で伝送されたデータを同期させることが可能な情報処理装置、データ生成装置、情報処理方法、および情報処理システムを提供することにある。
本技術の一形態に係る情報処理装置は、受信部と、時刻処理部と、送信部とを具備する。
上記受信部は、外部機器により送信された開始要求を受信する。
上記時刻処理部は、上記受信部が上記開始要求を受信した受信時刻を取得し、第1のデータにタイムスタンプを付与する。
上記送信部は、上記時刻処理部が取得した上記受信時刻を上記外部機器に送信し、上記受信時刻の後に生成され、上記時刻処理部が上記タイムスタンプを付与した上記第1のデータを上記外部機器に送信し、上記受信時刻の後に生成された第2のデータを上記外部機器にリアルタイム送信する。
この構成により、外部機器は、第1のデータおよび第2のデータの、情報処理装置のタイマーを基準とした時刻情報を把握可能となる。つまり、外部機器は、情報処理装置によって第1のデータに付与されたタイムスタンプにより第1のデータの時刻情報を把握可能である。これと同時に、外部機器は、情報処理装置によって取得される上記受信時刻からの経過時間により第2のデータの時刻情報を把握可能である。したがって、外部機器は、第1のデータと第2のデータとを正確に同期させることができる。
上記第1のデータは静止画データで、上記第2のデータは音声データであってもよい。
この構成により、外部機器は、静止画データと音声データとを同期させたデータを生成することができる。
上記送信部は、上記静止画データをWi-Fiにより送信し、上記音声データをBluetooth(登録商標)により送信してもよい。
この構成により、静止画データおよび音声データを良好に送信できるようになる。
上記情報処理装置は、上記静止画データを生成するカメラと、上記音声データを生成する音声入力部とを更に具備してもよい。
この構成により、外部機器は、カメラで生成した静止画データと音声入力部で生成した音声データとを同期させたデータを生成することができる。
上記カメラは、ユーザの頭部に装着可能に構成されていてもよい。
この構成により、ウェアラブルに構成された情報処理装置を得ることができる。
上記カメラは、上記受信時刻の後に、一定の時間ごとに上記静止画データを生成してもよい。
この構成により、外部機器は、複数の静止画データを用いて映像データを生成可能であるとともに、当該映像データと音声データとを用いて動画データを生成可能である。
上記情報処理装置は、ユーザによる入力操作を受ける操作部を更に具備してもよい。
上記送信部は、上記操作部が入力操作を受けたときに、上記外部機器に対して、上記開始要求を送信させるための通知を行ってもよい。
この構成により、外部機器は、ユーザによる入力操作に応じて、動画データなどのデータを生成することが可能となる。
本技術の別の形態に係る情報処理装置は、送信部と、時刻処理部とを具備する。
上記送信部は、外部機器に開始要求を送信し、上記開始要求を送信した送信時刻を上記外部機器に送信し、上記送信時刻の後に生成され、タイムスタンプが付与された第1のデータを上記外部機器に送信し、上記送信時刻の後に生成された第2のデータを上記外部機器にリアルタイム送信する。
上記時刻処理部は、上記送信時刻を取得し、上記第1のデータに上記タイムスタンプを付与する。
この構成により、外部機器は、第1のデータおよび第2のデータの、情報処理装置のタイマーを基準とした時刻情報を把握可能となる。つまり、外部機器は、情報処理装置によって第1のデータに付与されたタイムスタンプにより第1のデータの時刻情報を把握可能である。これと同時に、外部機器は、情報処理装置によって取得される上記送信時刻からの経過時間により第2のデータの時刻情報を把握可能である。したがって、外部機器は、第1のデータと第2のデータとを正確に同期させることができる。
本技術の一形態に係るデータ生成装置は、送信部と、時刻処理部と、受信部と、合成処理部とを具備する。
上記送信部は、情報処理装置に開始要求を送信する。
上記時刻処理部は、上記送信部が上記開始要求を送信した送信時刻を取得する。
上記受信部は、上記情報処理装置によって取得されて送信される、上記情報処理装置によって上記開始要求が受信された受信時刻を受信し、上記受信時刻の後に生成され、上記情報処理装置によってタイムスタンプが付与されて送信される第1のデータを受信し、上記受信時刻の後に生成されてリアルタイム送信される第2のデータを受信する。
上記合成処理部は、上記時刻処理部が取得した上記送信時刻と、上記受信時刻とを用いて、上記第1のデータと上記第2のデータとを同期させる。
この構成により、データ生成装置は、第1のデータおよび第2のデータの、情報処理装置のタイマーを基準とした時刻情報を把握可能となる。つまり、データ生成装置は、情報処理装置によって第1のデータに付与されたタイムスタンプにより第1のデータの時刻情報を把握可能である。これと同時に、データ生成装置は、情報処理装置によって取得される上記受信時刻からの経過時間により第2のデータの時刻情報を把握可能である。したがって、データ生成装置は、第1のデータと第2のデータとを正確に同期させることができる。
上記合成処理部は、上記送信時刻と上記受信時刻とが等しいとみなして、上記第1のデータと上記第2のデータとを同期させてもよい。
この構成により、第1のデータと第2のデータとを容易に同期させることができるようになる。
上記第1のデータは静止画データで、上記第2のデータは音声データであってもよい。
また、上記合成処理部は、上記静止画データと上記音声データとを合成して動画データを生成してもよい。
この構成により、データ生成装置が動画データを生成可能となる。
上記合成処理部は、上記第1のデータと上記第2のデータとを同期させるために、上記第2のデータの上記リアルタイム送信におけるタイムラグを用いてもよい。
この構成により、第1のデータと第2のデータとをより正確に同期させることができるようになる。
本技術の一形態に係る情報処理方法では、第1の装置と通信可能に構成された第2の装置によって、上記第1の装置に開始要求が送信される。
上記開始要求を送信した送信時刻が、上記第2の装置によって取得される。
上記第1の装置によって上記開始要求が受信される。
上記開始要求を受信した受信時刻が、上記第1の装置によって取得される。
上記第1の装置によって、上記受信時刻が上記第2の装置に送信される。
上記受信時刻の後に生成される第1のデータに、上記第1の装置によってタイムスタンプが付与される。
上記タイムスタンプを付与した上記第1のデータが、上記第1の装置によって上記第2の装置に送信される。
上記受信時刻の後に生成される第2のデータが、上記第1の装置によって上記第2の装置にリアルタイム送信される。
上記受信時刻と、上記第1のデータと、上記第2のデータとが上記第2の装置によって受信される。
上記第2の装置によって、上記送信時刻と上記受信時刻とを用いて、上記第1のデータと上記第2のデータとが同期させられる。
この構成により、第2の装置(データ生成装置)は、第1のデータおよび第2のデータの、第1の装置(情報処理装置)のタイマーを基準とした時刻情報を把握可能となる。つまり、第2の装置は、第1の装置によって第1のデータに付与されたタイムスタンプにより第1のデータの時刻情報を把握可能である。これと同時に、第2の装置は、第1の装置によって取得される上記受信時刻からの経過時間により第2のデータの時刻情報を把握可能である。したがって、第2の装置は、第1のデータと第2のデータとを正確に同期させることができる。
本技術の一形態に係る情報処理システムは、第1の装置と、上記第1の装置と通信可能に構成された第2の装置とを具備する。
上記第1の装置は、受信部と、タイマーと、時刻処理部と、送信部とを含む。
上記受信部は、上記第2の装置により送信された開始要求を受信する。
上記タイマーは、第1の時刻を刻む。
上記時刻処理部は、上記受信部が上記開始要求を受信した上記第1の時刻である受信時刻を取得し、第1のデータに上記第1の時刻に基づいてタイムスタンプを付与する。
上記送信部は、上記時刻処理部が取得した上記受信時刻を上記外部機器に送信し、上記受信時刻の後に生成され、上記時刻処理部が上記タイムスタンプを付与した上記第1のデータを上記外部機器に送信し、上記受信時刻の後に生成された第2のデータを上記外部機器にリアルタイム送信する。
上記第2の装置は、送信部と、タイマーと、時刻処理部と、受信部と、合成処理部とを含む。
上記送信部は、上記第1の装置に上記開始要求を送信する。
上記タイマーは、上記第1の時刻とは異なる第2の時刻を刻む。
上記時刻処理部は、上記第2の装置の上記送信部が上記開始要求を送信した上記第2の時刻である送信時刻を取得する。
上記受信部は、上記第1の装置によって送信される、上記受信時刻と、上記第1のデータと、上記第2のデータとを受信する。
上記合成処理部は、上記第2の装置の上記時刻処理部が取得した上記送信時刻と、上記受信時刻とを用いて、上記第1のデータと上記第2のデータとを同期させる。
この構成により、第2の装置(データ生成装置)は、第1のデータおよび第2のデータの、第1の装置(情報処理装置)のタイマーを基準とした時刻情報を把握可能となる。つまり、第2の装置は、第1の装置によって第1のデータに付与されたタイムスタンプにより第1のデータの時刻情報を把握可能である。これと同時に、第2の装置は、第1の装置によって取得される上記受信時刻からの経過時間により第2のデータの時刻情報を把握可能である。したがって、第2の装置は、第1のデータと第2のデータとを正確に同期させることができる。
以上のように、本技術によれば、互いに異なる方式で伝送されたデータを同期させることが可能な情報処理装置、データ生成装置、情報処理方法、および情報処理システムを提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理システムの構成を示す図である。 上記情報処理システムの各機器の構成を示すブロック図である。 上記情報処理システムの携帯端末およびコントロールボックスにそれぞれ搭載されるソフトウェアの構成を示す図である。 上記情報処理システムのウェアラブル機器の表示部に表示される画面の例を示す図である。 上記情報処理システムにおけるカード階層内でのカード画面の切り替えの動作を説明するための図である。 上記情報処理システムのウェアラブル機器の表示部に表示されるカメラアプリの画面の例を示す図である。 上記情報処理システムの携帯端末およびコントロールボックスの詳細な構成を示すブロック図である。 上記情報処理システムにおける動画データの生成方法を示すシーケンス図である。
以下、図面を参照しながら、本技術の実施形態を説明する。
1)ウェアラブル機器を用いた情報処理システムの全体構成
図1は、本技術の一実施形態に係る情報処理システム100の構成を示す。
このシステム100は、主に、携帯端末30、ウェアラブル機器(ウェアラブルディスプレイ)70、およびこのウェアラブル機器70を制御する制御装置として機能するコントロールボックス50を含む。
携帯端末30は、典型的にはスマートホン等の携帯電話機である。携帯端末30は、タブレット機器、その他PC(Personal Computer)であってもよい。
ウェアラブル機器70は、図に示すようにヘッドマウント型のものであるが、これに限られず、例えばリストバンド型やネックバンド型のものであってもよい。
携帯端末30は、クラウドシステム10に接続可能に構成されている。クラウドシステム10は、例えばインターネット等の電気通信回線網に接続されたサーバコンピュータ等を含む。
コントロールボックス50は、典型的には、ウェアラブル機器70に有線により接続されている。ユーザは、ウェアラブル機器70を頭部に装着し、コントロールボックス50を手指により操作することにより、ウェアラブル機器70を操作することができる。
2)各機器の構成
図2は、情報処理システム100の各機器の構成を示すブロック図である。
2−1)携帯端末
携帯端末30(例えばスマートホン)は、主に、CPU(Central Processing Unit)31、メモリ32、タッチパネル/表示部35、広域通信部33、および局域通信部34を有する。また、携帯端末30は、その他、モーションセンサやカメラ等を含む各種センサ37、GPS(Global Positioning System)受信部36、オーディオデバイス部38、バッテリ39等を有する。少なくとも携帯端末30(または、携帯端末30およびクラウドシステム10)は、ウェアラブル機器70の外部機器として機能する。
広域通信部33は、例えば3G(Third Generation)やLTE(Long Term Evolution)等の通信システムにより通信可能に構成される。局域通信部34は、例えばWiFi等の無線LAN(Local Area Network)通信システム、および/または、Bluetooth(登録商標)、赤外線等の短距離無線通信システムにより通信可能に構成される。局域通信部34は、コントロールボックス50との間の受信部301,送信部302(図7参照)として機能する。
携帯端末30は、局域通信部34とは別に、例えばRFID(Radio Frequency IDentification)等の、いわゆる近距離無線通信システムを利用する個体識別デバイスを有していてもよい。
オーディオデバイス部38は、音声入力部であるマイクロフォン、および音声出力部であるスピーカを含む。
2−2)ウェアラブル機器
ウェアラブル機器70は、表示部71および各種のセンサ72〜75、カメラ78を有する。表示部71は、図1に示すように、例えばヘッドマウント型のウェアラブル機器70のフレーム76の左右に配置される小型のプロジェクタである。このヘッドマウント型のウェアラブル機器70では、各プロジェクタから出射された同一または視差を持つ画像光が導光板77でガイドされ、導光板77の所定領域からユーザの眼球に向けて出射されるようになっている。
ウェアラブル機器70の各種のセンサとしては、例えば、地磁気センサ72、ジャイロセンサ73、加速度センサ74、照度センサ75等がある。
カメラ78は、ユーザの視界方向の被写体を撮影可能な撮像部を構成する。カメラ78は、装着ユニット701に搭載され、本実施形態では左右の表示部71の間に配置される(図1)。なお、カメラ78の搭載位置は上述の例に限られない。
カメラ78は、静止画および動画を撮影可能である。カメラ78は、典型的には、CMOS(Complementary Metal Oxide Semiconductor)センサ、CCD(Charge Coupled Device)センサ等の撮像素子で構成される。
なお、ウェアラブル機器70では、左右のうち一方にのみ表示部71が設けられていてもよい。ウェアラブル機器70は、プロジェクタタイプのものに限られず、眼球に直接画像光を照射するタイプの表示部71を備えていてもよい。
2−3)コントロールボックス
コントロールボックス50は、CPU51、メモリ52、局域通信部54、入力キー53、タッチパネル55、オーディオデバイス部58、バッテリ59等を有する。
コントロールボックス50は、ウェアラブル機器70の付属機器(例えば、ウェアラブル機器70の一部)として構成されてもよいし、ウェアラブル機器70とは独立したコントローラとして構成されてもよい。
CPU51は、コントロールボックス50内およびウェアラブル機器70内の各部を統括的に制御する。コントロールボックス50は、CPU51の代わりに、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)を備えていてもよい。
局域通信部54は、携帯端末30の局域通信部34と、上記した通信システムにより通信可能に構成される。局域通信部54は、携帯端末30との間の受信部501,送信部502(図7参照)として機能する。
オーディオデバイス部58は、音声を電気信号に変換可能な音声入力部であるマイクロフォン581(図1参照)、および電気信号を音声に変換可能な音声出力部であるスピーカを含む。
入力キー53は、コントロールボックス50に配置された、ユーザにより操作される1以上の物理キーである。入力キー53は、例えば電源キー、バックキー、表示部71のON/OFFキー、カメラ78の操作ボタン531(図1参照)、マイクロフォン581の操作ボタン532(図1参照)を含む。
操作ボタン531は、撮影時にユーザにより入力操作される操作部を構成し、静止画撮影モードにおいてはシャッタボタン、動画撮影モードにおいては撮影開始/終了ボタンとして機能する。操作ボタン532は、音声記録モードにおいて音声記録の開始/終了ボタンとして機能する。
操作ボタン532は、音声記録時にユーザにより入力操作される操作部を構成し、音声記録開始/終了ボタンとして機能する。
タッチパネル55は、コントロールボックス50の表面に配置された(図1参照)、ユーザにより操作される操作デバイスである。入力キー53およびタッチパネル55は、ウェアラブル機器70の操作部として機能する。
コントロールボックス50は、局域通信部54とは別に、例えば上述したRFID等の近距離無線通信システムを利用する通信デバイスを有していてもよい。これにより、ユーザは、携帯端末30内の所定のアプリケーションソフトウェアを起動し、携帯端末30をコントロールボックス50に接近させることにより、ほぼ自動的にこれらの機器をペアリングすることができる。
また例えば、ユーザが携帯端末30をコントロールボックス50に接近させることにより、携帯端末30は、これらをペアリングするためのアプリケーションソフトウェアを、ほぼ自動的にクラウドからダウンロードしてこれがインストールされるようにすることもできる。
もちろん、コントロールボックス50は、このような近距離無線通信用のデバイスを有していない場合でも、局域通信部54を用いて携帯端末30とペアリングが可能である。
2−4)クラウドシステム
クラウドシステム10内の例えばサーバコンピュータは、CPU11、メモリ12、および携帯端末30と通信可能に構成された広域通信部13を有する。
3)ソフトウェアの構成
図3は、携帯端末30およびコントロールボックス50にそれぞれ搭載されるソフトウェアの構成を示す。
携帯端末30は、一般のアプリケーションソフトウェア(以下、単に「アプリ」という。)26およびコンパニオンアプリ25をメモリ32内に格納している。これらのアプリ25、26は、携帯端末30にデフォルトでインストールされたOS(Operating System)上で動作するように構成される。
一般のアプリ26の種類としては、例えば、ミニブログや交流サイト等のSNS(Social Networking Service)アプリ、音声認識アプリ、カメラアプリ、メディア再生、ニュース、天気予報サービス等がある。
コンパニオンアプリ25は、これらのアプリ26上のデフォルトデータやユーザデータを、ウェアラブル機器70の表示部71に表示可能な形式のデータに変換する機能を有する。携帯端末30は、例えば、コンパニオンアプリ25をクラウドシステム10からダウンロードすることにより、コンパニオンアプリ25がこの携帯端末30にインストールされる。
コントロールボックス50は、ペアリング後にコンパニオンアプリ25と協働するファームウェア45をメモリ52内に有する。ファームウェア45には、カメラ78を動作させるカメラアプリや、後述する設定画面での設定アプリ等がデフォルトでインストールされている。
4)ウェアラブル機器で表示される画面例および情報処理システムの動作例
4−1)ウェアラブル機器に表示される画面例
図4は、ウェアラブル機器70の表示部71に表示される画面の例を示す。なお、以降では説明の便宜上、携帯端末30の処理の主体をコンパニオンアプリ25とし、コントロールボックス50の処理の主体をファームウェア45とする。
4−1a)カード階層の画面例
図4の上段に示す階層を「カード(Card)階層」という。カード階層200は、例えばデフォルトでホーム画面211および設定画面212等を含む、各種のカード画面210を含む。また、カード階層200は、その他、ユーザが登録したアプリ26(図3参照)のカード画面213を含む。
カード画面210は、カード画面全体の領域のうち、例えば概ね下半分の領域に配置されるカード画像215を含む。ここでいうカード画像(ホーム画面211のカード画像を除く)とは、アイコンやウィジェットのようなものであり、アプリにアクセスするためのGUI(Graphical User Interface)である。1つのカード画面210につき1つのカード画像215が備えられる。
ユーザは、登録によりカード画面210(カード画像215)を追加していくことができる。例えばユーザが携帯端末30を用いてその携帯端末30にインストールされたアプリ26に登録操作を行うことにより、コンパニオンアプリ25がそのアプリ26に応じたカード画像215を生成する。
アプリに応じたカード画像215とは、例えばカード画像215内にそのアプリとわかるマークや文字を含む画像である。後述するように、基本的にはコンパニオンアプリ25が、自身で生成したカード画像215をメモリ32に格納し、また、ファームウェア45もそれらのうち所定枚数のカード画像215をメモリ52に格納する。
コントロールボックス50内のファームウェア45は、これらのカード画面210を1つずつ表示部71に表示するように構成される。同一階層内では、ユーザがタッチパネル55を介して左右スワイプ操作を入力することにより、ファームウェア45は、順にそれらのカード画面210を表示部71に表示させる。
なお、カード画面210のうち設定画面212からアクセス可能な「設定」もアプリケーションソフトウェアの1つであり、このコントロールボックス50に内蔵のデフォルトのアプリである。
4−1b)アプリ階層の画面例
図4の下段に示す階層を「アプリ階層300」という。アプリ階層300は、基本的にはカード階層200を介してアクセスされ得、各カード画面210のそれぞれのアプリが起動されたアプリ画面(でのアプリ画像)310を含む。
表示部71は、これらのアプリ画像310を1つずつ表示する。ユーザは、カード階層200を介してアプリ階層300にアクセスすることができる。ユーザがアプリ階層300にアクセスする場合、カード階層200内で選択したカード画面210を表示部71に表示させた状態で、タップ操作する。そうすると、ファームウェア45は、そのカード画面210に対応するアプリ画像310を表示部71に表示させる。例えば、ファームウェア45は、カメラアプリが起動する場合に、カメラアプリに対応するアプリ画像311を表示部71に表示させる。
そのアプリ画像310からカード画面210に戻る場合、ユーザは、コントロールボックス50の入力キー53(図2参照)として設けられたバックキーを押す。
また、ユーザは、アプリ階層300内において任意の1つのアプリ画像310が表示されている状態で、タッチパネル55を左右にスワイプ操作することにより、その1つのアプリ内でアプリ画像310を切り替えることができる。例えば、1つのアプリ内の第1の機能と、そのアプリの第1の機能とは異なる機能を有する第2の機能とを切り替えることができる。その機能数(アプリ画像数)は、アプリにより異なる。
アプリがカメラアプリである場合、例えば、第1の機能が静止画撮影モードの画面を有し、第2の機能が動画撮影モードの画面である。なお、ファームウェア45にデフォルトでインストールされているカメラアプリは、カメラ78で得られている画像を表示部71に表示する。
なお、ユーザによる指のスワイプ操作の方向と、画像の移動方向とが一致していてもよいし、逆方向であってもよい。これはユーザの設定により変更可能とされる。
4−2)カード階層内のカード画面の切替処理
典型的には、携帯端末30のコンパニオンアプリ25が、登録されたすべてのカード画像215をメモリ32内に格納する。一方、ファームウェア45は、それらのうち所定枚数(例えば登録された順に所定枚数に達するまで)のカード画像215をコントロールボックス50内のメモリ52に格納する。そして、ファームウェア45は、ユーザによりタッチパネル55を介して指定されたカード画像215をメモリ52から抽出して表示部71に表示する。また、ファームウェア45は、必要に応じてコンパニオンアプリ25を介して携帯端末30のメモリ32からカード画像215の送信を要求し、これを受信して表示部71に表示する。具体的には、ファームウェア45およびコンパニオンアプリ25は、以下のように動作する。
図5は、カード階層200内でのカード画面210の切り替えの動作を説明するための図である。図5上に示すように、例えば携帯端末30のメモリ32が9枚のカード画像215(a)〜(i)を格納しているとする。そして、これらのうちコントロールボックス50のメモリ52が5枚のカード画像215(c)〜(g)を格納しているとする(破線で囲まれた部分)。5枚のカード画像215(c)〜(g)は連続するカード画像215である。そして、現在、表示部71には太枠で記載したカード画像215(e)が表示されている。なお、カード画像215(c)はホーム画面のカード画像である。
図5上に示す状態から、ユーザにより、カード画面210を左へ移動させるスワイプ操作が入力されたとする。そうすると、ファームウェア45は、図5下に示すように、現在表示されているカード画像215(e)をカード画像215(d)に切り替え、これまで格納していた端部(右端)のカード画像215(g)を破棄する。
また、上記スワイプ操作の入力があった時、ファームウェア45は、入力された操作情報を携帯端末30に通知する。コンパニオンアプリ25は、新たに端部(左端)に位置したカード画像215(b)をメモリ32から抽出してコントロールボックス50に送信する。ファームウェア45はこれを受け取りメモリ52に格納する。
このようにして、ファームウェア45は、所定枚数(5枚)のカード画像215がメモリ52に格納されることを維持する。
このような処理により、コントロールボックス50内の必要なメモリ容量を削減しながら、あるいは、小容量のメモリを使用してコストを低減しながら、カード画面210の切替をスムーズに行うことができる。
なお、コントロールボックス50は、ホーム画面211のカード画像215や、カメラアプリ等のデフォルトのアプリの画面のカード画像215については、それらを破棄せずそのまま保持しておいてもよい。この場合、コントロールボックス50は、それらホーム画面211以外およびデフォルトのアプリ以外のカード画像215を、所定枚数以内でメモリ52に格納するようにすればよい。
5)音声記録モード、静止画撮影モード、および動画撮影モード
図1に示す情報処理システム100では、マイクロフォン581を用いて音声データを生成して記録する音声記録モードと、カメラ78を用いて静止画データを生成し記録する静止画撮影モードと、カメラ78およびマイクロフォン581を用いて動画データを生成し記録する動画撮影モードとを有する。
生成された音声データ、静止画データ、および動画データは、携帯端末30のメモリ32に逐次保存され、ユーザによって自由にアクセス可能となる。
5−1)音声記録モード
情報処理システム100の音声記録モードにおいて、コントロールボックス50は、操作ボタン532がユーザによる入力操作を受けると、音声の取り込み、つまりマイクロフォン581による音声データの生成を開始する。そして、コントロールボックス50は、操作ボタン532が再びユーザによる入力操作を受けると、音声データの生成を終了させる。
そして、ユーザによる操作ボタン532の2回の入力操作の間に、マイクロフォン581により生成された音声データが、時系列に沿ったひとつの音声データとしてメモリ52に保存される。メモリ52に保存された音声データは、局域通信部54によって携帯端末30に送信され、メモリ32に保存される。
局域通信部54による音声データの携帯端末30への送信にはBluetooth(登録商標)やWi-Fiを用いることができる。しかし、音声データは容量が大きくないため、音声データの携帯端末30への送信には低消費電力のBluetooth(登録商標)を用いることが好ましい。
また、情報処理システム100では、マイクロフォン581により生成される音声データを、メモリ52に保存せずに、そのまま携帯端末30に送信するリアルタイム送信を行うこともできる。リアルタイム送信では、音声データが、コントロールボックス50のメモリ52に保存されず、携帯端末30のメモリ32に直接保存される。
局域通信部54による音声データの携帯端末30へのリアルタイム送信にも低消費電力のBluetooth(登録商標)を用いることが好ましい。より詳細には、音声データのリアルタイム送信に用いるBluetooth(登録商標)のプロファイルとしては、HFP(Hands Free Profile)が適している。
5−2)静止画撮影モードおよび動画撮影モード
情報処理システム100の静止画撮影モードおよび動画撮影モードは、カメラアプリの下で動作可能である。静止画撮影モードと動画撮影モードとは、カメラアプリにおいて切替可能である。
図6は、カメラアプリのアプリ画像311を示した図である。アプリ画像311は、カメラアプリの機能に従って表示されるアプリ画像311a,311b,311cを含む。
カメラアプリが起動すると、まず、静止画撮影モードに対応するアプリ画像311aが表示される。このアプリ画像311aにおいてユーザによる右スワイプ操作が入力されると、動画撮影モードに対応するアプリ画像311bが表示される。また、このアプリ画像311bにおいてユーザによる左スワイプ操作が入力されると、アプリ画像311aに戻る。
5−2a)静止画撮影モード
情報処理システム100の静止画撮影モードは、アプリ画像311aが表示されているときに動作可能である。
静止画撮影モードにおいて、コントロールボックス50は、操作ボタン(操作部)531がユーザによる入力操作を受けると、カメラ78による撮影、つまり静止画データの生成を行う。生成された静止画データは、メモリ52に保存される。メモリ52に保存された静止画データは、局域通信部54によって携帯端末30に送信され、メモリ32に保存される。
局域通信部54による静止画データの携帯端末30への送信にはBluetooth(登録商標)やWi-Fiを用いることができる。静止画データは容量が大きいため、静止画データの携帯端末30への送信にはWi-Fiを用いることが好ましい。なお、容量が小さい静止画データの携帯端末30への送信にはBluetooth(登録商標)を用いることにより消費電力を低減することもできる。
5−2b)動画撮影モード
情報処理システム100の静止画撮影モードは、アプリ画像311bが表示されているときに動作可能である。
アプリ画像311bにおいて操作ボタン531がユーザによる入力操作を受けると、動作中の動画撮影モードに対応するアプリ画像311cが表示され、動画撮影モードの動作が開始する。
動作中のアプリ画像311cにおいて操作ボタン531が再びユーザによる入力操作を受けると、待機中の動画撮影モードに対応するアプリ画像311bに戻り、動画撮影モードの動作が停止する。
動画撮影モードにおいて、コントロールボックス50は、主に、動画データを構成する静止画データと音声データとを生成する情報処理装置として機能する。携帯端末30は、主に、コントロールボックス50から受信した静止画データと音声データとを合成して動画データを生成するデータ生成装置として機能する。
コントロールボックス50に生成された静止画データおよび音声データは携帯端末30に送信される。コントロールボックス50は、容量の大きい静止画データの送信にWi-Fiを用い、容量の小さい音声データの送信にHFP(Hands Free Profile)を用いる。
携帯端末30は、受信した静止画データと音声データとの双方に同期のための時刻情報であるタイムスタンプが含まれていれば、タイムスタンプに基づいて静止画データと音声データとを同期させることができる。ところが、Wi-Fiでは、同期のための時刻情報であるタイムスタンプを含むデータを送信することができるが、HFP(Hands Free Profile)ではタイムスタンプを含むデータを送信することができない。
つまり、携帯端末30が受信する静止画データにはタイムスタンプが含まれるものの音声データにはタイムスタンプが含まれない。そのため、携帯端末30は、タイムスタンプに基づいて静止画データと音声データとを同期させることができない。
そこで、情報処理システム100では、タイムスタンプを含まない音声データの送信に、マイクロフォン581により生成される音声データをそのまま携帯端末30に送信するリアルタイム送信を用いる。これにより、静止画データと音声データとを良好に同期させることができるようになる。以下、情報処理システム100の動画撮影モードにおける動画データ生成の詳細について説明する。
6)動画撮影モードにおける動画データの生成
6−1)動画撮影モードに関連する構成
図7は、情報処理システム100の動画撮影モードに関連する構成を示すブロック図である。
コントロールボックス50では、主に、局域通信部54(図1参照)を構成する受信部501および送信部502と、操作ボタン531(図1参照)と、マイクロフォン581(図1参照)と、メモリ52(図2参照)とが動画データの生成に用いられる。
また、コントロールボックス50は、内部にて時刻を刻み、コントロールボックス50のシステムタイムを提供するタイマー503と、各データを時刻と関連付けるための時刻処理部504をと更に含む。
携帯端末30では、主に、局域通信部34(図1参照)を構成する受信部301および送信部301と、メモリ32(図2参照)とが動画データの生成に用いられる。
また、携帯端末30は、内部にて時刻を刻み、携帯端末30のシステムタイムを提供するタイマー303と、各データを時刻と関連付けるための時刻処理部304と、静止画データと音声データとを動画データに合成するための合成処理部303とを更に含む。
6−2)動画撮影モードにおける動画データ生成のシーケンス
図8は、情報処理システム100の動画撮影モードにおける動画データ生成のシーケンスを示している。図8に沿って、情報処理システム100における動画データ生成の詳細について説明する。
まず、コントロールボックス50は、操作ボタン531がユーザによる入力操作を受けると(ST1)、送信部502によって、動画撮影モードの動作を開始するための操作通知を携帯端末30に送信する(ST2)。
携帯端末30は、受信部301によって、コントロールボックス50からの操作通知を受信すると、送信部302によって、音声データの送信を開始させるための音声データ送信開始要求をコントロールボックス50に送信する(ST3)。
携帯端末30からコントロールボックス50に送信される開始要求は、携帯端末30のシステムタイムであるタイマー303の時刻Tsと、コントロールボックス50のシステムタイムであるタイマー503の時刻Tcとの関連付けを行うためのトリガとして構成される。
具体的には、携帯端末30は、時刻処理部304によって、開始要求を送信した送信時刻Ts0をタイマー303から取得する(ST4)。コントロールボックス50は、時刻処理部504によって、開始要求を受信した受信時刻Tc0をタイマー503から取得する(ST5)。
更に、コントロールボックス50は、送信部502によって、時刻処理部304により取得した受信時刻Tc0を携帯端末30に送信する(ST6)。
そして、携帯端末30が、受信部301によって、受信時刻Tcを受信する。これにより、携帯端末30が、携帯端末30のタイマー303から取得された送信時刻Ts0と、コントロールボックス50のタイマー503から取得された受信時刻Tc0とを把握することができる。
ここで、携帯端末30とコントロールボックス50との間の開始要求の通信にかかる時間は無視できる程度に短いため、携帯端末30のタイマー303における送信時刻Ts0とコントロールボックス50のタイマー503における受信時刻Tc0とが同時刻を示すものとされる。
これにより、受信時刻Tc0を受信した携帯端末30は、携帯端末30のタイマー303における時刻Tsと、コントロールボックス50のタイマー503における時刻Tcとを、以下の式(1),(2)によって相互に変換することが可能となる。
Tc=Tc0+(Ts−Ts0) …(1)
Ts=Ts0+(Tc−Tc0) …(2)
このように、携帯端末30からコントロールボックス50に送信される開始要求によって、携帯端末30は、携帯端末30のタイマー303における時刻Tsのみならず、コントロールボックス50のタイマー503における時刻Tcを把握可能となる。
また、受信時刻Tc0の送信(上記ST6)と同時に、コントロールボックス50は、マイクロフォン581を用いて音声データの生成を開始する(ST7)。コントロールボックス50は、送信部502によって、生成した音声データの携帯端末30へのリアルタイム送信を開始する(ST8)。
上述しように、送信部502による音声データの携帯端末30へのリアルタイム送信には、HFP(Hands Free Profile)が用いられる。
なお、本実施形態では、送信部502から携帯端末30への音声データのリアルタイム送信において、全くタイムラグが無いものとみなしている。つまり、音声データが生成された時刻と、携帯端末30が音声データを受信する時刻とが同時であるものとみなしている。
しかし、実際に音声データが生成された時刻と、携帯端末30が音声データを受信する時刻との間のタイムラグL1を考慮してもよい。つまり、携帯端末30が音声データを受信した時刻からタイムラグL1を引いた時刻を、実際に音声データが生成された時刻とみなしてもよい。タイムラグL1は、予め実測され、携帯端末30のメモリ32に記録されていればよい。
携帯端末30は、逐次、受信部301によって音声データを受信する。携帯端末30は、タイマー303における、受信部301が当該音声データを受信した時刻Tsがわかるように音声データをメモリ32に記録する。例えば、携帯端末30は、音声データに時刻Tsを逐次埋め込んでもよく、音声データの受信の開始/終了時刻Tsを音声データに付与してもよい。
受信部301による音声データの受信を開始した携帯端末30は、送信部302によって、静止画データの送信を開始させるための静止画データ送信開始要求をコントロールボックス50に送信する(ST9)。
コントロールボックス50は、受信部501によって静止画データ送信開始要求を受信すると、ウェアラブル機器70のカメラ78の動作を開始させる(ST10)。つまり、コントロールボックス50は、カメラ78によって、動画データにおける各コマになる静止画データを連続して生成し続ける。
静止画データは、動画データに設定されるフレームレートに応じた時間ごとに生成される。動画データのフレームレートは、例えば、30fpsや15fpsとすることができる。
具体的には、コントロールボックス50がカメラ78の動作を開始すると、カメラ78は、繰り返し静止画データを生成する(ST11−1〜ST11−N)。コントロールボックス50は、逐次、カメラ78によって生成された静止画データをメモリ52に取り込み、時刻処理部504によって静止画データにタイムスタンプを付与する(ST12−1〜ST12−N)。
時刻処理部504が静止画データに付与するタイムスタンプは、タイマー503における、カメラ78によって静止画データが生成された時刻Tcを示す。なお、タイムスタンプは、特定の方式に限られず、携帯端末30が静止画データから時刻Tcを把握可能とする時刻情報であればよい。つまり、タイムスタンプには、このような時刻情報を含むスタンプやデータ全般が含まれるものとする。
コントロールボックス50は、逐次、時刻処理部504によってタイムスタンプを付与した静止画データを、送信部502によって携帯端末30に送信する(ST13−1〜ST13−N)。
上述しように、送信部502による静止画データの携帯端末30への送信には、Wi-Fiが用いられる。静止画データは容量が大きいため、コントロールボックス50による送信と携帯端末30による受信との間にタイムラグが発生する。そのため、図8では、「静止画データ送信(ST13−1〜ST13−N)」の矢印が斜め下向きに示されている。
携帯端末30は、逐次、受信部301によって静止画データを受信し、当該静止画データをメモリ32に保存する。これにより、携帯端末30のメモリ32には、時系列に沿った一群の静止画データが保存される。
このように、操作ボタン531が再びユーザによる入力操作を受けるまで、携帯端末30のメモリ32には、音声データおよび静止画データが蓄積され続ける。
そして、操作ボタン531が再びユーザによる入力操作を受けると(ST14)、コントロールボックス50は、動画撮影モードの動作を終了するための操作通知を携帯端末30に送信する(ST15)とともに、音声データの生成を終了し(ST16)、カメラの動作を停止させる(ST17)。
そして、携帯端末30が、合成処理部305によって、メモリ32に保存された音声データと静止画データとを合成して動画データを生成する(ST18)。
具体的には、まず、合成処理部305は、静止画データに付与されたタイムスタンプに応じて、静止画データをつなぎ合わせて時系列に沿った一連の映像データ生成する。なお、合成処理部305は、静止画データの送信速度が不十分であることなどにより、携帯端末30が一部の静止画データが得られていない場合には「コマ落ち」と判断する。
合成処理部305は、コマ落ちで得られていない静止画データを、当該静止画データの直前に生成された静止画データで充当する。これにより、合成処理部305は、コマ落ちがある場合にも、スムーズな映像データを生成することが可能となる。
そして、合成処理部305は、映像データと音声データとを同期させて結合する。ここで、音声データには、時刻情報として、携帯端末30が当該音声データを受信した時刻Tsが付与されている。一方、映像データの各静止画データには、時刻情報として、時刻Tcを示すタイムスタンプが付与されている。
つまり、音声データの時刻情報は携帯端末30のタイマー303の時刻Tsで付与され、映像データの時刻情報はコントロールボックス50タイマー503の時刻Tcで付与されている。そこで、映像データおよび音声データの時刻情報を時刻Tsまたは時刻Tcに統一する必要がある。
そのために、情報処理システム100では、音声データの時刻情報を上記式(1)を用いて時刻Tsから時刻Tcに変換するか、または、映像データの時刻情報を上記式(2)を用いて時刻Tcから時刻Tsに変換する。
これにより、音声データの時刻情報および映像データの時刻情報により、映像データと音声データとを良好に同期させることが可能となる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記実施形態に係る同期方法は、映像データと音声データとの同期に限らず、タイムスタンプを含むデータを送信可能な方式で送信されるデータと、タイムスタンプを含むデータを送信不能な方式で送信されるデータとの同期に広く適用可能である。
上記実施形態では、音声データ送信開始要求の、送信時刻Ts0と受信時刻Tc0とが同時であるものとみなしたが、送信時刻Ts0と受信時刻Tc0とのタイムラグL2を考慮に入れてもよい。つまり、送信時刻Ts0と受信時刻Tc0との間に一定のタイムラグL2がある場合には、「Ts0+L」と「Tc0」とが同時刻を示すものとみなすことができる。タイムラグL2は、予め実測され、携帯端末30のメモリ32に記録されいればよい。
この場合、上記の式(1)および式(2)は、下記の式(1’)および式(2’)と書き換えることができる。
Tc=Tc0+{Ts−(Ts0+L2)} …(1’)
Ts=(Ts0+L2)+(Tc−Tc0) …(2’)
また、上記実施形態では、音声データ送信開始要求が携帯端末30からコントロールボックス50に送信されるが、これとは反対に、音声データ送信開始要求はコントロールボックス50から携帯端末30に送信されてもよい。この場合、コントロールボックス50が音声データ送信開始要求を送信した送信時刻Tc0と、携帯端末30が音声データ送信開始要求を受信した受信時刻Ts0とを用いて静止画データと音声データとの同期が行われる。なお、この場合、図8における「音声データ送信開始要求(ST3)」の矢印の向きが逆になる。
上記実施形態に係るウェアラブル機器70は、有線により、つまり電気ケーブルによりコントロールボックス50に接続されていた。しかし、ウェアラブル機器70は、ウェアラブル機器とコントロールボックスが電気ケーブル無しに一体となった機器であってもよい。
上記の実施形態では、データ生成装置として機能する機器は、携帯電話機など、携帯性を有する機器であったが、デスクトップ型のPC等、携帯性を有しない機器であってもよい。
以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。
なお、本技術は以下のような構成も採ることができる。
(1)外部機器により送信された開始要求を受信する受信部と、
前記受信部が前記開始要求を受信した受信時刻を取得し、第1のデータにタイムスタンプを付与する時刻処理部と、
前記時刻処理部が取得した前記受信時刻を前記外部機器に送信し、前記受信時刻の後に生成され、前記時刻処理部が前記タイムスタンプを付与した前記第1のデータを前記外部機器に送信し、前記受信時刻の後に生成された第2のデータを前記外部機器にリアルタイム送信する送信部と
を具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記第1のデータは静止画データで、前記第2のデータは音声データである
情報処理装置。
(3)上記(2)に記載の情報処理装置であって、
前記送信部は、前記静止画データをWi-Fiにより送信し、前記音声データをBluetooth(登録商標)により送信する
情報処理装置。
(4)上記(2)または(3)に記載の情報処理装置であって、
前記静止画データを生成するカメラと、
前記音声データを生成するマイクロフォンとを更に具備する
情報処理装置。
(5)上記(4)に記載の情報処理装置であって、
前記カメラは、ユーザの頭部に装着可能に構成されている
情報処理装置。
(6)上記(4)または(5)に記載の情報処理装置であって、
前記カメラは、一定の時間ごとに前記静止画データを生成する
情報処理装置。
(7)上記(1)から(6)いずれかひとつに記載の情報処理装置であって、
ユーザによる入力操作を受ける操作部を更に具備し、
前記送信部は、前記操作部が入力操作を受けたときに、前記外部機器に対して、前記開始要求を送信させるための通知を行う
情報処理装置。
(8)外部機器に開始要求を送信し、前記開始要求を送信した送信時刻を前記外部機器に送信し、前記送信時刻の後に生成され、タイムスタンプが付与された第1のデータを前記外部機器に送信し、前記送信時刻の後に生成された第2のデータを前記外部機器にリアルタイム送信する送信部と、
前記送信時刻を取得し、前記第1のデータに前記タイムスタンプを付与する時刻処理部と
を具備する情報処理装置。
(9)情報処理装置に開始要求を送信する送信部と、
前記送信部が前記開始要求を送信した送信時刻を取得する時刻処理部と、
前記情報処理装置によって取得されて送信される、前記情報処理装置によって前記開始要求が受信された受信時刻を受信し、前記受信時刻の後に生成され、前記情報処理装置によってタイムスタンプが付与されて送信される第1のデータを受信し、前記受信時刻の後に生成されてリアルタイム送信される第2のデータを受信する受信部と、
前記時刻処理部が取得した前記送信時刻と、前記受信時刻とを用いて、前記第1のデータと前記第2のデータとを同期させる合成処理部と
を具備するデータ生成装置。
(10)上記(9)に記載のデータ生成装置であって、
前記合成処理部は、前記送信時刻と前記受信時刻とが等しいとみなして、前記第1のデータと前記第2のデータとを同期させる
データ生成装置。
(11)上記(9)または(10)に記載のデータ生成装置であって、
前記第1のデータは静止画データで、前記第2のデータは音声データであり
前記合成処理部は、前記静止画データと前記音声データとを合成して動画データを生成する
データ生成装置。
(12)上記(9)から(11)のいずれかひとつに記載のデータ生成装置であって、
前記合成処理部は、前記第1のデータと前記第2のデータとを同期させるために、前記第2のデータの前記リアルタイム送信におけるタイムラグを用いる
データ生成装置。
(13)第1の装置と通信可能に構成された第2の装置によって、前記第1の装置に開始要求を送信し、
前記開始要求を送信した送信時刻を、前記第2の装置によって取得し、
前記第1の装置によって前記開始要求を受信し、
前記開始要求を受信した受信時刻を、前記第1の装置によって取得し、
前記第1の装置によって、前記受信時刻を前記第2の装置に送信し、
前記受信時刻の後に生成される第1のデータに、前記第1の装置によってタイムスタンプを付与し、
前記タイムスタンプを付与した前記第1のデータを、前記第1の装置によって前記第2の装置に送信し、
前記受信時刻の後に生成される第2のデータを、前記第1の装置によって前記第2の装置にリアルタイム送信し、
前記受信時刻と、前記第1のデータと、前記第2のデータとを前記第2の装置によって受信し、
前記第2の装置によって、前記送信時刻と前記受信時刻とを用いて、前記第1のデータと前記第2のデータとを同期させる
情報処理方法。
(14)第1の装置と、前記第1の装置と通信可能に構成された第2の装置とを具備し、
前記第1の装置は、
前記第2の装置により送信された開始要求を受信する受信部と、
第1の時刻を刻むタイマーと、
前記受信部が前記開始要求を受信した前記第1の時刻である受信時刻を取得し、第1のデータに前記第1の時刻に基づいてタイムスタンプを付与する時刻処理部と、
前記時刻処理部が取得した前記受信時刻を前記外部機器に送信し、前記受信時刻の後に生成され、前記時刻処理部が前記タイムスタンプを付与した前記第1のデータを前記外部機器に送信し、前記受信時刻の後に生成された第2のデータを前記外部機器にリアルタイム送信する送信部とを含み、
前記第2の装置は、
前記第1の装置に前記開始要求を送信する送信部と、
前記第1の時刻とは異なる第2の時刻を刻むタイマーと、
前記第2の装置の前記送信部が前記開始要求を送信した前記第2の時刻である送信時刻を取得する時刻処理部と、
前記第1の装置によって送信される、前記受信時刻と、前記第1のデータと、前記第2のデータとを受信する受信部と、
前記第2の装置の前記時刻処理部が取得した前記送信時刻と、前記受信時刻とを用いて、前記第1のデータと前記第2のデータとを同期させる合成処理部とを含む
情報処理システム。
30…携帯端末
32…メモリ
50…コントロールボックス
52…メモリ
70…ウェアラブル機器
78…カメラ
301…受信部
302…送信部
303…タイマー
304…時刻処理部
305…合成処理部
501…受信部
502…送信部
503…タイマー
504…時刻処理部
531…操作ボタン
581…マイクロフォン
100…情報処理システム

Claims (14)

  1. 外部機器により送信された開始要求を受信する受信部と、
    前記受信部が前記開始要求を受信した受信時刻を取得し、第1のデータにタイムスタンプを付与する時刻処理部と、
    前記時刻処理部が取得した前記受信時刻を前記外部機器に送信し、前記受信時刻の後に生成され、前記時刻処理部が前記タイムスタンプを付与した前記第1のデータを前記外部機器に送信し、前記受信時刻の後に生成された第2のデータを前記外部機器にリアルタイム送信する送信部と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記第1のデータは静止画データで、前記第2のデータは音声データである
    情報処理装置。
  3. 請求項2に記載の情報処理装置であって、
    前記送信部は、前記静止画データをWi-Fiにより送信し、前記音声データをBluetooth(登録商標)により送信する
    情報処理装置。
  4. 請求項2に記載の情報処理装置であって、
    前記静止画データを生成するカメラと、
    前記音声データを生成するマイクロフォンとを更に具備する
    情報処理装置。
  5. 請求項4に記載の情報処理装置であって、
    前記カメラは、ユーザの頭部に装着可能に構成されている
    情報処理装置。
  6. 請求項4に記載の情報処理装置であって、
    前記カメラは、一定の時間ごとに前記静止画データを生成する
    情報処理装置。
  7. 請求項1に記載の情報処理装置であって、
    ユーザによる入力操作を受ける操作部を更に具備し、
    前記送信部は、前記操作部が入力操作を受けたときに、前記外部機器に対して、前記開始要求を送信させるための通知を行う
    情報処理装置。
  8. 外部機器に開始要求を送信し、前記開始要求を送信した送信時刻を前記外部機器に送信し、前記送信時刻の後に生成され、タイムスタンプが付与された第1のデータを前記外部機器に送信し、前記送信時刻の後に生成された第2のデータを前記外部機器にリアルタイム送信する送信部と、
    前記送信時刻を取得し、前記第1のデータに前記タイムスタンプを付与する時刻処理部と
    を具備する情報処理装置。
  9. 情報処理装置に開始要求を送信する送信部と、
    前記送信部が前記開始要求を送信した送信時刻を取得する時刻処理部と、
    前記情報処理装置によって取得されて送信される、前記情報処理装置によって前記開始要求が受信された受信時刻を受信し、前記受信時刻の後に生成され、前記情報処理装置によってタイムスタンプが付与されて送信される第1のデータを受信し、前記受信時刻の後に生成されてリアルタイム送信される第2のデータを受信する受信部と、
    前記時刻処理部が取得した前記送信時刻と、前記受信時刻とを用いて、前記第1のデータと前記第2のデータとを同期させる合成処理部と
    を具備するデータ生成装置。
  10. 請求項9に記載のデータ生成装置であって、
    前記合成処理部は、前記送信時刻と前記受信時刻とが等しいとみなして、前記第1のデータと前記第2のデータとを同期させる
    データ生成装置。
  11. 請求項9に記載のデータ生成装置であって、
    前記第1のデータは静止画データで、前記第2のデータは音声データであり
    前記合成処理部は、前記静止画データと前記音声データとを合成して動画データを生成する
    データ生成装置。
  12. 請求項9に記載のデータ生成装置であって、
    前記合成処理部は、前記第1のデータと前記第2のデータとを同期させるために、前記第2のデータの前記リアルタイム送信におけるタイムラグを用いる
    データ生成装置。
  13. 第1の装置と通信可能に構成された第2の装置によって、前記第1の装置に開始要求を送信し、
    前記開始要求を送信した送信時刻を、前記第2の装置によって取得し、
    前記第1の装置によって前記開始要求を受信し、
    前記開始要求を受信した受信時刻を、前記第1の装置によって取得し、
    前記第1の装置によって、前記受信時刻を前記第2の装置に送信し、
    前記受信時刻の後に生成される第1のデータに、前記第1の装置によってタイムスタンプを付与し、
    前記タイムスタンプを付与した前記第1のデータを、前記第1の装置によって前記第2の装置に送信し、
    前記受信時刻の後に生成される第2のデータを、前記第1の装置によって前記第2の装置にリアルタイム送信し、
    前記受信時刻と、前記第1のデータと、前記第2のデータとを前記第2の装置によって受信し、
    前記第2の装置によって、前記送信時刻と前記受信時刻とを用いて、前記第1のデータと前記第2のデータとを同期させる
    情報処理方法。
  14. 第1の装置と、前記第1の装置と通信可能に構成された第2の装置とを具備し、
    前記第1の装置は、
    前記第2の装置により送信された開始要求を受信する受信部と、
    第1の時刻を刻むタイマーと、
    前記受信部が前記開始要求を受信した前記第1の時刻である受信時刻を取得し、第1のデータに前記第1の時刻に基づいてタイムスタンプを付与する時刻処理部と、
    前記時刻処理部が取得した前記受信時刻を前記外部機器に送信し、前記受信時刻の後に生成され、前記時刻処理部が前記タイムスタンプを付与した前記第1のデータを前記外部機器に送信し、前記受信時刻の後に生成された第2のデータを前記外部機器にリアルタイム送信する送信部とを含み、
    前記第2の装置は、
    前記第1の装置に前記開始要求を送信する送信部と、
    前記第1の時刻とは異なる第2の時刻を刻むタイマーと、
    前記第2の装置の前記送信部が前記開始要求を送信した前記第2の時刻である送信時刻を取得する時刻処理部と、
    前記第1の装置によって送信される、前記受信時刻と、前記第1のデータと、前記第2のデータとを受信する受信部と、
    前記第2の装置の前記時刻処理部が取得した前記送信時刻と、前記受信時刻とを用いて、前記第1のデータと前記第2のデータとを同期させる合成処理部とを含む
    情報処理システム。
JP2014032321A 2014-02-21 2014-02-21 情報処理装置、データ生成装置、情報処理方法、および情報処理システム Pending JP2015159381A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014032321A JP2015159381A (ja) 2014-02-21 2014-02-21 情報処理装置、データ生成装置、情報処理方法、および情報処理システム
US14/620,276 US9467582B2 (en) 2014-02-21 2015-02-12 Information processing apparatus, data generating apparatus, information processing method, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014032321A JP2015159381A (ja) 2014-02-21 2014-02-21 情報処理装置、データ生成装置、情報処理方法、および情報処理システム

Publications (1)

Publication Number Publication Date
JP2015159381A true JP2015159381A (ja) 2015-09-03

Family

ID=53883441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014032321A Pending JP2015159381A (ja) 2014-02-21 2014-02-21 情報処理装置、データ生成装置、情報処理方法、および情報処理システム

Country Status (2)

Country Link
US (1) US9467582B2 (ja)
JP (1) JP2015159381A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112612B2 (en) 2017-01-24 2021-09-07 Sony Corporation Hinge mechanism and head-mounted display including this hinge mechanism

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222254A (ja) * 2002-12-27 2004-08-05 Canon Inc 画像処理システム、方法及びプログラム
JP5630513B2 (ja) 2006-11-22 2014-11-26 ソニー株式会社 表示装置、表示方法、画像表示システム
US7936790B2 (en) * 2007-08-30 2011-05-03 Silicon Image, Inc. Synchronizing related data streams in interconnection networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112612B2 (en) 2017-01-24 2021-09-07 Sony Corporation Hinge mechanism and head-mounted display including this hinge mechanism

Also Published As

Publication number Publication date
US9467582B2 (en) 2016-10-11
US20150244879A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
US11032514B2 (en) Method and apparatus for providing image service
CN109766066B (zh) 一种消息处理的方法、相关装置及系统
JP6143966B2 (ja) 撮影制御方法、装置、プログラム及び記録媒体
KR20160000741A (ko) 글래스 타입 단말기 및 이의 제어방법
KR20150090162A (ko) 비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체
US10321091B2 (en) Information processing device and method of information processing
EP2985980B1 (en) Method and device for playing stream media data
CN102638774A (zh) 一种移动终端数据同步分享的方法和系统
KR102509939B1 (ko) 전자 장치 및 전자 장치의 영상 인코딩 방법
KR20170012178A (ko) 동영상 내용을 획득하기 위한 방법 및 장치
US20180176459A1 (en) Method and device for changing focal point of camera
CN104777991A (zh) 一种基于手机的远程互动投影系统
WO2017000554A1 (zh) 音视频文件生成方法、装置及系统
KR20160020393A (ko) 건강 데이터 표시 방법, 장치, 프로그램 및 기록매체
JP6481225B2 (ja) 情報端末装置、情報支援方法及び情報支援プログラム
JP2015158748A (ja) 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、ウェアラブル機器
JP2014120830A (ja) 情報処理装置およびその制御方法
JP6503734B2 (ja) 情報処理装置、制御方法、およびプログラム
US20210289336A1 (en) Systems and methods for smart devices
CN109845251B (zh) 用于显示图像的电子设备和方法
WO2020062304A1 (zh) 一种文件传输方法及电子设备
JP2015159381A (ja) 情報処理装置、データ生成装置、情報処理方法、および情報処理システム
JP2021152928A (ja) 端末装置、方法、およびプログラム
CN114866659A (zh) 一种拍摄方法及电子设备
US20160323542A1 (en) User terminal device and method for providing interaction service therefor