JP7243764B2 - In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device - Google Patents

In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device Download PDF

Info

Publication number
JP7243764B2
JP7243764B2 JP2021106265A JP2021106265A JP7243764B2 JP 7243764 B2 JP7243764 B2 JP 7243764B2 JP 2021106265 A JP2021106265 A JP 2021106265A JP 2021106265 A JP2021106265 A JP 2021106265A JP 7243764 B2 JP7243764 B2 JP 7243764B2
Authority
JP
Japan
Prior art keywords
terminal device
application
mobile terminal
vehicle device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021106265A
Other languages
Japanese (ja)
Other versions
JP2021177636A (en
Inventor
隆志 小野原
朗可 上田
恵司 大二
太一 吉尾
雄司 川辺
清二 岩屋ヶ野
琢磨 肥後
絵理 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020115814A external-priority patent/JP6908169B2/en
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2021106265A priority Critical patent/JP7243764B2/en
Publication of JP2021177636A publication Critical patent/JP2021177636A/en
Application granted granted Critical
Publication of JP7243764B2 publication Critical patent/JP7243764B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は車載装置、携帯端末装置、情報処理システム、車載装置の制御方法およびプログラムに関する。 The present invention relates to an in-vehicle device, a mobile terminal device, an information processing system, a control method for an in-vehicle device, and a program .

近年、様々なサービス、機能を提供する多種多様なアプリケーションを有する携帯電話機、スマートフォンなどの携帯端末装置が普及している。そして、よりアプリケーションによる利便性を高めるために、それら携帯端末装置と他の装置との連携が望まれている。そこで、端末装置と車載装置とを連携させることにより、車載装置を音声作動させる音声作動システムが提案されている（特許文献１）。 2. Description of the Related Art In recent years, mobile terminal devices such as mobile phones and smart phones having a wide variety of applications that provide various services and functions have become widespread. In order to further improve the convenience of applications, cooperation between these mobile terminal devices and other devices is desired. Therefore, a voice activation system has been proposed in which a terminal device and an in-vehicle device are voice-activated by linking the terminal device and the in-vehicle device (Patent Document 1).

特開２００９－３００５３７号公報JP 2009-300537 A

特許文献１に記載された技術は、音声の取得を端末装置に設けられたマイクロホンで行うものである。しかし、自動車内においては走行中に携帯電話機、スマートフォンなどの端末装置を操作することができないため、端末装置は必ずしも音声取得に適した装置であるとはいえない。 The technology described in Patent Literature 1 acquires voice with a microphone provided in a terminal device. However, since it is not possible to operate a terminal device such as a mobile phone or a smart phone while driving in an automobile, the terminal device is not necessarily suitable for voice acquisition.

本技術は、このような点に鑑みてなされたものであり、端末装置と他の装置を連携させ、さらに、端末装置以外の装置に対する音声入力により端末装置を動作させる端末装置を提供することを目的とする。 The present technology has been made in view of the above points, and aims to provide a terminal device that allows a terminal device to cooperate with another device and that operates the terminal device by voice input to a device other than the terminal device. aim.

上述した課題を解決するために、第１の技術は、車載装置において、音声情報を取得する音声情報取得部と、取得した音声情報を処理する音声処理部と、携帯端末装置と通信する通信部とを備え、音声処理部は、音声情報取得部が取得した音声情報に対してノイズ除去処理をし、通信部は、車載装置のみが有するアプリケーションのアイコンと携帯端末装置が有するアプリケーションのアイコンとを車載装置の表示部に共存して表示するための共有情報を携帯端末装置から受信し、音声情報取得部によって取得され、音声処理部によってノイズ除去処理がされた音声情報を、車載装置のみが有するアプリケーションまたは携帯端末装置が有するアプリケーションを動作させるために携帯端末装置に送信する車載装置である。 In order to solve the above-described problems, a first technique is to provide an in-vehicle device that includes a voice information acquisition unit that acquires voice information, a voice processing unit that processes the acquired voice information, and a communication unit that communicates with a mobile terminal device. The voice processing unit performs noise removal processing on the voice information acquired by the voice information acquisition unit, and the communication unit separates the icon of the application possessed only by the in-vehicle device from the icon of the application possessed by the mobile terminal device. Shared information for coexistence and display on the display unit of the in-vehicle device is received from the mobile terminal device, acquired by the voice information acquisition unit, and only the in-vehicle device has voice information subjected to noise removal processing by the voice processing unit. It is an in-vehicle device that transmits to a mobile terminal device in order to operate an application or an application that the mobile terminal device has .

本技術によれば、端末装置と他の装置を連携させ、さらに、端末装置以外の装置に対する音声入力により端末装置を動作させることができるため、端末装置を操作せずに端末装置を動作させることができる。 According to the present technology, a terminal device can be linked with another device, and furthermore, the terminal device can be operated by voice input to a device other than the terminal device. Therefore, it is possible to operate the terminal device without operating the terminal device. can be done.

図１は、本技術の係る第２の装置の一例である端末装置の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a terminal device that is an example of a second device according to the present technology. 図２は、共有情報の具体例を示す図である。FIG. 2 is a diagram showing a specific example of shared information. 図３は、端末装置の外観構成の例を示す図である。FIG. 3 is a diagram illustrating an example of an external configuration of a terminal device. 図４は、端末装置の表示部におけるページ送り操作について説明するための図である。FIG. 4 is a diagram for explaining a page turning operation on the display unit of the terminal device. 図５は、本技術に係る第１の装置の一例であるコンテンツ再生装置の構成を示すブロック図である。FIG. 5 is a block diagram showing the configuration of a content reproduction device that is an example of the first device according to the present technology. 図６は、コンテンツ再生装置の外観構成の例を示す図である。FIG. 6 is a diagram showing an example of the external configuration of the content reproduction device. 図７は、端末装置とコンテンツ再生装置間の情報の受け渡しの説明するための概念図である。FIG. 7 is a conceptual diagram for explaining exchange of information between the terminal device and the content reproduction device. 図８は、端末装置とコンテンツ再生装置間で行われる処理の流れを示すシーケンス図である。FIG. 8 is a sequence diagram showing the flow of processing performed between the terminal device and the content reproduction device. 図９は、コンテンツ再生装置と端末装置におけるアプリケーション選択表示の連動を示す図である。FIG. 9 is a diagram showing interlocking of application selection display between the content reproduction device and the terminal device.

以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１－１．端末装置の構成］
［１－２．コンテンツ再生装置の構成］
［１－３．端末装置とコンテンツ再生装置間における処理］
＜２．変形例＞ Hereinafter, embodiments of the present technology will be described with reference to the drawings. However, the present technology is not limited only to the following embodiments. The description will be given in the following order.
<1. Embodiment>
[1-1. Configuration of terminal device]
[1-2. Configuration of Content Playback Device]
[1-3. Processing between Terminal Device and Content Playback Device]
<2. Variation>

＜１．第１の実施の形態＞
［１－１．端末装置の構成］
図１は本実施の形態における端末装置１００の構成を示すブロック図である。端末装置１００は、特許請求の範囲における第２の装置の一例である。端末装置１００は、データバス１０１を備え、このデータバス１０１には、制御部１０２、ネットワークインターフェース１０３、信号処理部１０４、入力部１０５、表示部１０６、通信部１０７、記憶部１０８、アプリケーションプロセッサ１１０が接続されている。 <1. First Embodiment>
[1-1. Configuration of terminal device]
FIG. 1 is a block diagram showing the configuration of terminal device 100 in this embodiment. The terminal device 100 is an example of a second device in the claims. The terminal device 100 includes a data bus 101, which includes a control unit 102, a network interface 103, a signal processing unit 104, an input unit 105, a display unit 106, a communication unit 107, a storage unit 108, and an application processor 110. is connected.

制御部１０２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、端末装置１００の各部および全体の制御を行う。 The control unit 102 includes, for example, a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), and the like. The ROM stores programs that are read and operated by the CPU. The RAM is used as work memory for the CPU. The CPU controls each unit and the entire terminal device 100 by executing various processes according to programs stored in the ROM.

ネットワークインターフェース１０３は、例えば、所定のプロトコルに基づいて外部基地局などとの間でデータの送受信を行うものである。通信方式は無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（Wireless Fidelity）、３Ｇ回線を用いた通信など、どのような方式でもよい。ネットワークインターフェース１０３による通信により、端末装置１００はインターネット接続、他者との通話などを行うことが可能となる。 The network interface 103 performs data transmission/reception with an external base station or the like based on a predetermined protocol, for example. The communication method may be any method such as wireless LAN (Local Area Network), Wi-Fi (Wireless Fidelity), communication using a 3G line, and the like. Communication through the network interface 103 enables the terminal device 100 to connect to the Internet, make a call with another person, and the like.

信号処理部１０４は、変復調器、ＡＤ／ＤＡ変換器、音声コーデック（図示せず。）などを備えている。信号処理部１０４の変復調器で、送信する音声信号を変調し、あるいは受信した信号を復調する。送信する信号は、ＡＤ／ＤＡ変換器でデジタル信号に変換され、受信した信号はＡＤ／ＤＡ変換器でアナログ信号に変換される。そして信号処理部１０４には、音声を出力するスピーカ１１１と、音声を入力するマイクロホン１１２とが接続されている。 The signal processing unit 104 includes a modem, an AD/DA converter, an audio codec (not shown), and the like. The modem of the signal processing unit 104 modulates the voice signal to be transmitted or demodulates the received signal. A signal to be transmitted is converted into a digital signal by an AD/DA converter, and a received signal is converted into an analog signal by an AD/DA converter. A speaker 111 for outputting sound and a microphone 112 for inputting sound are connected to the signal processing unit 104 .

入力部１０５は、ユーザが端末装置１００に対して各種入力を行うための入力手段である。例えば、ボタン、タッチパネル、スイッチなどにより構成されている。また、入力部１０５は、表示部１０６と一体に構成されたタッチスクリーンとして構成してもよい。入力部１０５に対してユーザによる入力操作がなされると、その入力に対応した制御信号が生成されて制御部１０２に出力される。そして、制御部１０２によりその制御信号に対応した演算処理や制御が行われる。 The input unit 105 is input means for the user to make various inputs to the terminal device 100 . For example, it is configured by a button, a touch panel, a switch, and the like. Also, the input unit 105 may be configured as a touch screen integrated with the display unit 106 . When the user performs an input operation on the input unit 105 , a control signal corresponding to the input is generated and output to the control unit 102 . Arithmetic processing and control corresponding to the control signal are performed by the control unit 102 .

表示部１０６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部１０６には、端末装置１００の各種操作のメニューを表示するホーム画面、楽曲リスト、再生中の楽曲情報（アーティスト名、曲名など）、動画コンテンツ、画像コンテンツなどが表示される。 The display unit 106 is display means configured by, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro Luminescence) panel, or the like. The display unit 106 displays a home screen that displays a menu for various operations of the terminal device 100, a music list, music information being played (artist name, music title, etc.), video content, image content, and the like.

通信部１０７は、Bluetooth、ＵＳＢ接続などの方法により端末装置１００との通信を行うための通信モジュールである。通信部１０７における通信方法としては、無線通信であるBluetooth、有線通信であるＵＳＢによる通信などがある。Bluetooth通信を行うBluetoothモジュールは、Bluetooth方式の近距離無線通信によるデータの送受信が可能なモジュールである。Bluetoothモジュールによって、外部Bluetooth機器であるコンテンツ再生装置とのデータのやり取りが行われる。 The communication unit 107 is a communication module for communicating with the terminal device 100 by a method such as Bluetooth or USB connection. Communication methods in the communication unit 107 include wireless communication such as Bluetooth and wired communication such as USB. A Bluetooth module that performs Bluetooth communication is a module capable of transmitting and receiving data by Bluetooth short-range wireless communication. The Bluetooth module exchanges data with a content playback device, which is an external Bluetooth device.

Bluetoothモジュールは、アンテナ、信号処理部（図示せず。）などを備える。例えば外部のBluetooth機器であるコンテンツ再生装置２００に音声データを送信する場合等、Bluetoothモジュールは、信号処理部によって送信する音声データに所定の信号処理を施し、その音声データを内蔵するアンテナを介してコンテンツ再生装置２００に送信する。また、コンテンツ再生装置２００に音声データを送信する場合等、Bluetoothモジュールは、コンテンツ再生装置から送信された音声データを内蔵するアンテナで受信し、内蔵する信号処理部１０４に供給する。そして、信号処理部において音声データに所定の信号処理を施すことによって音声信号を生成する。これにより、端末装置１００で再生した音声データをコンテンツ再生装置２００から出力すること、および、コンテンツ再生装置２００で再生した音声データを端末装置１００から出力することができる。 The Bluetooth module includes an antenna, a signal processor (not shown), and the like. For example, when audio data is transmitted to the content reproduction device 200, which is an external Bluetooth device, the Bluetooth module performs predetermined signal processing on the audio data to be transmitted by the signal processing unit, and transmits the audio data via an antenna containing the audio data. It transmits to the content reproduction device 200 . Also, when transmitting audio data to the content reproduction device 200, the Bluetooth module receives the audio data transmitted from the content reproduction device with the built-in antenna and supplies it to the built-in signal processing unit 104. FIG. Then, an audio signal is generated by subjecting the audio data to predetermined signal processing in the signal processing section. As a result, the audio data reproduced by the terminal device 100 can be output from the content reproduction device 200 and the audio data reproduced by the content reproduction device 200 can be output from the terminal device 100 .

通信部１０７における通信方式として有線通信であるＵＳＢを用いる場合には、ＵＳＢケーブルによってコンテンツ再生装置２００と端末装置１００とが接続される。音声データはＵＳＢケーブルを介して端末装置１００からコンテンツ再生装置２００に供給される。 When USB, which is wired communication, is used as the communication method in the communication unit 107, the content reproduction device 200 and the terminal device 100 are connected by a USB cable. Audio data is supplied from the terminal device 100 to the content reproduction device 200 via the USB cable.

よって、本実施の形態においては、端末装置１００とコンテンツ再生装置２００とを接続し、端末装置１００が保存する楽曲データを再生し、その楽曲が音声としてコンテンツ再生装置２００から出力されるようにすることもできる。 Therefore, in the present embodiment, the terminal device 100 and the content reproduction device 200 are connected, the music data stored in the terminal device 100 is reproduced, and the music is output from the content reproduction device 200 as sound. can also

ただし、接続方法はいずれの方法であってもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。また、通信方式は、端末装置１００の機種、ＯＳ（Operation System）の種類などに基づいて適宜選択するとよい。 However, any connection method may be used. Also, any connection method other than Bluetooth and USB may be employed as long as it enables arbitrary data communication. Also, the communication method may be appropriately selected based on the model of the terminal device 100, the type of OS (Operation System), and the like.

記憶部１０８は、例えば、ＨＤＤ、フラッシュメモリなどの大容量記憶媒体から構成されており、端末装置１００によって再生される楽曲などのコンテンツデータなどを保存するものである。楽曲データは、ＷＡＶ（RIFF waveform Audio Format）、またはＭＰ３（MPEG Audio Layer-3）、ＡＡＣ（Advanced Audio Coding）などの方式で音声圧縮された状態で記憶部１０８に記憶される。また、楽曲のアーティスト名、アルバム名、曲名、総再生時間、再生時間情報などを含む楽曲情報も楽曲データのメタデータとして記憶部１０８に保存されている。楽曲情報は例えば、ＣＤＤＢ(Compact Disc Data Base)を利用することにより取得することができる。また、ユーザが任意に設定できるようにしてもよい。 The storage unit 108 is composed of, for example, a large-capacity storage medium such as an HDD or flash memory, and stores content data such as music played by the terminal device 100 . The music data is stored in the storage unit 108 in a state of being audio-compressed by a system such as WAV (RIFF waveform Audio Format), MP3 (MPEG Audio Layer-3), AAC (Advanced Audio Coding). Further, song information including the artist name, album name, song title, total playback time, playback time information, etc. of the song is also stored in the storage unit 108 as metadata of the song data. Music information can be obtained by using, for example, a CDDB (Compact Disc Data Base). In addition, the user may be able to set arbitrarily.

音声認識部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成され、通信部１０７から供給された音声データに基づいて言語認識を行い、音声信号に含まれる言葉を単語単位で認識してキーワードを抽出する。なお、音声認識の手法は種々提案されているため、音声認識部１０９は、いずれかの手法を利用して音声認識処理を行うとよい。 The speech recognition unit 109 is composed of, for example, a CPU, a ROM, a RAM, etc., performs language recognition based on the speech data supplied from the communication unit 107, recognizes words included in the speech signal on a word-by-word basis, and recognizes keywords. Extract. Since various speech recognition techniques have been proposed, the speech recognition unit 109 may use any one of the techniques to perform speech recognition processing.

音声認識の手法としては、例えば、学習用データから音声の特徴を蓄積し、その特徴と供給された音声とを比較してキーワードを抽出する手法、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を用いた手法などがある。音声認識部１０９は、抽出したキーワードを例えば、テキストデータなどの所定の形式のデータとしてアプリケーションプロセッサ１１０に供給する。 As a method of speech recognition, for example, a hidden Markov model (HMM) is used, which is a method of accumulating speech features from learning data and extracting keywords by comparing the features with the supplied speech. There are methods and so on. The speech recognition unit 109 supplies the extracted keyword to the application processor 110 as data in a predetermined format such as text data.

アプリケーションプロセッサ１１０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成され、端末装置１００にインストールされた各種アプリケーションを実行する処理部である。アプリケーションとしては、例えば、音楽再生、動画再生、地図、天気、ナビゲーション、ゲーム、インターネットブラウザ、動画共有サイト利用、計算機などの様々な種類がある。 The application processor 110 is a processing unit configured by, for example, a CPU, a ROM, a RAM, etc., and executing various applications installed in the terminal device 100 . Applications include, for example, music reproduction, video reproduction, maps, weather, navigation, games, Internet browsers, use of video sharing sites, and calculators.

本技術は、端末装置１００にインストールされる情報処理アプリケーションがアプリケーションプロセッサ１１０に実行されることにより実現される。アプリケーションプロセッサ１１０は情報処理アプリケーションを実行することにより、情報取得部１２１、共有情報生成部１２２、送信制御部１２３、表示制御部１２４、アプリケーション実行部１２５として機能する。情報処理アプリケーションの実行により実現される各機能が特許請求の範囲における情報処理装置に相当する。 The present technology is implemented by causing the application processor 110 to execute an information processing application installed in the terminal device 100 . The application processor 110 functions as an information acquisition unit 121, a shared information generation unit 122, a transmission control unit 123, a display control unit 124, and an application execution unit 125 by executing information processing applications. Each function realized by executing the information processing application corresponds to the information processing apparatus in the claims.

情報取得部１２１は、コンテンツ再生装置２００が有するコンテンツソースからのコンテンツを出力するアプリケーション（特許請求の範囲における第１の装置が有するアプリケーションに相当する）を示す情報（第１のアプリケーション情報）を通信部１０７を介してコンテンツ再生装置２００から取得する。コンテンツソースとしてはインターネットラジオ、ＵＳＢなどにより接続された外部ストレージ、ディスク媒体を再生するディスク媒体モジュールなどがある。 The information acquisition unit 121 communicates information (first application information) indicating an application (corresponding to an application possessed by the first device in the scope of claims) for outputting content from a content source possessed by the content reproduction device 200. Acquired from the content reproduction device 200 via the unit 107 . Content sources include an Internet radio, an external storage connected via a USB or the like, and a disk medium module for reproducing disk media.

また、情報取得部１２１は、端末装置１００が有するアプリケーションの中から、ユーザがコンテンツ再生装置２００と端末装置１００とにおいて共有させるために選択したアプリケーションを示す情報（第２のアプリケーション情報）を取得する。 Further, the information acquisition unit 121 acquires information (second application information) indicating an application selected by the user to be shared between the content reproduction device 200 and the terminal device 100 from among the applications that the terminal device 100 has. .

さらに、情報取得部１２１は、コンテンツ再生装置２００において行われたアプリケーションの選択操作の内容を示す情報（操作情報）を通信部１０７を介して受信する。操作情報の詳細については後述する。 Furthermore, the information acquisition unit 121 receives information (operation information) indicating details of an application selection operation performed in the content reproduction device 200 via the communication unit 107 . Details of the operation information will be described later.

共有情報生成部１２２は、情報取得部１２１により取得した第１のアプリケーション情報と第２のアプリケーション情報とを共存させることによって共有情報を生成する。共有情報は、端末装置１００において用いられるとともに、通信制御部１０２による制御のもと通信部１０７を介してコンテンツ再生装置２００に送信される。このように、共有情報は、コンテンツ再生装置２００と端末装置１００間で共有されるものである。 The shared information generation unit 122 generates shared information by allowing the first application information and the second application information acquired by the information acquisition unit 121 to coexist. The shared information is used in the terminal device 100 and is transmitted to the content reproduction device 200 via the communication section 107 under the control of the communication control section 102 . In this way, the shared information is shared between the content reproduction device 200 and the terminal device 100. FIG.

共有情報は例えば、図２に示されるように、第１のアプリケーション情報と第２のアプリケーション情報に示されるアプリケーションが順序付けられたリスト形式の情報である。この順序は、端末装置１００およびコンテンツ再生装置の表示部１０６におけるアプリケーションを示すアイコンの表示順序に対応している。 For example, as shown in FIG. 2, the shared information is list-format information in which the applications shown in the first application information and the second application information are ordered. This order corresponds to the display order of the icons indicating the applications on the display unit 106 of the terminal device 100 and the content reproduction device.

なお、本技術においては、Bluetoothを用いて通信を行う場合には、シリアルポートプロファイルを用いて端末装置１００とコンテンツ再生装置２００間で第１のアプリケーション情報、共有情報、操作情報などの送受信が行われる。また、コンテンツ再生装置２００と端末装置１００との接続にＵＳＢを用いる場合には、ｉＡＰを用いて第１のアプリケーション情報、共有情報、操作情報などの送受信が行われる。 In the present technology, when communication is performed using Bluetooth, transmission and reception of the first application information, shared information, operation information, and the like are performed between the terminal device 100 and the content reproduction device 200 using the serial port profile. will be Also, when USB is used for connection between the content reproduction device 200 and the terminal device 100, iAP is used to transmit and receive first application information, shared information, operation information, and the like.

シリアルポートプロファイル、ｉＡＰでは任意の情報の送受信が可能であるため、それらを利用することにより、本技術に用いられる上述した各種情報の送受信を行うことができる。ただし、上述した各種情報を送受信することが出来る方法であれば、他の方法を用いてもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。 Since the serial port profile and iAP can transmit and receive arbitrary information, by using them, it is possible to transmit and receive the various types of information used in the present technology. However, other methods may be used as long as the above-described various information can be transmitted and received. Also, any connection method other than Bluetooth and USB may be employed as long as it enables arbitrary data communication.

表示制御部１２４は、共有情報に基づいて、コンテンツ再生装置２００のコンテンツソース用アプリケーション（コンテンツソース内のコンテンツを再生するアプリケーション）と、ユーザが選択した端末装置１００のアプリケーションとを示すアイコンを表示部１０６に表示する制御を行うものである。また、表示制御部１２４は、音声認識部１０９から供給されたキーワードに基づいてアプリケーション実行部１２５が起動／動作させたアプリケーションに対応した表示制御を行う。 Based on the shared information, the display control unit 124 displays icons representing the content source application (application for reproducing content in the content source) of the content reproduction device 200 and the application of the terminal device 100 selected by the user. 106 to control the display. The display control unit 124 also performs display control corresponding to the application activated/operated by the application execution unit 125 based on the keyword supplied from the speech recognition unit 109 .

アプリケーション実行部１２５は、音声認識部１０９から供給されたキーワードに基づいて端末装置１００にインストールされたアプリケーションを起動し、さらにそのアプリケーションを動作させる。キーワードに基づきアプリケーションを起動、動作させる方法としては、例えば、予めアプリケーションの起動および動作と、それに対応したキーワードをテーブルとして保持しておく。そして、音声認識部１０９からキーワードが供給されると、アプリケーションプロセッサ１１０はそのテーブルを参照して、キーワードに対応するアプリケーションまたは動作を検索する。そして、キーワードに対応するアプリケーションまたは動作が存在する場合にはそのアプリケーションの起動または動作を実行する。 The application execution unit 125 starts an application installed in the terminal device 100 based on the keyword supplied from the speech recognition unit 109, and further operates the application. As a method of activating and operating an application based on a keyword, for example, the activation and operation of the application and the corresponding keyword are held in advance as a table. Then, when a keyword is supplied from the speech recognition unit 109, the application processor 110 refers to the table and searches for an application or operation corresponding to the keyword. Then, if there is an application or operation corresponding to the keyword, that application is activated or the operation is executed.

例えば、入力されたキーワードがアプリケーション名である場合にはアプリケーションを起動する。そして、例えば、ナビゲーションアプリケーションが起動している状態で、地名がキーワードで入力された場合には、その地名までのルートを検索してナビゲーション開始する。また、動画共有サイト利用アプリケーションが起動している状態で、キーワードが入力された場合には、アプリケーションにそのキーワードで動画検索行い、検索結果の提示、動画再生、動画停止、早送り、巻戻しなどを行う。アプリケーション実行部１２５は入力されたキーワードに基づいてこのような処理を行う。 For example, if the input keyword is an application name, the application is started. Then, for example, when a place name is entered as a keyword while the navigation application is running, a route to the place name is searched and navigation is started. Also, when a keyword is entered while the application for using the video sharing site is running, the application performs a video search using that keyword, presents the search results, plays the video, stops the video, fast-forwards, rewinds, etc. conduct. The application execution unit 125 performs such processing based on the input keyword.

なお、上述の方法以外にも、供給されたキーワードに基づいて、それに対応するアプリケーションの起動、動作を実行することが出来る方法であればどのような方法を採用してもよい。 In addition to the above-described method, any method may be adopted as long as it is a method capable of starting an application corresponding to a supplied keyword and executing an operation based on the supplied keyword.

なお、情報処理アプリケーションは予め端末装置１００にインストールした状態でユーザに提供するようにしてもよいし、ユーザが自ら端末装置１００にインストールするようにしてもよい。情報処理アプリケーションは、例えば、インターネット上のアプリケーション販売サイト、アプリケーションダウンロードサービスを介して提供または販売される。また、情報処理アプリケーションが記録された光ディスクや半導体メモリなどの可搬型記録媒体によって提供または販売されてもよい。 Note that the information processing application may be provided to the user in a state of being installed in the terminal device 100 in advance, or may be installed in the terminal device 100 by the user himself/herself. Information processing applications are provided or sold through, for example, application sales sites and application download services on the Internet. Alternatively, the information processing application may be provided or sold as a portable recording medium such as an optical disc or a semiconductor memory.

スピーカ１１１は音声を出力するための音声出力手段であり、信号処理部１０４により所定の処理が施された音声信号などを音声として出力する。これによりユーザは通話音声、端末装置１００に保存された音声データなどを聴取することができる。また、マイクロホン１１２は通話、音声による指示入力などのために音声を端末装置１００に入力するためのものである。マイクロホン１１２から入力された音声は信号処理部１０４によって所定の処理が施される。 The speaker 111 is audio output means for outputting audio, and outputs an audio signal or the like that has undergone predetermined processing by the signal processing unit 104 as audio. Thereby, the user can listen to the call voice, the voice data stored in the terminal device 100, and the like. Also, the microphone 112 is for inputting voice to the terminal device 100 for making a call, inputting instructions by voice, and the like. The sound input from the microphone 112 is subjected to predetermined processing by the signal processing unit 104 .

以上のようにして端末装置１００が構成されている。端末装置１００としては、携帯電話機、スマートフォン、携帯音楽プレーヤ、タブレット端末などがある。また、図示はしないが、端末装置１００には撮像部と画像処理部などからなるカメラ機能、ラジオ機能などが設けられていてもよい。 The terminal device 100 is configured as described above. Examples of the terminal device 100 include a mobile phone, a smart phone, a mobile music player, a tablet terminal, and the like. Further, although not shown, the terminal device 100 may be provided with a camera function, a radio function, and the like, including an imaging unit and an image processing unit.

図３は、端末装置１００の外観構成の一例を示す図である。図３においては、端末装置１００の表示部１０６および、入力部１０５としてのタッチスクリーンおよび入力部１０５としてのボタンが示されている。 FIG. 3 is a diagram showing an example of the external configuration of the terminal device 100. As shown in FIG. In FIG. 3, the display unit 106 of the terminal device 100, the touch screen as the input unit 105, and the buttons as the input unit 105 are shown.

端末装置１００の表示部１０６には共有情報で示されたアプリケーションを示す複数のアイコン１３１、１３１、・・が表示されている。本実施の形態では、コンテンツ再生装置のコンテンツソースと端末装置１００においてユーザにより選択されたアプリケーションを示すアイコンが表示されることとなる。 The display unit 106 of the terminal device 100 displays a plurality of icons 131, 131, . In this embodiment, an icon indicating the content source of the content reproduction device and the application selected by the user on the terminal device 100 is displayed.

ユーザは、表示部１０６に表示されたアイコン１３１に指を接触させる、または入力部１０５としてのボタンを押圧することにより、アプリケーションを選択する。アプリケーションが選択されると、例えば、図４Ａの状態から図４Ｂの状態へと、選択されたアプリケーションを示す太枠状のカーソル１３２が移動する。その後、例えば、選択したアプリケーションのアイコン１３１に再度入力を行うなどによりアプリケーション決定入力を行うと、選択されたアプリケーションが起動する。 A user selects an application by touching an icon 131 displayed on the display unit 106 with a finger or by pressing a button as the input unit 105 . When an application is selected, the cursor 132 in the shape of a thick frame indicating the selected application moves, for example, from the state shown in FIG. 4A to the state shown in FIG. 4B. After that, for example, when the application determination input is performed by inputting again to the icon 131 of the selected application, the selected application is activated.

ここで、端末装置１００におけるページ送り操作について説明する。図４Ａは、端末装置１００の表示部１０６においてアプリケーションを示す複数のアイコン１３１が表示されている１ページ目を示すものである。１ページ目が表示されている図４Ａの状態において、タッチスクリーンに対する入力などにより画面を横方向にスライドさせる。そうすると、図４Ｂに示されるように、１ページ目がスライド方向に流れて消えていくと同時に、２ページ目が表示部１０６の端からスライドして現れてくる遷移状態となる。そして、その遷移状態を経て、２ページ目のスライド動作が完了すると図４Ｃに示されるように２ページ目全体が表示部１０６に表示される。２ページ目に表示されるアイコン１３１は１ページ目に表示されたものとは異なっている。この一連の表示部１０６のおける表示の遷移を「ページ送り」と称し、それを行うための入力操作を「ページ送り操作」と称する。 Here, a page turning operation in the terminal device 100 will be described. FIG. 4A shows the first page on which a plurality of icons 131 indicating applications are displayed on the display unit 106 of the terminal device 100. FIG. In the state of FIG. 4A in which the first page is displayed, the screen is slid in the horizontal direction by an input on the touch screen or the like. Then, as shown in FIG. 4B, a transition state occurs in which the first page slides in the sliding direction and disappears, and at the same time, the second page slides out from the edge of the display unit 106 and appears. When the slide operation of the second page is completed through the transition state, the entire second page is displayed on the display unit 106 as shown in FIG. 4C. Icons 131 displayed on the second page are different from those displayed on the first page. This series of display transitions on the display unit 106 is referred to as "page forwarding", and the input operation for performing this is referred to as "page forwarding operation".

なお、図４の説明は１ページ目から２ページ目への遷移を例にして説明したが、２ページ目から３ページ目、３ページ目から４ページ目、２ページ目から１ページ目なども同様にページ送りが可能である。端末装置１００においてはインストールされるアプリケーションの数によってページ数が異なる。アプリケーションの数が多い場合にはそれに伴いページ数も増えていく。 Note that the explanation of FIG. 4 has been made with the transition from the first page to the second page as an example, but the transition from the second page to the third page, from the third page to the fourth page, from the second page to the first page, etc. Page forwarding is possible in the same way. In the terminal device 100, the number of pages varies depending on the number of installed applications. When the number of applications is large, the number of pages also increases accordingly.

通常、携帯電話機、スマートフォン、タブレット端末などにおけるアプリケーションのアイコン表示は縦５×横４、縦４×横４などの配置で行われるのが通常である。しかし、本実施の形態において表示制御部１２４は、図４に示されるように例えば縦２×横２など、よりアイコンが大きく表示されるように表示制御を行うようにしてもよい。これにより、端末装置１００における入力操作が容易となる。 Generally, application icons in mobile phones, smart phones, tablet terminals, etc. are normally displayed in an arrangement such as 5 vertical×4 horizontal, or 4 vertical×4 horizontal. However, in the present embodiment, the display control unit 124 may perform display control so that the icon is displayed larger, such as 2 vertically by 2 horizontally, as shown in FIG. This facilitates input operations on the terminal device 100 .

なお、図４に示される端末装置１００の外観構成、表示部１０６における表示態様、入力部１０５としてのボタンの配置はあくまで一例であり、それらは図４に示されるものに限られるものではない。 Note that the external configuration of the terminal device 100, the display mode of the display unit 106, and the arrangement of buttons as the input unit 105 shown in FIG. 4 are merely examples, and are not limited to those shown in FIG.

［１－２．コンテンツ再生装置の構成］
図５は、本技術の実施の形態におけるコンテンツ再生装置２００の構成を示すブロック図である。コンテンツ再生装置２００は特許請求の範囲における第１の装置の一例である。コンテンツ再生装置２００はいわゆる据え置き型の装置であり、据え置き型の装置としては例えば、車両内でコンテンツを再生するカーオーディオ装置、主に家庭内で用いられるドックスピーカなどがある。 [1-2. Configuration of Content Playback Device]
FIG. 5 is a block diagram showing the configuration of the content reproduction device 200 according to the embodiment of the present technology. The content reproduction device 200 is an example of the first device in the scope of claims. The content reproduction device 200 is a so-called stationary device, and examples of the stationary device include a car audio device that reproduces content in a vehicle, a dock speaker that is mainly used at home, and the like.

コンテンツ再生装置２００は、制御部２０１、ラジオ用アンテナ２０２、チューナ２０３、ディスク媒体モジュール２０４、電子ボリューム２０５、アンプ部２０６、スピーカ２０７、リモートコントローラ受光部２０８、入力部２０９、通信部２１０、表示部２１１、ＵＳＢ端子２１２、フラッシュＲＯＭ２１３、マイクロホン２１４、サウンドＤＳＰ（Digital Signal Processing）２１５、アプリケーションプロセッサ２１６とから構成されている。 The content reproduction device 200 includes a control unit 201, a radio antenna 202, a tuner 203, a disk medium module 204, an electronic volume 205, an amplifier unit 206, a speaker 207, a remote controller light receiving unit 208, an input unit 209, a communication unit 210, and a display unit. 211 , a USB terminal 212 , a flash ROM 213 , a microphone 214 , a sound DSP (Digital Signal Processing) 215 and an application processor 216 .

制御部２０１は例えば、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、コンテンツ再生装置２００の各部および全体の制御を行う。 The control unit 201 is composed of, for example, a CPU, a RAM and a ROM. The ROM stores programs that are read and operated by the CPU. The RAM is used as work memory for the CPU. The CPU controls each unit and the entirety of the content reproduction device 200 by executing various processes according to programs stored in the ROM.

ラジオ用アンテナ２０２は、ラジオ放送電波を受信するためのアンテナであり、チューナ２０３に接続されている。チューナ２０３は、ラジオ用アンテナ２０２により受信されたラジオ放送信号の復調やアナログ／デジタル変換、符号化されているデータの復号等の処理などを行い、ラジオ音声データを復元する。ラジオ音声データは制御部２０１の制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。 A radio antenna 202 is an antenna for receiving radio broadcast waves and is connected to a tuner 203 . The tuner 203 performs processing such as demodulation and analog/digital conversion of radio broadcast signals received by the radio antenna 202, decoding of encoded data, and the like, to restore radio audio data. Radio audio data is sent to the speaker 207 via the electronic volume 205 and the amplifier section 206 under the control of the control section 201, and is output as audio from the speaker 207. FIG.

ディスク媒体モジュール２０４は、ディスク状記録媒体に書込まれているオーディオ信号を読出し、読出したオーディオ信号に対して所定の信号処理を施して音声信号を取得するディスク再生装置である。得られた音声信号は、制御部２０１の制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。なお、ディスク状記録媒体としてはＣＤ(Compact Disc)、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）などがある。 The disk medium module 204 is a disk reproducing device that reads an audio signal written on a disk-shaped recording medium, performs predetermined signal processing on the read audio signal, and obtains an audio signal. The obtained audio signal is sent to the speaker 207 via the electronic volume 205 and the amplifier section 206 under the control of the control section 201, and is output as audio from the speaker 207. FIG. Disc-shaped recording media include CDs (Compact Discs), DVDs (Digital Versatile Discs), BDs (Blu-ray Discs), and the like.

電子ボリューム２０５は、制御部２０１の制御に基づき、ラジオチューナ２０３、ディスク媒体モジュール２０４、通信部２１０、ＵＳＢ端子２１２などから供給された音声信号を増幅して音量を調整する。音量が調整された音声信号は、アンプ部２０６に供給される。アンプ部２０６は、電子ボリューム２０５から供給された音声信号を所定に増幅し、スピーカ２０７に供給する。スピーカ２０７は、アンプ部２０６から供給された音声信号を外部に音声として出力する音声出力手段である。 The electronic volume 205 amplifies audio signals supplied from the radio tuner 203, the disk medium module 204, the communication unit 210, the USB terminal 212, etc., and adjusts the volume under the control of the control unit 201. FIG. The audio signal whose volume has been adjusted is supplied to the amplifier section 206 . The amplifier unit 206 amplifies the audio signal supplied from the electronic volume 205 to a predetermined level, and supplies the amplified audio signal to the speaker 207 . The speaker 207 is audio output means for outputting the audio signal supplied from the amplifier unit 206 to the outside as audio.

リモートコントローラ受光部２０８は、ユーザの操作によりコンテンツ再生装置２００付属のリモートコントローラ３００から送信されたコントロール信号を受信して制御部２０１に出力する。 The remote controller light-receiving unit 208 receives a control signal transmitted from the remote controller 300 attached to the content reproduction device 200 by user's operation, and outputs the control signal to the control unit 201 .

入力部２０９は、ユーザがコンテンツ再生装置２００への各種入力操作を行うための入力手段である。入力部２０９は例えば、ボタン、タッチパネル、スイッチなどにより構成されている。また、入力部２０９は、表示部２１１と一体に構成されたタッチスクリーンとして構成してもよい。入力部２０９に対してユーザによる入力がなされると、その入力に対応した制御信号が生成されて制御部２０１に出力される。そして、制御部２０１によりその制御信号に対応した演算処理や制御が行われる。 The input unit 209 is input means for the user to perform various input operations to the content reproduction device 200 . The input unit 209 is composed of, for example, buttons, a touch panel, switches, and the like. Also, the input unit 209 may be configured as a touch screen integrated with the display unit 211 . When the user makes an input to the input unit 209 , a control signal corresponding to the input is generated and output to the control unit 201 . Arithmetic processing and control corresponding to the control signal are performed by the control unit 201 .

本実施の形態においては、ユーザは、入力部２０９に対して、アプリケーション選択操作および、選択したアプリケーションを起動するための決定操作などを行うことが可能である。 In the present embodiment, the user can perform an application selection operation, a determination operation for starting the selected application, and the like on input unit 209 .

表示部２１１は、例えば、ＬＣＤ、ＰＤＰ、有機ＥＬパネルなどにより構成された表示手段である。表示部２１１には、コンテンツ再生装置２００の各種操作のメニューを表示するホーム画面、楽曲リスト、再生中の楽曲情報（アーティスト名、曲名など）などが表示される。さらに、コンテンツ再生装置２００が動画コンテンツ、画像コンテンツなどにも対応している場合にはそれらも表示される。 The display unit 211 is display means configured by, for example, an LCD, a PDP, an organic EL panel, or the like. The display unit 211 displays a home screen that displays a menu for various operations of the content reproduction device 200, a music list, music information (artist name, music title, etc.) being reproduced, and the like. Furthermore, if the content reproduction device 200 supports moving image content, image content, etc., they are also displayed.

さらに、入力部２０９と表示部２１１によりタッチスクリーンが構成される場合には、表示部２１１には入力部２０９としてのソフトボタン、音量調整、コンテンツ選択などの個々の操作画面などのユーザインターフェース画像も表示される。 Furthermore, when a touch screen is configured by the input unit 209 and the display unit 211, the display unit 211 also displays user interface images such as soft buttons as the input unit 209, individual operation screens for volume adjustment, content selection, and the like. Is displayed.

通信部２１０は、端末装置１００との通信を行うものである。通信部２１０の構成は端末装置におけるものと同様である。通信部２１０で受信した端末装置からの音声データはサウンドＤＳＰ２１５に供給される。 The communication unit 210 communicates with the terminal device 100 . The configuration of the communication unit 210 is the same as that in the terminal device. Audio data from the terminal device received by the communication unit 210 is supplied to the sound DSP 215 .

また、通信方式としてBluetoothを用いる場合、シリアルポートプロファイルを用いて、コンテンツ再生装置２００と端末装置１００間で、第１のアプリケーション情報、共有情報、操作情報などの送受信を行われる。また、コンテンツ再生装置２００と端末装置１００との接続にＵＳＢを用いる場合には、ｉＡＰを用いて第１のアプリケーション情報、共有情報、操作情報などの任意の情報の送受信が可能となる。 When Bluetooth is used as the communication method, the serial port profile is used to transmit and receive first application information, shared information, operation information, and the like between the content reproduction device 200 and the terminal device 100 . Also, when USB is used for connection between the content reproduction device 200 and the terminal device 100, it is possible to transmit and receive arbitrary information such as first application information, shared information, and operation information using iAP.

ただし、接続方法はいずれの方法であってもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。 However, any connection method may be used. Also, any connection method other than Bluetooth and USB may be employed as long as it enables arbitrary data communication.

ＵＳＢ端子２１２は、コンテンツ再生装置２００に外部装置、外部記録媒体などを接続するためのＵＳＢ規格に準拠した接続端子である。ＵＳＢ端子２１２には例えば、音声データは格納する外部ＨＤＤ（Hard Disc Drive）、ＵＳＢメモリなどの外部ストレージが接続される。外部ストレージに格納された音声データは制御部２０１による制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。 The USB terminal 212 is a connection terminal conforming to the USB standard for connecting an external device, an external recording medium, etc. to the content reproduction device 200 . The USB terminal 212 is connected to an external storage such as an external HDD (Hard Disc Drive) or USB memory for storing audio data. The audio data stored in the external storage is sent to the speaker 207 via the electronic volume 205 and the amplifier section 206 under the control of the control section 201, and output as audio from the speaker 207. FIG.

フラッシュＲＯＭ２１３は不揮発性メモリであり、Bluetooth機器に関する情報である機器情報やラジオ放送の周波数情報といった各種のデータが格納される。そして、格納された機器情報や周波数情報が制御部２０１からの要求に応じて読出され、制御部２０１に供給される。 The flash ROM 213 is a non-volatile memory, and stores various data such as device information, which is information about Bluetooth devices, and radio broadcast frequency information. Then, the stored device information and frequency information are read in response to a request from control section 201 and supplied to control section 201 .

マイクロホン２１４は、ユーザが発した音声を取得するものであり、マイクロホン２１４に入力された声は音声信号に変換され、アプリケーションプロセッサ２１６に供給される。音声信号はアプリケーションプロセッサ２１６によりサウンドＤＳＰ２１５に供給される。 The microphone 214 acquires the voice uttered by the user, and the voice input to the microphone 214 is converted into a voice signal and supplied to the application processor 216 . Audio signals are provided by the application processor 216 to the sound DSP 215 .

サウンドＤＳＰ２１５は、通信部２１０としてのBluetoothモジュールなどから供給された音声データに対して所定の音声信号処理を施して電子ボリューム２０５に供給する。音声信号は電子ボリューム２０５、アンプ部２０６を介して最終的に音声としてスピーカ２０７から出力される。 The sound DSP 215 performs predetermined audio signal processing on audio data supplied from a Bluetooth module or the like as the communication unit 210 and supplies the processed audio data to the electronic volume 205 . The audio signal is passed through the electronic volume 205 and the amplifier section 206 and finally output from the speaker 207 as audio.

また、サウンドＤＳＰ２１５は、マイクロホン２１４からの音声信号に対して、ノイズキャンセリング処理を施す。ノイズキャンセリングの手法は種々提案されているため、任意の手法を利用してノイズキャンセリング処理を行うとよい。ノイズキャンセリングの手法としては、例えば、マイクロホン２１４で取得した騒音、環境音とは逆の位相の音波成分を発生させて互いを消し合うことにより、ユーザの声以外のノイズを低減させる方法などがある。 Also, the sound DSP 215 performs noise canceling processing on the audio signal from the microphone 214 . Since various noise canceling methods have been proposed, any method may be used to perform noise canceling processing. As a noise canceling method, for example, a method of reducing noise other than the user's voice by generating sound wave components having phases opposite to those of noise and environmental sounds acquired by the microphone 214 and canceling each other out. be.

アプリケーションプロセッサ２１６は、端末装置における情報処理アプリケーションの動作に対応してコンテンツ再生装置２００側で所定の処理を行うものである。アプリケーションプロセッサ２１６は、所定のアプリケーションを実行することにより情報取得部２１７、および表示制御部２１８として機能する。 The application processor 216 performs predetermined processing on the content reproduction device 200 side in response to the operation of the information processing application in the terminal device. The application processor 216 functions as an information acquisition unit 217 and a display control unit 218 by executing predetermined applications.

情報取得部２１７は、端末装置１００から送信された共有情報を通信部２１０を介して取得する。また、情報取得部２１７は、端末装置１００においてユーザにより行われたアプリケーションの選択操作を示す情報（操作情報）を通信部２１０を介して取得する。 The information acquisition unit 217 acquires shared information transmitted from the terminal device 100 via the communication unit 210 . The information acquisition unit 217 also acquires information (operation information) indicating an application selection operation performed by the user on the terminal device 100 via the communication unit 210 .

表示制御部２１８は、情報取得部２１７により取得した共有情報に基づいて、表示部２１１における表示制御を行うものである。また、アプリケーションの選択を示すカーソルなどの表示制御も行う。さらに、操作情報に基づいた表示部２１１における表示の更新処理も行う。これら表示制御の詳細については後述する。 The display control unit 218 performs display control on the display unit 211 based on the shared information acquired by the information acquisition unit 217 . It also controls the display of a cursor that indicates application selection. Further, the display update processing on the display unit 211 is also performed based on the operation information. Details of these display controls will be described later.

本実施の形態においては、コンテンツ再生装置２００には、チューナ、ＵＳＢ接続されており音声データを蓄えた外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有している。ただし、コンテンツソースの数および種類はそれに限られるものではない。１つのコンテンツソースを備えていてもよいし、より多くのコンテンツソースを備えていてもよい。 In this embodiment, the content reproduction device 200 has three content sources: a tuner, a USB-connected external storage storing audio data, and a disk medium module. However, the number and types of content sources are not limited to this. It may have one content source, or it may have more content sources.

図６は、コンテンツ再生装置２００のフロントパネルの外観構成の一例を示す図である。図６においては、コンテンツ再生装置２００のフロントパネルに設けられた入力部２０９および表示部２１１が示されている。 FIG. 6 is a diagram showing an example of the external configuration of the front panel of the content reproduction device 200. As shown in FIG. In FIG. 6, the input section 209 and the display section 211 provided on the front panel of the content reproduction device 200 are shown.

コンテンツ再生装置２００の表示部２１１には共有情報で示されたアプリケーションを示す複数のアイコン２３１、２３１、・・が表示されている。本実施の形態では、コンテンツ再生装置２００のコンテンツソースと端末装置１００においてユーザにより選択されたアプリケーションを示すアイコンが表示されることとなる。 A plurality of icons 231, 231, . In the present embodiment, an icon indicating the content source of content reproduction device 200 and the application selected by the user on terminal device 100 is displayed.

図６に示す例においては、ユーザにより選択されたアプリケーションは表示部２１１の略中央において表示されることとなる。図６においてはＵＳＢが選択されている。そして、ユーザが異なるアプリケーションを選択すると、図６Ａに示される状態からアイコンが横に移動し、図６Ｂに示す状態となる。図６Ｂにおいては、表示部２１１の略中央には次に選択されたＭＵＳＩＣのアイコンが表示される。なお、「ＵＳＢ」とは、ＵＳＢ端子２１２に接続された外部ストレージに保存された音声データを再生するアプリケーションを示すアイコンである。また、「ＭＵＳＩＣ」はディスク媒体モジュールの音声データを再生するアプリケーションを示すアイコンである。 In the example shown in FIG. 6, the application selected by the user is displayed substantially in the center of the display section 211. In the example shown in FIG. USB is selected in FIG. Then, when the user selects a different application, the icon moves horizontally from the state shown in FIG. 6A to the state shown in FIG. 6B. In FIG. 6B , an icon of MUSIC selected next is displayed in the approximate center of the display section 211 . Note that “USB” is an icon representing an application that reproduces audio data saved in an external storage connected to the USB terminal 212 . "MUSIC" is an icon indicating an application that reproduces audio data in the disk medium module.

なお、図６に示されるコンテンツ再生装置２００の外観構成、表示部２１１における表示態様はあくまで一例であり、それらは図６に示されるものに限られるものではない。例えば、コンテンツ再生装置２００における表示も端末装置における表示と同様に、アイコンを一列ではなく、複数列に並べて表示してもよい。 It should be noted that the external configuration of the content reproduction apparatus 200 and the display mode on the display unit 211 shown in FIG. 6 are merely examples, and are not limited to those shown in FIG. For example, in the display on the content reproduction device 200, icons may be displayed in a plurality of rows instead of in one row in the same manner as in the display on the terminal device.

［１－３．端末装置とコンテンツ再生装置間における処理］
次に、上述した端末装置１００とコンテンツ再生装置２００間における処理について説明する。 [1-3. Processing between Terminal Device and Content Playback Device]
Next, processing between the terminal device 100 and the content reproduction device 200 described above will be described.

本技術においては、第１の装置であるコンテンツ再生装置２００の表示部２１１と、第２の装置である端末装置１００の表示部１０６に、共有するアプリケーションを示すアイコンが表示される。また、いずれか一方の装置においてアプリケーションの選択操作を行うと、それに連動して他方の装置において、同一のアプリケーションを選択する動作が行われる。 In the present technology, icons indicating shared applications are displayed on the display unit 211 of the content reproduction device 200, which is the first device, and the display unit 106 of the terminal device 100, which is the second device. Further, when an application selection operation is performed on one of the devices, an operation of selecting the same application is performed on the other device in conjunction therewith.

よって、例えば、端末装置１００におけるアプリケーションをコンテンツ再生装置２００に対する入力で選択することが可能となる。そして、アプリケーション選択後、一方の装置においてアプリケーション決定操作を行うと、そのアプリケーションを備える他方の装置においてアプリケーション決定がなされてそのアプリケーションが起動することなる。よって、一方の装置に対する操作で、他方の装置におけるアプリケーションの選択および起動が可能となる。 Therefore, for example, an application in the terminal device 100 can be selected by inputting to the content reproduction device 200 . After the application is selected, when the application determination operation is performed on one device, the application is determined on the other device having the application, and the application is activated. Therefore, an operation on one device can select and activate an application on the other device.

また、コンテンツ再生装置２００のマイクロホン２１４に対して音声入力を行うと、その音声が端末装置１００に送信され、端末装置１００において音声認識およびその音声認識により抽出されたキーワードによりアプリケーションの起動／動作が行われる。よって、ユーザは、端末装置１００に触れることなく端末装置１００におけるアプリケーションを利用することができる。 Also, when a voice is input to the microphone 214 of the content reproduction device 200, the voice is transmitted to the terminal device 100, and the terminal device 100 recognizes the voice and activates/operates the application based on the keyword extracted by the voice recognition. done. Therefore, the user can use applications in the terminal device 100 without touching the terminal device 100 .

図７はコンテンツ再生装置２００と端末装置１００間の情報の受け渡しの説明するための概念図である。図８はコンテンツ再生装置２００と端末装置１００間における処理を示すシーケンス図である。図９は、コンテンツ再生装置２００と端末装置１００においてアプリケーションの選択が同期している状態を示す図である。 FIG. 7 is a conceptual diagram for explaining the exchange of information between the content reproduction device 200 and the terminal device 100. As shown in FIG. FIG. 8 is a sequence diagram showing processing between the content reproduction device 200 and the terminal device 100. As shown in FIG. FIG. 9 is a diagram showing a state in which application selection is synchronized between the content reproduction device 200 and the terminal device 100. As shown in FIG.

まず、処理の前提として、図７に示されるように、端末装置１００には例えば、ゲーム、天気、ＭＡＰなどの複数のアプリケーションがインストールされている。また、上述したように情報処理アプリケーションもインストールされているものとする。 First, as a premise of the processing, as shown in FIG. 7, the terminal device 100 is installed with a plurality of applications such as games, weather, and MAP. It is also assumed that the information processing application is installed as described above.

そして、事前に、図７中（１）に示されるように、ユーザは端末装置１００にインストールされているアプリケーションの中からコンテンツ再生装置２００と共有するアプリケーションを選択しており、情報取得部１２１は、その選択されたアプリケーションの情報（第２のアプリケーション情報）を取得しているものとする。 Then, as indicated by (1) in FIG. , the information of the selected application (second application information) is acquired.

また、コンテンツ再生装置２００は、１または複数のコンテンツソースを備える。図５および図７に示されるように本実施の形態においては、コンテンツ再生装置２００はラジオチューナ、ＵＳＢ接続され、音声データを蓄えた外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有している。ただし、コンテンツソースの数および種類はそれに限られるものではない。 Content reproduction device 200 also includes one or more content sources. As shown in FIGS. 5 and 7, in the present embodiment, content reproduction apparatus 200 has three content sources: a radio tuner, a USB-connected external storage storing audio data, and a disk medium module. . However, the number and types of content sources are not limited to this.

まず、ステップＳ１で、コンテンツ再生装置２００と端末装置１００との接続が行われる。接続は上述したように双方の通信部においてBluetooth、ＵＳＢ接続などの方法により行われる。Bluetoothで接続された場合にはシリアルポートプロファイルを利用してコンテンツ再生装置２００と端末装置１００間の情報の送受信が行われる。ＵＳＢにより接続された場合にはｉＡＰを利用してコンテンツ再生装置２００と端末装置１００間の情報の送受信が行われる。 First, in step S1, the content reproduction device 200 and the terminal device 100 are connected. As described above, the connection is made between the two communication units by means of Bluetooth, USB connection, or the like. When connected by Bluetooth, information is transmitted and received between the content reproduction device 200 and the terminal device 100 using a serial port profile. When connected by USB, information is transmitted and received between the content reproduction device 200 and the terminal device 100 using iAP.

コンテンツ再生装置２００と端末装置１００との接続が確立した場合、次にステップＳ２で、端末装置１００からコンテンツ再生装置２００に対して接続完了通知が送信される。なお、図８に示される処理とは逆に、端末装置１００からコンテンツ再生装置２００に対して接続がなされ、コンテンツ再生装置２００から端末装置１００へ接続完了通知がなされるようにしてもよい。 When the connection between the content reproduction device 200 and the terminal device 100 is established, the terminal device 100 transmits a connection completion notification to the content reproduction device 200 in step S2. Note that, contrary to the process shown in FIG. 8, the terminal device 100 may be connected to the content reproduction device 200, and the content reproduction device 200 may notify the terminal device 100 of the completion of the connection.

次にステップＳ３で、図７中（２）に示されるように、コンテンツ再生装置２００から端末装置１００に対して、コンテンツ再生装置２００が備えるコンテンツソース再生用アプリケーションの種類を示す情報（第１のアプリケーション情報）が送信される。図７においては、コンテンツ再生装置２００がチューナ、ＵＳＢ接続された外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有していることを示す情報がコンテンツ再生装置２００に送信される。 Next, in step S3, as shown in (2) in FIG. application information) is sent. In FIG. 7 , information is transmitted to content reproduction device 200 indicating that content reproduction device 200 has three content sources: a tuner, a USB-connected external storage, and a disk medium module.

次にステップＳ４で、端末装置１００の共有情報生成部１２２は、ユーザにより選択された第２のアプリケーション情報と、第１のアプリケーション情報とをまとめて、双方の装置のアプリケーション情報を共存させることにより共有情報を生成する。共有情報は、図４を参照して上述したように、アプリケーションの種別が順序付けられたリスト形式のものである。共有情報にはコンテンツ再生装置２００のアプリケーションと端末装置１００とアプリケーションの両方が含まれている。 Next, in step S4, the shared information generating unit 122 of the terminal device 100 puts together the second application information selected by the user and the first application information, and makes the application information of both devices coexist. Generate shared information. The shared information is in the form of a list in which application types are ordered, as described above with reference to FIG. The shared information includes both the application of content reproduction device 200 and the application of terminal device 100 .

次にステップＳ５で、図４中の（３）に示されるように、端末装置１００の送信制御部１２３の制御のもと、端末装置１００からコンテンツ再生装置２００に対して共有情報が送信される。この共有情報によってコンテンツ再生装置２００と端末装置１００とは互いのアプリケーションの情報を共有する。そして、ステップＳ６で、端末装置１００の表示制御部１２４は共有情報に基づいた表示処理を行う。これにより、図９Ａ上段に示されるように、端末装置１００の表示部１０６においてコンテンツ再生装置２００におけるコンテンツソースと、端末装置１００においてユーザが選択したアプリケーションとを示すアイコンが表示される。 Next, in step S5, as shown in (3) in FIG. 4, the shared information is transmitted from the terminal device 100 to the content reproduction device 200 under the control of the transmission control section 123 of the terminal device 100. . With this shared information, the content reproduction device 200 and the terminal device 100 share application information with each other. Then, in step S6, the display control unit 124 of the terminal device 100 performs display processing based on the shared information. As a result, as shown in the upper part of FIG. 9A , icons indicating the content source in the content reproduction device 200 and the application selected by the user in the terminal device 100 are displayed on the display unit 106 of the terminal device 100 .

また、ステップＳ７においても同様に、コンテンツ再生装置２００の表示制御部２１８は、共有情報に基づいた表示処理を行う。これにより、図９Ｂ上段に示されるように、コンテンツ再生装置２００の表示部２１１においてコンテンツ再生装置２００におけるコンテンツソースと、端末装置１００においてユーザが選択したアプリケーションとを示すアイコンが表示される。 Similarly, in step S7, the display control unit 218 of the content reproduction device 200 performs display processing based on the shared information. As a result, as shown in the upper part of FIG. 9B, icons indicating the content source in content reproduction device 200 and the application selected by the user in terminal device 100 are displayed on display unit 211 of content reproduction device 200 .

なお、図８のシーケンス図においては端末装置１００における表示制御の後にコンテンツ再生装置２００における表示制御が行われるように記載されているが、順序はそれに限られず、双方の表示制御はほぼ同時に行われるのが望ましい。 In the sequence diagram of FIG. 8, the display control of the content reproduction device 200 is performed after the display control of the terminal device 100, but the order is not limited to that, and both display controls are performed almost simultaneously. is desirable.

次にステップＳ８で、コンテンツ再生装置２００は共有情報に示されるアプリケーションの中の１番目のアプリケーションを選択状態にする。選択状態とは、例えば、カーソルの移動によってアプリケーションの選択を行う場合にはそのカーソルを一番目のアプリケーションに合わせることである。そして、ステップ９で端末装置１００側の情報取得部１２１は、コンテンツ再生装置２００の操作情報を取得する。なお、ステップＳ９で取得される操作情報は、共有情報で示されるアプリケーションの中の１番目に位置するアプリケーションが選択されたことを示す情報である。 Next, in step S8, the content reproduction device 200 selects the first application among the applications indicated by the shared information. The selection state is, for example, when the application is selected by moving the cursor, the cursor is aligned with the first application. Then, in step 9 , the information acquisition section 121 on the terminal device 100 side acquires the operation information of the content reproduction device 200 . The operation information acquired in step S9 is information indicating that the first application among the applications indicated by the shared information has been selected.

次にステップＳ１０で、端末装置１００の表示制御部１２４は、操作情報に基づいて端末装置１００の表示部１０６における表示を更新する。なお、この場合、表示制御部１２４は、共有情報において一番目に位置するアプリケーションが選択されたことを示す表示となるように表示制御を行う。例えば、アプリケーション選択用カーソルを１番目のアプリケーションに合わせるなどである。 Next, in step S10, the display control unit 124 of the terminal device 100 updates the display on the display unit 106 of the terminal device 100 based on the operation information. In this case, the display control unit 124 performs display control so that the display indicates that the first application in the shared information is selected. For example, the application selection cursor is aligned with the first application.

以上、ステップＳ１０までの処理により、コンテンツ再生装置２００と端末装置１００とが互いにコンテンツ再生装置２００のソースと、端末装置１００のアプリケーションを共有した同期状態となる。 As described above, the content reproduction device 200 and the terminal device 100 are in a synchronized state in which the source of the content reproduction device 200 and the application of the terminal device 100 are shared with each other by the processing up to step S10.

次にステップＳ１１で、コンテンツ再生装置２００は、音声認識モードへの遷移を指示するユーザからの入力操作を受け付ける。この入力はコンテンツ再生装置２００の入力部２０９に対して行われる。音声認識モードへの遷移を指示する入力操作を受け付けると、次にステップＳ１２で、コンテンツ再生装置２００から端末装置１００に対して、音声認識モードへの遷移の要求が行われる。 Next, in step S11, the content reproduction device 200 receives an input operation from the user instructing transition to the voice recognition mode. This input is made to the input unit 209 of the content reproduction device 200 . When an input operation instructing the transition to the speech recognition mode is received, then in step S12, the content reproduction device 200 requests the terminal device 100 to transition to the speech recognition mode.

次にステップＳ１３で、端末装置１００は、コンテンツ再生装置２００からの要求に従い音声認識モードに遷移する。端末装置１００が音声認識モードに遷移すると、音声認識部１０９がオンとなる。さらに、音声認識部１０９に対する音声入力のソースをマイクロホン１１２から通信部１０７に切り替える。これにより、マイクロホン１１２に入力される音声ではなく、通信部１０７を介してコンテンツ再生装置２００から入力される音声によって端末装置１００が操作可能となる。よって、コンテンツ再生装置２００が端末装置１００の音声入力源として機能することとなる。 Next, in step S<b>13 , the terminal device 100 transitions to the voice recognition mode according to the request from the content reproduction device 200 . When the terminal device 100 transitions to the voice recognition mode, the voice recognition section 109 is turned on. Furthermore, the source of voice input to the voice recognition unit 109 is switched from the microphone 112 to the communication unit 107 . As a result, the terminal device 100 can be operated by the voice input from the content reproduction device 200 via the communication unit 107 instead of the voice input to the microphone 112 . Therefore, the content reproduction device 200 functions as an audio input source for the terminal device 100 .

次にステップＳ１４で、端末装置１００はコンテンツ再生装置２００に対して音声認識モードに遷移したことの通知を行う。そして、ステップＳ１５で、音声認識モードに遷移したことの通知を受けたコンテンツ再生装置２００は、音声取得モードに遷移して、マイクロホン２１４をオンにして音声取得を開始する。この状態で、ユーザは、コンテンツ再生装置２００のマイクロホン２１４に対して起動したいアプリケーション名、キーワードなどを声で入力する。 Next, in step S14, the terminal device 100 notifies the content reproduction device 200 of the transition to the voice recognition mode. Then, in step S15, the content reproduction device 200 that has received the notification of the transition to the voice recognition mode transitions to the voice acquisition mode, turns on the microphone 214, and starts voice acquisition. In this state, the user vocally inputs an application name, a keyword, and the like to be activated into the microphone 214 of the content reproduction device 200 .

コンテンツ再生装置２００のマイクロホン２１４でユーザからの音声を取得すると、サウンドＤＳＰ２１５により音声信号に対してノイズキャンセリング処理が施される。そして、ステップＳ１６でコンテンツ再生装置２００は、通信部２１０を介してその音声信号を端末装置１００に送信する。 When the microphone 214 of the content reproduction device 200 acquires the voice from the user, the sound DSP 215 performs noise canceling processing on the voice signal. Then, in step S<b>16 , content reproduction device 200 transmits the audio signal to terminal device 100 via communication section 210 .

次にステップＳ１７で、端末装置１００の音声認識部１０９は音声信号に対して音声認識処理を行ってキーワードを抽出する。その抽出結果を示すキーワード情報は、アプリケーションプロセッサ１１０に供給される。そしてステップＳ１８で、アプリケーションプロセッサ１１０のアプリケーション実行部１２５は、供給されたキーワードに対応するアプリケーションを起動する。 Next, in step S17, the speech recognition unit 109 of the terminal device 100 performs speech recognition processing on the speech signal to extract keywords. Keyword information indicating the extraction result is supplied to the application processor 110 . Then, in step S18, the application execution unit 125 of the application processor 110 activates the application corresponding to the supplied keyword.

また、アプリケーション実行部１２５は、アプリケーションの起動後に音声認識部１０９からキーワードが供給されると、そのキーワードに対応したアプリケーションの動作を実行する。キーワードに基づきアプリケーション動作させる方法としては、上述したように、例えば、予め、アプリケーションの動作と対応したキーワードをテーブルとして保持しておき、そのテーブルを参照することにより、キーワードに対応する動作を実行する。 Further, when a keyword is supplied from the speech recognition unit 109 after starting the application, the application execution unit 125 executes the operation of the application corresponding to the keyword. As a method of operating an application based on a keyword, as described above, for example, keywords corresponding to application operations are stored in advance as a table, and the operation corresponding to the keyword is executed by referring to the table. .

例えば、ナビゲーション用アプリケーションの場合、「ナビゲーション」と音声入力してアプリケーションを起動させた後、「東京駅」と目的地を示すキーワードを音声入力する。そうすると、ナビゲーション用アプリケーションがユーザの現在地から東京駅までのナビゲーションを開始する。 For example, in the case of a navigation application, after starting the application by voice inputting "navigation", the user inputs "Tokyo Station" and a keyword indicating a destination by voice input. Then, the navigation application starts navigation from the user's current location to Tokyo Station.

なお、音声入力によりアプリケーションの起動とアプリケーションの動作を指示する場合、「ナビゲーション、東京駅」と、アプリケーションの起動を指示するキーワードと、アプリケーションの動作を指示するキーワードとを連続で入力できるようにしてもよい。 In addition, when instructing application startup and application operation by voice input, make it possible to enter "navigation, Tokyo station", a keyword instructing application startup, and a keyword instructing application operation in succession. good too.

また、ユーザが使用するアプリケーションがすでに起動している場合には、アプリケーションを起動させるための音声入力は行わずに、アプリケーションに実行して欲しい動作のみを音声入力すればよい。 Further, when the application to be used by the user has already started, voice input of only the operation to be executed by the application may be performed without performing voice input for starting the application.

例えば、ラジオアプリケーションが既に起動している場合、「ＦＭ７９．５」などのラジオ局を示すキーワードを音声入力すれば、ラジオアプリケーションが「ＦＭ７９．５ＭＨｚ」にチューニングする。 For example, when a radio application is already running, if a keyword indicating a radio station such as "FM79.5" is input by voice, the radio application tunes to "FM79.5 MHz".

また、動画共有サイト用アプリケーションが起動している場合には「ビートルズ」などの検索対象となるキーワードを音声入力すれば、動画共有サイト用アプリケーションが「ビートルズ」について検索を行い、検索結果を提示し、動画の再生を行う。 Also, when the application for the video sharing site is running, if a keyword such as "The Beatles" is input by voice, the application for the video sharing site searches for "The Beatles" and presents the search results. , to play the video.

このように、本技術によれば、コンテンツ再生装置２００に対して音声入力を行うことにより端末装置１００のアプリケーションを起動、動作させることができる。例えば、例えばユーザが車両で運転中である場合、ユーザは、スマートフォンなどの端末装置１００を操作することはできない。しかし、コンテンツ再生装置２００がカーオーディオ装置である場合、本技術を用いることによって、ユーザが車両で運転中であっても、コンテンツ再生装置２００に対する音声入力により端末装置１００を操作することができる。 As described above, according to the present technology, an application of the terminal device 100 can be activated and operated by performing voice input to the content reproduction device 200 . For example, when the user is driving a vehicle, the user cannot operate the terminal device 100 such as a smart phone. However, when the content reproduction device 200 is a car audio device, the present technology enables the user to operate the terminal device 100 by inputting voice to the content reproduction device 200 while driving a vehicle.

また、端末装置１００に送信する音声信号に対してノイズキャンセリング処理を施すことにより、車内などの騒音環境下であっても、端末装置１００の音声認識率を落とすことなく使用することが可能となる。 In addition, by applying noise canceling processing to the voice signal to be transmitted to the terminal device 100, it is possible to use the terminal device 100 without lowering the voice recognition rate even in a noisy environment such as in a car. Become.

スマートフォンなどの端末装置を所有しているユーザにとっては、音声認識用モジュールを備える高価なオーディオ機器を購入することなく、比較的低価格なオーディオ機器で音声認識機能を利用することができる。 A user who owns a terminal device such as a smart phone can use the speech recognition function with a relatively inexpensive audio device without purchasing an expensive audio device equipped with a speech recognition module.

さらに、アプリケーションを起動させるための音声入力は行わずに、アプリケーションに実行して欲しい動作を示すキーワードのみを音声入力することにより、アプリケーションの起動とキーワードに基づく処理を行うようにしてもよい。詳しくは、キーワードが音声入力されると、そのキーワードに対応した動作を実行するのに最適なアプリケーションを端末装置が判断して、自動でアプリケーションを起動した後にキーワードに基づく動作を実行するようにする。 Further, the application may be started and the process based on the keyword may be performed by voice inputting only a keyword indicating an operation to be executed by the application without performing voice input for starting the application. More specifically, when a keyword is input by voice, the terminal device determines the most suitable application for executing the operation corresponding to the keyword, automatically starts the application, and then executes the operation based on the keyword. .

なお、上述のように、端末装置１００とコンテンツ再生装置２００とは、互いの有するアプリケーションについての情報を共有している。そこで、ステップＳ１０において、共有情報および選択情報に基づいて表示更新を行ったのと同様にして、端末装置１００の表示制御部１２４は、キーワードにより起動されたアプリケーションを示す情報を表示部１０６に表示するようにするとよい。さらに、コンテンツ再生装置２００の表示制御部２１８は、端末装置１００において起動したアプリケーションを表示部２１１に表示するようにするとよい。これにより、ユーザは、端末装置１００の表示部１０６を目視することにより、起動しているアプリケーションを確認することができる。 It should be noted that, as described above, the terminal device 100 and the content reproduction device 200 share information about applications that they have. Therefore, in the same manner as the display is updated based on the shared information and the selection information in step S10, the display control unit 124 of the terminal device 100 causes the display unit 106 to display information indicating the application activated by the keyword. It is better to Furthermore, the display control unit 218 of the content reproduction device 200 may display the application activated in the terminal device 100 on the display unit 211 . Accordingly, the user can confirm the activated application by looking at the display unit 106 of the terminal device 100 .

また、端末装置１００とコンテンツ再生装置２００は、互いの有するアプリケーションについての情報を共有している。したがって、端末装置１００とコンテンツ再生装置２００は互いが有するアプリケーションを把握しており、図９に示されるように、端末装置１００とコンテンツ再生装置２００の両方において互いのアプリケーションが表示される。よって、端末装置１００の入力部１０５に対する入力操作に応じて、端末装置１００からコンテンツ再生装置２００に操作情報を送信することにより、端末装置１００に対する操作でコンテンツ再生装置２００のアプリケーションを起動、動作させるようにしてもよい。また、コンテンツ再生装置２００に対して入力された音声を端末装置１００に送信し、端末装置１００のアプリケーションプロセッサ１１０が入力された音声に応じた処理を行い、コンテンツ再生装置２００に対してアプリケーションの起動、動作の指示を行うようにしてもよい。これにより、端末装置１００とコンテンツ再生装置２００とでアプリケーションの起動および動作がシームレスなものとなり、ユーザは装置のいずれかの装置であるかを意識することなくアプリケーションを使用することが可能となる。 In addition, the terminal device 100 and the content reproduction device 200 share information about applications that they have. Therefore, the terminal device 100 and the content reproduction device 200 know each other's applications, and as shown in FIG. 9, both the terminal device 100 and the content reproduction device 200 display each other's applications. Therefore, by transmitting operation information from the terminal device 100 to the content reproduction device 200 in response to an input operation to the input unit 105 of the terminal device 100, an application of the content reproduction device 200 is started and operated by the operation of the terminal device 100. You may do so. In addition, the audio input to the content reproduction device 200 is transmitted to the terminal device 100, the application processor 110 of the terminal device 100 performs processing according to the input audio, and the application is activated for the content reproduction device 200. , may instruct the operation. As a result, application startup and operation become seamless between the terminal device 100 and the content reproduction device 200, and the user can use the application without being aware of which device it is.

車両の運転中は携帯電話機、スマートフォンなどの端末装置１００を操作することは法律により禁止されている。そこで、コンテンツ再生装置２００を車両におけるカーオーディオシステムとして利用し、コンテンツ再生装置２００に対する音声入力で端末装置１００のアプリケーションを起動／動作させるようにする。これにより、端末装置１００、コンテンツ再生装置２００を直接操作しなくても端末装置１００におけるアプリケーションの起動／動作が可能となる。 Operating a terminal device 100 such as a mobile phone or a smart phone while driving a vehicle is prohibited by law. Therefore, the content reproduction device 200 is used as a car audio system in a vehicle, and the application of the terminal device 100 is activated/operated by voice input to the content reproduction device 200 . As a result, it is possible to start/run an application on the terminal device 100 without directly operating the terminal device 100 and the content reproduction device 200 .

＜６．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は、上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。 <6. Variation>
An embodiment of the present technology has been specifically described above, but the present technology is not limited to the above-described embodiment, and various modifications are possible based on the technical idea of the present technology.

実施の形態では第１の装置をコンテンツ再生装置２００とし、第２の装置を端末装置１００としたが、具体的な装置はそれに限られるものではない。双方向通信を行うことができる装置であればどのようなものにも適用することができる。例えば、第１の装置、第２の装置共に携帯電話機、スマートフォン、タブレット端末などの端末装置１００であってもよい。また、一方の装置がテレビジョン受像機であり、他方の装置が端末装置１００であるという組み合わせでもよい。 Although the first device is the content reproduction device 200 and the second device is the terminal device 100 in the embodiment, the specific devices are not limited thereto. It can be applied to any device as long as it is capable of two-way communication. For example, both the first device and the second device may be terminal devices 100 such as mobile phones, smart phones, and tablet terminals. Alternatively, one device may be the television receiver and the other device may be the terminal device 100 .

１００・・・端末装置
１０５・・・入力部
１０６・・・表示部
１０７・・・通信部
１０９・・・音声認識部
１１０・・・アプリケーションプロセッサ
１２１・・・情報取得部
１２２・・・共有情報生成部
１２３・・・送信制御部
１２４・・・表示制御部
１２５・・・アプリケーション実行部
２００・・・コンテンツ再生装置
２０９・・・入力部
２１０・・・通信部
２１１・・・表示部
２１４・・・マイクロホン
２１６・・・アプリケーションプロセッサ
２１７・・・情報取得部
２１８・・・表示制御部 DESCRIPTION OF SYMBOLS 100... Terminal device 105... Input part 106... Display part 107... Communication part 109... Voice recognition part 110... Application processor 121... Information acquisition part 122... Shared information Generation unit 123 Transmission control unit 124 Display control unit 125 Application execution unit 200 Content reproduction device 209 Input unit 210 Communication unit 211 Display unit 214 Microphone 216 Application processor 217 Information acquisition unit 218 Display control unit

Claims (20)

車載装置において、In the in-vehicle device,
音声情報を取得する音声情報取得部と、 a voice information acquisition unit that acquires voice information;
取得した音声情報を処理する音声処理部と、 a voice processing unit that processes the acquired voice information;
携帯端末装置と通信する通信部と、 a communication unit that communicates with the mobile terminal device;
を備え、with
前記音声処理部は、前記音声情報取得部が取得した音声情報に対してノイズ除去処理をし、 The audio processing unit performs noise removal processing on the audio information acquired by the audio information acquiring unit,
前記通信部は、前記車載装置のみが有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を前記携帯端末装置から受信し、前記音声情報取得部によって取得され、前記音声処理部によってノイズ除去処理がされた前記音声情報を、前記車載装置のみが有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記携帯端末装置に送信する The communication unit receives, from the mobile terminal device, shared information for coexisting and displaying an application icon possessed only by the in-vehicle device and an application icon possessed by the mobile terminal device on a display unit of the in-vehicle device. and the mobile terminal device for operating an application possessed only by the in-vehicle device or an application possessed by the mobile terminal device, using the voice information acquired by the voice information acquisition unit and subjected to noise removal processing by the voice processing unit. send to
車載装置。In-vehicle device. 前記音声情報取得部は、ユーザからの指示に応じて前記音声情報の取得を開始するThe voice information acquisition unit starts acquiring the voice information in response to an instruction from a user.
請求項１に記載の車載装置。The in-vehicle device according to claim 1 . 前記携帯端末装置に送信され、前記携帯端末装置によって認識された前記音声情報に基づいて、前記携帯端末装置において前記携帯端末装置の有するアプリケーションが動作されるBased on the voice information transmitted to the mobile terminal device and recognized by the mobile terminal device, an application possessed by the mobile terminal device is run on the mobile terminal device.
請求項１に記載の車載装置。The in-vehicle device according to claim 1 . 表示部をさらに備え、further equipped with a display,
前記表示部は、受信した前記共有情報を表示する The display unit displays the received shared information.
請求項１に記載の車載装置。The in-vehicle device according to claim 1 . 前記動作されたアプリケーションに基づいて、前記車載装置の前記表示部における表示および前記携帯端末装置の画面における表示が、アプリケーションが起動された状態にあることを示す状態に同期されるBased on the operated application, the display on the display unit of the in-vehicle device and the display on the screen of the portable terminal device are synchronized to a state indicating that the application is in a activated state.
請求項４に記載の車載装置。The in-vehicle device according to claim 4. 前記携帯端末装置において前記携帯端末装置の有するアプリケーションが動作されることに応じて、前記車載装置の前記表示部の表示が前記携帯端末装置の有するアプリケーションが起動された状態にあることを示す表示に変更されるIn response to the operation of the application of the mobile terminal device in the mobile terminal device, the display of the display unit of the in-vehicle device changes to a display indicating that the application of the mobile terminal device is activated. Be changed
請求項４に記載の車載装置。The in-vehicle device according to claim 4. 前記通信部は、音声認識モードへの遷移要求を前記携帯端末装置に送信するThe communication unit transmits a request for transition to a voice recognition mode to the mobile terminal device.
請求項１に記載の車載装置The in-vehicle device according to claim 1 前記動作は起動、再生、停止、早送り、巻き戻し、検索の少なくともいずれか一つを含むThe action includes at least one of start, play, stop, fast forward, rewind, search
請求項１に記載の車載装置。The in-vehicle device according to claim 1 . 携帯端末装置において、In a mobile terminal device,
車載装置と通信する通信部と、 a communication unit that communicates with an in-vehicle device;
音声認識部と、 a voice recognition unit;
共有情報生成部と、 a shared information generator;
を備え、with
前記共有情報生成部は、前記通信部が前記車載装置から受信した前記車載装置が有するアプリケーションのアイコンに関する情報と、前記携帯端末装置が有するアプリケーションのアイコンに関する情報とに基づいて、前記車載装置が有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を生成し、 The shared information generation unit is configured to generate the shared information based on the information about the icon of the application of the in-vehicle device received by the communication unit from the in-vehicle device and the information about the icon of the application of the portable terminal device. generating shared information for coexisting and displaying an application icon and an application icon of the mobile terminal device on a display unit of the in-vehicle device;
前記音声認識部は、前記車載装置によってノイズ除去処理がなされ、前記車載装置が有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記通信部が前記車載装置から受信した音声情報を認識し、 The voice recognition unit recognizes voice information that has undergone noise removal processing by the in-vehicle device and that the communication unit receives from the in-vehicle device in order to operate an application of the in-vehicle device or an application of the mobile terminal device. ,
前記通信部は、前記共有情報を前記車載装置へ送信する The communication unit transmits the shared information to the in-vehicle device.
携帯端末装置。mobile terminal equipment. 前記音声認識部の音声認識結果に基づいて、前記車載装置が有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるBased on the speech recognition result of the speech recognition unit, the application of the in-vehicle device or the application of the portable terminal device is operated.
請求項９に記載の携帯端末装置The mobile terminal device according to claim 9 表示部を備え、Equipped with a display,
前記共有情報に含まれる前記携帯端末装置が有するアプリケーションのアイコンと前記車載装置が有するアプリケーションのアイコンとが共存した状態で前記表示部に表示される The icon of the application of the mobile terminal device and the icon of the application of the in-vehicle device included in the shared information are displayed on the display unit in a state of coexistence.
請求項９に記載の携帯端末装置。The mobile terminal device according to claim 9 . 前記表示部の表示を制御する表示制御部を備え、A display control unit that controls display of the display unit,
前記表示制御部は、前記共有情報に含まれるアプリケーションを示す複数のアイコンを前記表示部に表示させる The display control unit causes the display unit to display a plurality of icons indicating applications included in the shared information.
請求項１１に記載の携帯端末装置。The mobile terminal device according to claim 11. 前記共有情報に基づいて前記携帯端末装置の表示部と前記車載装置の表示部における表示が同期されるSynchronization of displays on the display unit of the mobile terminal device and the display unit of the in-vehicle device based on the shared information
請求項１１に記載の携帯端末装置。The mobile terminal device according to claim 11. 前記携帯端末装置の表示部における表示が変更されると、前記車載装置の表示部における表示が同期して変更されるWhen the display on the display unit of the mobile terminal device is changed, the display on the display unit of the in-vehicle device is changed synchronously.
請求項１１に記載の携帯端末装置。The mobile terminal device according to claim 11. 前記携帯端末装置と前記車載装置とが接続された後に、前記共有情報生成部により前記共有情報が生成されるThe shared information is generated by the shared information generation unit after the mobile terminal device and the in-vehicle device are connected to each other.
請求項９に記載の携帯端末装置。The mobile terminal device according to claim 9 . 携帯端末装置と車載装置とからなり、Consisting of a mobile terminal device and an in-vehicle device,
前記携帯端末装置は、 The mobile terminal device
前記車載装置と通信する通信部と、 a communication unit that communicates with the in-vehicle device;
音声認識部と、 a voice recognition unit;
共有情報生成部と、 a shared information generator;
を備え、with
前記共有情報生成部は、前記携帯端末装置の通信部が前記車載装置から受信した前記車載装置が有するアプリケーションのアイコンに関する情報と前記携帯端末装置が有するアプリケーションのアイコンに関する情報とに基づいて、前記車載装置が有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を生成し、 The shared information generating unit generates the in-vehicle device based on the information about the icon of the application that the in-vehicle device has and the information about the icon of the application that the mobile terminal device has, which the communication unit of the mobile terminal device has received from the in-vehicle device. generating shared information for displaying an icon of an application possessed by the device and an icon of an application possessed by the mobile terminal device coexisting on a display unit of the in-vehicle device;
前記音声認識部は、前記車載装置によってノイズ除去処理がなされ、前記通信部が前記車載装置から受信した音声情報を認識し、 The voice recognition unit recognizes voice information that is subjected to noise removal processing by the in-vehicle device and received by the communication unit from the in-vehicle device,
前記携帯端末装置の通信部は、前記共有情報を前記車載装置へ送信し、 The communication unit of the mobile terminal device transmits the shared information to the in-vehicle device,
前記車載装置は、 The in-vehicle device
音声情報を取得する音声情報取得部と、 a voice information acquisition unit that acquires voice information;
取得した音声情報を処理する音声処理部と、 a voice processing unit that processes the acquired voice information;
前記携帯端末装置と通信する通信部と、 a communication unit that communicates with the mobile terminal device;
を備え、with
前記音声処理部は、前記音声情報取得部が取得した音声情報に対してノイズ除去処理をし、 The audio processing unit performs noise removal processing on the audio information acquired by the audio information acquiring unit,
前記車載装置の通信部は、前記車載装置が有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を前記携帯端末装置から受信し、前記音声情報取得部によって取得され、前記音声処理部によってノイズ除去処理がされた前記音声情報を、前記車載装置が有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記携帯端末装置に送信する The communication unit of the in-vehicle device receives from the mobile terminal device shared information for displaying the icon of the application of the in-vehicle device and the icon of the application of the mobile terminal device together on the display unit of the in-vehicle device. The mobile terminal receives the voice information acquired by the voice information acquisition unit and subjected to noise removal processing by the voice processing unit in order to operate an application of the in-vehicle device or an application of the mobile terminal device. send to device
情報処理システム。Information processing system. 前記音声認識部は、前記車載装置が有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記通信部が前記車載装置から受信した前記音声情報を認識するThe voice recognition unit recognizes the voice information received from the vehicle-mounted device by the communication unit in order to operate an application of the vehicle-mounted device or an application of the mobile terminal device.
請求項１６に記載の情報処理システム。The information processing system according to claim 16. 前記音声認識部の音声認識結果に基づいて、前記車載装置が有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるBased on the speech recognition result of the speech recognition unit, the application of the in-vehicle device or the application of the portable terminal device is operated.
請求項１６に記載の情報処理システム。The information processing system according to claim 16. 車載装置において、In the in-vehicle device,
音声情報を取得し、 get voice information,
取得した前記音声情報に対してノイズ除去処理をし、 performing noise removal processing on the acquired audio information;
携帯端末装置と通信し、 communicate with a mobile terminal device;
前記車載装置のみが有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を前記携帯端末装置から受信し、取得した前記音声情報を、前記車載装置のみが有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記携帯端末装置に送信する The voice obtained by receiving from the mobile terminal device shared information for displaying the icon of the application possessed only by the in-vehicle device and the icon of the application possessed by the mobile terminal device coexisting on the display unit of the in-vehicle device. Sending information to the mobile terminal device in order to run an application that only the in-vehicle device has or an application that the mobile terminal device has
車載装置の制御方法。A control method for an in-vehicle device. 車載装置において、In the in-vehicle device,
音声情報を取得し、 get voice information,
取得した前記音声情報に対してノイズ除去処理をし、 performing noise removal processing on the acquired audio information;
携帯端末装置と通信し、 communicate with a mobile terminal device;
前記車載装置のみが有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を前記携帯端末装置から受信し、取得した前記音声情報を、前記車載装置のみが有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記携帯端末装置に送信する The voice obtained by receiving from the mobile terminal device shared information for displaying the icon of the application possessed only by the in-vehicle device and the icon of the application possessed by the mobile terminal device coexisting on the display unit of the in-vehicle device. Sending information to the mobile terminal device in order to run an application that only the in-vehicle device has or an application that the mobile terminal device has
車載装置の制御方法をコンピュータに実行させるプログラム。A program that causes a computer to execute a control method for an in-vehicle device.
JP2021106265A 2020-07-03 2021-06-28 In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device Active JP7243764B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021106265A JP7243764B2 (en) 2020-07-03 2021-06-28 In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020115814A JP6908169B2 (en) 2019-02-07 2020-07-03 Terminal equipment
JP2021106265A JP7243764B2 (en) 2020-07-03 2021-06-28 In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020115814A Division JP6908169B2 (en) 2019-02-07 2020-07-03 Terminal equipment

Publications (2)

Publication Number Publication Date
JP2021177636A JP2021177636A (en) 2021-11-11
JP7243764B2 true JP7243764B2 (en) 2023-03-22

Family

ID=78409646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021106265A Active JP7243764B2 (en) 2020-07-03 2021-06-28 In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device

Country Status (1)

Country Link
JP (1) JP7243764B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070180384A1 (en) 2005-02-23 2007-08-02 Demetrio Aiello Method for selecting a list item and information or entertainment system, especially for motor vehicles
JP2009044410A (en) 2007-08-08 2009-02-26 Sony Corp Information processing apparatus and method, and information processing system
JP2010130223A (en) 2008-11-26 2010-06-10 Fujitsu Ten Ltd Voice activation system and voice activation method
JP2012027070A (en) 2010-07-20 2012-02-09 Denso Corp Intra-car communication system, in-vehicle terminal, and mobile terminal
JP6477822B2 (en) 2017-10-12 2019-03-06 ソニー株式会社 TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, AND CONTROL PROGRAM

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101417760B1 (en) * 2010-08-09 2014-07-09 에스케이플래닛 주식회사 System and Method for playing contents using of exterior speaker in Converged Personal Network Service Environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070180384A1 (en) 2005-02-23 2007-08-02 Demetrio Aiello Method for selecting a list item and information or entertainment system, especially for motor vehicles
JP2009044410A (en) 2007-08-08 2009-02-26 Sony Corp Information processing apparatus and method, and information processing system
JP2010130223A (en) 2008-11-26 2010-06-10 Fujitsu Ten Ltd Voice activation system and voice activation method
JP2012027070A (en) 2010-07-20 2012-02-09 Denso Corp Intra-car communication system, in-vehicle terminal, and mobile terminal
JP6477822B2 (en) 2017-10-12 2019-03-06 ソニー株式会社 TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, AND CONTROL PROGRAM

Also Published As

Publication number Publication date
JP2021177636A (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US11327712B2 (en) Information processing device, information processing method, information processing program, and terminal device
JP6915722B2 (en) In-vehicle device, information processing device, mobile terminal device, information processing system, control method and program of in-vehicle device
JP6477822B2 (en) TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, AND CONTROL PROGRAM
KR20230091852A (en) Display arraratus, background music providing method thereof and background music providing system
JP6226020B2 (en) In-vehicle device, information processing method, and information processing system
JP7243764B2 (en) In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device
JP6908169B2 (en) Terminal equipment
JP6733751B2 (en) In-vehicle device, control method for in-vehicle device, and control program
US9414179B2 (en) Operational control of an apparatus through a terminal device
KR101576683B1 (en) Method and apparatus for playing audio file comprising history storage
CN201044492Y (en) Mobile phone with sound repeating function
JP2002006877A (en) Method and device for reproducing sound, sound transmission system, and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R151 Written notification of patent or utility model registration

Ref document number: 7243764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151