JP2016062560A - 電子機器及びその制御方法 - Google Patents

Abstract

【課題】キーワードの絞り込みや視聴しようとする番組を供給する事業者もしくは再生しようとする番組を記録している検索対象の記憶装置を切り換える電子機器及びその制御方法を提供する。
【解決手段】実施形態の電子機器は、入力音声処理手段と、検索制御手段と、を具備する。入力音声処理手段は、入力音声に基づいて検索対象の検索条件を特定する。検索制御手段は、前記入力音声処理手段が特定した前記検索条件に基づいて、前記検索対象の検索先を切り換える。
【選択図】図１

Description

この発明は、電子機器及びその制御方法に関する。

テレビジョン受信装置（以下テレビ装置と呼称する）あるいはディスプレイ装置と接続するレコーダー装置は、放送事業者が放送する番組や配信事業者が供給する番組あるいはネットワークを通じて取得可能なコンテンツ（番組）を再生する。また、レコーダー装置あるいは記憶装置が接続された場合に番組を録画可能なテレビ装置は、再生中の番組（コンテンツ）を含め、同一時間帯に放送（供給）されている任意数の番組を録画できる。

番組は、タイムシフト録画、通常録画及び自動録画、等のさまざまな記録形態により、録画される。タイムシフト録画は、一定期間の間、ユーザーが指定する特定のチャンネル（放送事業者や配信事業者）及び時間帯の番組を全て記録する。通常録画は、ユーザーがチャンネル（あるいは番組名）と時間とを指定して、番組単位で録画する。自動録画は、ユーザーが視聴した、あるいは録画した番組を再生した情報や通常録画のために録画予約した番組の情報、等に基づいてユーザーが再生するであろう、と予想される番組を自動的に録画する。

このような背景から、ユーザーが視聴もしくは再生可能な番組は、レコーダー装置あるいはテレビ装置が録画したもの及び現在放送（供給）されているものを併せると、相当数にのぼる。このため、ユーザーが、視聴もしくは再生しようとする番組を特定するためのさまざまな支援方法が提案されている。

支援方法の一つとして、番組を特定するための再生条件の入力を、ユーザーが視聴もしくは再生しようとする番組を特定するためのユーザーの声（発話）を音声認識により認識し、認識したキーワード等を参照する方法が、提案されている。

特開２０１４−１０９８９７号公報 特開２０１４−１０９８８９号公報

しかしながら、音声認識により特定した番組が見つからない場合に、さらにキーワードを絞り込むこと、あるいは視聴しようとする番組を供給する事業者もしくは再生しようとする番組を記録している記憶装置を切り換えることは、考慮されていない。

この発明の目的は、音声認識により特定した番組を検索する場合に、キーワードの絞り込みや視聴しようとする番組を供給する事業者もしくは再生しようとする番組を記録している検索対象の記憶装置を自動的に切り換える電子機器及びその制御方法を提供することである。

実施形態の電子機器は、入力音声処理手段と、検索制御手段と、を具備する。入力音声処理手段は、入力音声に基づいて検索対象の検索条件を特定する。検索制御手段は、前記入力音声処理手段が特定した前記検索条件に基づいて、前記検索対象の検索先を切り換える。

実施形態に係る電子機器及び電子機器と接続する電子機器の接続の一例を示す。 実施形態に係る電子機器（映像再生装置）の一例を示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。 実施形態に係る電子機器による検索結果の表示例の一例を示す。 実施形態に係る電子機器による検索結果の表示例の一例を示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。 実施形態に係る電子機器による検索結果の表示例の一例を示す。 実施形態に係る電子機器の検索エンジン切換の手法の一例をソフトウェア的に示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。 実施形態に係る電子機器（検索機能）の動作と画面表示の一例を示す。

以下、図面を参照して、本発明の実施の一形態について説明する。

図１は、実施形態に係る電子機器及び電子機器と接続する電子機器の接続の一例を示す。

図１が示すように、例えばテレビジョン受信装置（以下、テレビ装置と称する）である映像再生装置（第一の電子機器）１は、例えばレコーダー装置である映像記録装置（第二の電子機器）２と家庭内ネットワークコントローラー（ホームサーバー）３を通じて接続する。なお、ホームサーバー３には、例えばレコーダー装置４及びレコーダー装置４と接続するディスプレイ装置５のような他の電子機器、が接続することが可能である。また、映像再生装置１には、例えばＵＳＢ（Universal Serial Bus）インターフェースを介して接続する記憶装置６が接続する。なお、記憶装置６は、タイムシフトマシン機能により録画される番組を保持する。もちろん、記憶装置６は、通常録画や自動録画のための記憶領域を有することも可能である。その場合、任意のサイズ（記憶容量）を設定により割り当てることができる。

なお、ホームサーバー３は、映像再生装置１または映像記録装置２の何れか一方と一体化されてもよい。その場合、映像再生装置１と、記憶装置６、レコーダー装置４（ディスプレイ装置５）及びレコーダー装置２とが相互に接続している、とみなすことができる。

映像再生装置１はまた、外部ネットワーク（インターネット網）ＮＴＷを通じ、例えばデータベース提供会社が運営するサービスサーバー７、映像再生装置１との間の契約に従う特別なサービスを提供するサービス会社が運営するサービスサーバー８、及びコンテンツ提供サービス会社が運営するコンテンツサーバー９（例えばＹｏｕＴｕｂｅ（登録商標））、等のさまざまなサービスサーバーと接続する。

なお、個々の装置相互間においては、文字情報や動画あるいは静止画もしくはそれらを含む画像データの受け渡し、制御信号または制御データの受け渡し、等が可能である。また、個々の装置相互間における上述の各種データの受け渡しは、光ファイバや従来からの通信網を用いる有線式あるいは空間波を用いる無線式のいずれの方式も利用可能である。

図２は、実施形態に係る映像再生装置（第一の電子機器）の構成の一例を示す。

テレビ装置（第一の電子機器）１は、入力部（チューナ）１１、信号処理部（ＴＳ分離部）１２、映像処理ブロック２１、音声処理ブロック３１及び主制御ブロック５１、等を含む。なお、テレビ装置１においては、表示部（ディスプレイ）が別体であってもよい。すなわち、表示部は、テレビ装置１と非接触で、映像記憶装置が無線方式により送信する番組を表示するものであってもよい。なお、以下に説明する要素や構成は、処理装置すなわちマイクロコンピュータ（ＣＰＵ（Central Processing Unit））によりソフトウェアで実現するものであってもよいしハードウェアで実現するものであってもよい。また、以下の説明において、放送は、空間を伝播する電波として放送事業者（放送局）が提供するもの、あるいはケーブル（光ファイバを含む）網やＩＰ（Internet Protocol）網等のネットワークを通じて配信事業者が配信するもの等、を含む。また、放送は、映像と音声または音楽もしくはその両者を含み、一定時間（放送時間）を単位とするさまざまな番組を提供する形態を示す。なお、番組は、コンテンツもしくはストリームと呼称する場合もある。また、映像は、動画や静止画、あるいはテキスト（コード化された符号列で示される文字や記号等で表される情報）ならびにその任意の組み合わせを含む。

入力部１１には、空間波（地上波あるいは衛星波）を用いて提供される放送を受信するアンテナＡＮＴが接続する。入力部１１にはまた、外部映像供給元として、例えばＳＴＢ（Set Top Box）やビデオカメラ装置、等が接続する。なお、ビデオカメラ装置は、画像撮影が可能な携帯可能な端末装置、例えばタブレットＰＣ（Personal Computer）装置、等であってもよい。

入力部１１に入力する放送あるいはビデオカメラ装置等からの外部入力画像は、信号処理部（ＴＳ分離部）１２が、ＴＳ（Transport Stream）すなわち映像信号（ビデオ）及び音声信号（オーディオ）、ならびに制御情報に分離する。なお、制御情報は、例えばＴＳ（ストリーム）の分配規則や内容、スケジュールあるいはタイミング、等を記述したＳＩ（Service Information、番組配列情報）、等を含む。

映像信号（ビデオ）は、映像処理ブロック２１の映像デコーダ２２がデコードし、デジタル映像信号（ビデオ出力）として出力する。

映像処理ブロック２１及び音声処理ブロック３１には、それぞれ、ディスプレイ２６及びスピーカ３６が接続する。

映像処理ブロック２１は、映像（ビデオ）デコーダ２２、映像（ビデオ）処理部２３、
ＯＳＤ（On Screen Display）処理部２４及び表示制御部２５、等を含む。

映像処理部２３は、映像デコーダ２２がデコードしたデジタル映像信号をディスプレイ２６が表示可能な所定の解像度及び出力方式に変換する。表示制御部２５は、映像処理部２３が変換した映像信号を、ディスプレイ２６における好適な表示（映像再生）が可能な表示駆動信号に変換する。表示制御部２５はまた、ＯＳＤ処理部２４からのＯＳＤ（On Screen Display）信号と表示駆動信号とを合成する。なお、表示制御部２５の出力は、例えば外部に接続する外部モニタ装置あるいは投影装置（プロジェクタ装置）等が接続可能な出力端２７に出力されてもよい。

音声処理ブロック３１は、音声（オーディオ）デコーダ３２、音声（オーディオ）処理部３３、遅延部３４及びＤ−Ａ（Digital to Analog）コンバータ３５、等を含む。

音声信号（オーディオ）については、音声処理部３３において音声デコーダ３２がデコードした音声信号を、スピーカ３６による好適な再生が可能な所定の形式に変換する。Ｄ−Ａコンバータ３５は、音声処理部３３が変換した音声信号を、アナログ音声出力信号に変換する。これにより、Ｄ−Ａコンバータ３５にスピーカ３６を接続した場合に、スピーカ３６が可聴音（アナログ音声（オーディオ）出力）を出力する。なお、Ｄ−Ａコンバータ３５の出力は、例えばＡＶ（Audio Visual）アンプ等が接続可能な出力端３７に分岐してもよい。また、Ｄ−Ａコンバータ３５に入力する音声信号は、コンテンツの種類に対応して、遅延部３４による所定量（時間）の遅延が制御される。例えばコンテンツがゲームである場合、遅延部３４が規定する遅延（時間）の大きさ（長さ）は、放送信号（番組）を再生する場合に適用する遅延（時間）の大きさ（長さ）よりも小さい（短い）。

操作部６１は、ユーザーによる直接操作に対応する制御コマンドを主制御ブロック５１に入力する。

受信部６２は、リモコン端末（リモートコントローラ）７１による指示（操作入力）に対応するコマンドを主制御ブロック５１に入力する。なお、リモコン端末７１は、「ボイス」キー７１ａ及びマイク７１ｂを有する。

通信インターフェース６３は、例えばＷｉＦｉ（Wireless Fidelity）規格等に準拠する近距離無線通信機器との間の無線通信を実現する。なお、近距離無線通信規格としては、例えばBluetooth（登録商標）規格やＮＦＣ（Near Field Communication）等も利用可能である。通信インターフェース６３は、有線方式／無線方式のいずれであってもよく、例えばワイヤレスキーボードやマウス等との間の信号の受け渡しが可能な通信ユニット、等が接続する。また、通信インターフェース６３は、例えばタブレット端末（スマートフォンや、携帯可能なＰＣ（パーソナルコンピュータ））との間の直接通信を行う。

ネットワーク制御部６４は、ネットワークＮＴＷへのアクセス、ネットワークＮＴＷ上のさまざまなサービス（ウェブページ）あるいはサーバーからの情報の取得、あるいは情報の取得のための入力情報の送信、等を制御する。これにより、図１により説明したサービスサーバー７、サービスサーバー８及びコンテンツサーバー９との間の情報の受け渡しや、さまざまな検索、等が可能である。

ＵＳＢインターフェース６５は、例えばＵＳＢ規格に対応する記憶装置（ＵＳＢＨＤＤ）例えばＵＳＢ規格に準拠する外部装置、例えばキーボード等の利用を可能とする。なお、ＵＳＢインターフェース６５に、既に説明した記憶装置６が接続されることで、一定期間の間、ユーザーが指定する特定のチャンネル（放送事業者や配信事業者）及び時間帯の番組を全て記録するタイムシフト録画が可能である。記憶装置６はまた、通常録画や自動録画により録画される番組も記憶する。

ＨＤＭＩインターフェース（制御部）６６は、ＨＭＤＩ（High-definition Digital Media Interface（登録商標））規格またはＭＨＬ（Mobile High-definition Link）規格を利用する機器相互間の有線通信を可能とする。なお、ＨＤＭＩインターフェース６６には、図１に示したレコーダー装置２またはレコーダー装置４が接続されることにより、テレビ装置１が受信する番組のレコーダー装置２またはレコーダー装置４による録画やレコーダー装置２またはレコーダー装置４が保持する番組のテレビ装置１による視聴も可能となる。

記憶装置（ＨＤＤ（Hard Disk Drive））６７は、受信（取得）した番組（コンテンツ）を記憶する。記憶装置６７は、主としてユーザーがチャンネル（あるいは番組名）と時間とを指定して、番組単位で録画する通常録画による録画番組の保存、あるいはユーザーが視聴した、あるいは録画した番組を再生した情報や通常録画のために録画予約した番組の情報、等に基づいてユーザーが再生するであろう、と予想される番組を自動的に録画する自動録画による録画番組の保存に利用される。なお、記憶装置６７の記憶容量の一部は、タイムシフト録画による録画番組の保存に割り当てることができる。また、記憶装置６７が保持する映像信号や音声信号等は、ネットワーク制御部６４を経由して、他の機器あるいはネットワークＮＴＷに出力することが可能である。なお、ネットワーク制御部６４を経由して入力する他の機器からの映像信号や音声信号等は、記憶装置６７が保持することなく、ディスプレイ２６やスピーカ３６においてそのまま再生することも可能である。

主制御ブロック５１は、上述の操作部６１、受信部６２、通信インターフェース６３、ネットワーク制御部６４、ＵＳＢインターフェース６５、ＨＤＭＩインターフェース６６、及び記憶装置６７、等と接続し、それぞれの動作を制御する。

主制御ブロック５１は、例えばＣＰＵ（主処理回路）５２、ＲＯＭ（読出専用メモリ）５３、ＲＡＭ（ランダムアクセスメモリ（ワークメモリ））５４、ＮＶＭ（不揮発性（書き換え可能）メモリ）５５及び音声検索制御部５６、等を含む。

ＣＰＵ（主処理回路）５２は、ＲＡＭ５４が提供する作業エリアにおいて、ＲＯＭ５３が保持する制御プログラムに基づき、入力信号や制御信号に対応する処理を実行する。

ＮＶＭ５５は、各種の設定情報や、音声検索制御部５６による音声検索機能を実行するための動作プログラム及び後段に説明する意図解析部５８が参照する意図判別データベース、等を保持する。

音声検索制御部５６は、入力音声処理部５７と意図解析部５８と接続する。なお、入力音声処理部５７及び意図解析部５８は、音声検索制御部５６と一体であってもよい。また、ＮＶＭ５５が保持する意図判別データベースは、意図判別データベース５９として、独立に用意されてもよい。その場合、独立に用意される意図判別データベース５９は、意図解析部５８と接続されることが好ましい。なお、音声検索制御部５６及び意図解析部５８は、ホームサーバー３に用意されてもよいし、ネットワークＮＴＷを介して接続する任意の外部のサービスサーバーに用意されてもよい。

入力音声処理部５７は、音声検索制御部５６による音声検索の実行時に、リモコン７１のマイク７１ｂから入力する入力音声に対し、文節区切りや単語認識、等の入力音声処理を実行する。なお、リモコン７１にマイク７１ｂが用意されていない場合あるいはテレビ装置１にマイク６８が用意されている場合は、入力音声処理部５７は、マイク６８が取り込んだ音声について、音声検索の実行時に、入力音声処理を実行する。

マイク７１ｂまたはマイク６８からの入力音声は、Ａ−Ｄコンバータ６９によりデジタル信号に変換され、音声検索制御部５６に供給される。

意図解析部５８は、音声検索制御部５６による音声検索の実行時に、入力音声処理部５７による入力音声処理により特定された文節区切りや単語認識、等の結果として得られる文字列（発話内容）が意図する、ユーザーの音声指示（制御入力）の内容を解析する（以下意図解析と称する）。この意図解析により、ユーザーの音声指示が意図する検索すべき番組（またはコンテンツ）あるいはシーンもしくは外部ネットワークのコンテンツの音声検索による検索精度が向上できる。なお、意図解析部５８における意図解析時には、意図判別データベース（または意図判別データベース５９）が保持するデータベースと発話内容（入力音声処理において特定された文字列）が比較される。、
なお、音声検索制御部５６、入力音声処理部５７及び意図解析部５８は、ＣＰＵ５２のファームウェアであってもよい。また、音声検索制御部５６、入力音声処理部５７及び意図解析部５８の動作プログラムや参照するデータ、等は、外部からの書き換えあるいはアップデート（バージョンアップ）が可能である。なお、ＮＶＭ５５が保持する意図判別データベース（意図判別データベース５９）、音声検索制御部５６、入力音声処理部５７及び意図解析部５８の動作プログラム、等は、記憶装置６７の所定の領域に記憶されてもよい。また、ＮＶＭ５５が保持する意図判別データベース（意図判別データベース５９）は、サービスサーバー８、等の外部ネットワーク上の記憶部が記憶するものであってもよい。

主制御ブロック５１は、ＣＰＵ５２により、操作部６１からの操作情報（制御入力）や受信部６２が受信するリモコン端末７１からの操作情報（制御入力）に基づいて、上述の各部要素を制御する。

また、主制御ブロック５１は、映像デコーダ２２及び音声デコーダ３２が出力する映像信号や音声信号等を、ユーザーの操作指示（制御入力）に基づいて、記憶装置６７に記録することが可能である。記憶装置６７への映像信号や音声信号等の記録に際しては、主制御ブロック５１は、映像信号や音声信号等を暗号化処理し、所定の記録フォーマットに変換する。主制御ブロック５１は、ユーザーによるリモコン端末７１、等からの指示入力に基づいて、記憶装置６７から所望の映像信号や音声信号等を読み出し、復号し、映像デコーダ２２及び音声デコーダ３２に供給して、映像表示や音声再生を実行する。

主制御ブロック５１はまた、ＮＶＭ５５もしくはＲＯＭ５３が保持するプログラムまたはアプリケーションあるいはＣＰＵ５２のファームウェアにより、信号処理部（ＴＳ分離部）１２が分離するＴＳから字幕情報（ニュース番組においてアンカー（アナウンサ）が発声した音声を字幕化した生字幕を含む）やＥＰＧ（電子番組表）情報を、取得できる。

主制御ブロック５１はまた、リモコン端末７１の「ボイス」キー７１ａがオンされる、またはテレビ装置１のディスプレイ２６が表示する設定画面において、「ボイス」ボタン表示３２１（図３参照）を押すことで入力される制御入力（操作指示）に従い、音声検索制御部５６の音声検索機能を起動する。なお、「ボイス」ボタン表示３２１の代わりに、リモコン端末７１において、「ボイス」ボタンの機能が割り当てられる「青」ボタン７１Ｂ／「赤」ボタン７１Ｒ／「緑」ボタン７１Ｇの何れかをオンすることによっても、音声検索機能を起動するための制御コマンドを送信できるものとする。また、リモコン端末７１において、「黄」ボタン７１Ｙには、音声検索機能の取り消しを指示入力可能な「取り消し」ボタンに対応する制御コマンド、または一つ前の画面表示に戻る「戻る」ボタンに対応する制御コマンドを入力できる機能が割り当てられるものとする。

図３に、テレビ装置（第一の電子機器）１における音声検索機能を適用する検索制御の一例を示す。

例えば、リモコン端末７１の「ボイス」キー７１ａがオンされる、またはテレビ装置１のディスプレイ２６が表示する設定画面において図３に示す画面表示３０１の音声検索機能起動選択画面表示３１１内の「ボイス」ボタン表示（起動選択表示３１１における「はい」ボタン）３２１が押されることで入力される制御入力（操作指示）に基づき、音声検索制御部５６による音声検索機能が起動する。

音声検索機能が起動すると、図４に示すように、ユーザーが視聴または再生可能な番組の中からユーザーが視聴または再生するであろう番組をユーザーに提示するために用いるキーワードあるいは検索条件を音声により入力可能な音声検索入力画面表示４０１が表示される。なお、ユーザーが視聴もしくは再生可能な番組は、例えばテレビ装置１が現在受信中の番組あるいは選局に受信可能な番組、記憶装置６または記憶装置６７が保持する録画された番組（もしくはレコーダー装置２またはレコーダー装置４が保持する録画された番組）等、相当数に上る。このため、以下に説明するように、音声検索機能においては、（音声検索機能の）入力音声処理において特定された文字列（発話内容）に基づく番組の検索を、例えばタイムシフト録画された番組、通常録画された番組、自動録画された番組の順に、検索することが好ましい。なお、音声検索機能においては、入力音声処理において特定された文字列（発話内容）が番組の録画予約に関するものであることを特定できた場合には、予約録画（通常録画）のための録画予約を設定する（登録する）ことも可能である。また、音声検索機能においては、入力音声処理において特定された文字列（発話内容）に基づいて、録画された番組中の特定のシーンを検索するシーン検索（サービスサーバー８を利用）あるいはネットワークＮＴＷ上においてコンテンツを提供するコンテンツサーバー９が保持するコンテンツ（番組）も検索可能である。

図４が示す画面表示４０１においては、音声検索機能の起動が指示（リモコン端末７１の「ボイス」キー７１ａのオンまたはテレビ装置１の画面表示内の「ボイス」ボタン表示３２１（図３参照）による制御入力（操作指示））されることで、画面中央の最上部に、例えばマイク（マイクロフォン）を模ししたステータスアイコン（マイクアイコン）４２１が表示される。

なお、ステータスアイコン４２１は、図５（ａ）−図５（ｅ）に一例を示すが、例えば「準備中（起動中）」を表す第一パターン表示５２１、「録音可能状態」を表す第二パターン表示５２２、「録音中の入力音量の大きさ」を表す第三パターン表示５２３、「録音終了（入力受付停止）、内容認識及び意図解析中」を表す第四パターン表示５２４、「認識結果及び解析結果表示中」を表す第五パターン表示５２５、等にその都度、遷移するものとする。

図５（ａ）に示すように、第一パターン表示５２１は、起動中（準備中）の間、表示された絵柄が変化しない固定的な表示である。なお、録音可能状態ではない（未だ録音できない）ことを明示するために、例えば、背景色及びマイクアイコンそのものの表示の明るさを一定の範囲で暗くするトーンダウン、等の手法を用いることが好ましい。

図５（ｂ）に示すように、第二パターン表示５２２は、音声検索機能の起動処理完了時（準備完了時）、すなわち「録音可能状態」に表示されるもので、マイクアイコン４２１の表示の明るさがトーンアップ（明るさが設定されている通常の明るさに変更）される、あるいは設定された明るさを最大の明るさとして点滅する、もしくは背景色が変化する、等、図５（ａ）が示す起動中表示から、ユーザーの発話を促す動的な表示に変化するものとする。なお、準備完了とともに、例えば［メロディ（アラーム）］を鳴らす（メロディ音響出力を出力し、スピーカ３６でメロディ音を出力する）ことも可能である。

図５（ｃ）に示すように、第三パターン表示５２３は、「録音可能状態」において入力されるユーザーの声の大きさを可視化して表示するもので、例えばマイクアイコン（ステータスアイコン）４２１の表示領域の高さ方向を所定数に分割し、入力する声の大きさに対応して分割した範囲内で声の大きさを直感的に目視可能に、表示する。表示領域の分割数が、例えば１６である場合、マイク７１ｂ（リモコン端末７１）あるいはテレビ装置１のマイク６８に入力するユーザーの声の大きさが適正な大きさである場合に、例えば６〜１１の範囲に表示されるよう、マイクの入力感度やＡ−Ｄコンバータの変換計数を設定することが好ましい。すなわち、第三パターン表示５２３は、入力音声（ユーザーの発話（声））の大きさが音声検索機能における音声認識に適した大きさである場合に、分割した表示領域の概ね中央付近（中央）に、入力音声のレベルを表示するよう、設定される。もちろん、表示の方法としては、音声の大きさ（強度）に基づいて表示範囲（分割数のうちの最下位位置からの表示高さ）が連続的に変化するバーグラフ状であってもよいし、バーグラフ表示のうちの最大の強度（音量）を示す表示が一時的に（例えば１秒程度）、すぐに消えることなく点灯状態を維持するホールド機能、等が用意されてもよい。

図５（ｄ）に示すように、第四パターン表示５２４は、録音した入力音声を解析し、文節区切りや単語認識、等の入力音声処理を実行している間あるいは入力音声処理により特定した番組を検索している間に表示されるもので、例えば第二パターン表示５２２で表示するマイクを模したマイクの表示の背景の色が順次変化する、あるいは変化する色について、例えば時計の１２時間を示す３０°単位で順次、その表示位置が変化する（回転しているように見える）、等の表示パターンにより、何らかの処理を実行中であることを表示する。

図５（ｅ）に示すように、第五パターン表示５２５は、入力音声処理後の解析処理に基づいて特定した番組の検索結果に対応するテレビ装置１の動作（テレビ装置１の画面表示４０１のメッセージ表示欄４３１の２行目（対応状態／検索条件表示）欄４３３に、意図判別結果を受けたテレビ装置１の動作を表示している間、もしくは検索条件を特定できなかった場合、等の処理終了状態を示す。なお、表示の例としては、例えば検出できた検索条件を表示している場合、等において、背景色を青または緑、等のユーザーに疑問を持たせることが少ない、とされる色とし、検索条件を検出できなかった、もしくは入力音声を認識できなかった場合、等において、背景色を赤または黄、等のユーザーの注目を引き易いとされる色、とする、等の表示が好ましい。また、表示全体または背景を点滅する、等のさまざまな表示を用いることも可能である。

図６に、音声検索機能の準備完了（起動処理終了）時のテレビ装置の画面表示の表示例を示す。

音声検索機能の起動処理が終了すると、図４に示したステータスアイコン（マイクアイコン）４２１の表示がトーンアップ（明るさが設定されている通常の明るさに変更）される。このとき、図６が示すように、テレビ装置１における画面表示のステータスアイコン４２１の右側に、メッセージ表示欄４３１とヒント表示欄４４１を表示する。

メッセージ表示欄４３１は、以下に説明するが、入力音声処理により入力音声の内容を特定し、意図解析部５８による意図判別データベースとの比較により意図を解析した意図判別結果を表示する「１行目（音声認識結果表示／検索条件表示）」表示欄４３２と意図判別結果を受けたテレビ装置１の動作を表示する「２行目（対応状態／検索条件表示）」表示欄４３３とを含む。

「１行目」表示欄４３２は、ユーザーの声（発話）が、例えば［ｓ ａ ｋ ｋ ａ ｇ ａ ｍ ｉ ｔ ａ ｉ（さっかーがみたい）］である場合に、その発話を認識し、解析した結果として、ユーザーの発話内容である『サッカーが観たい』、と表示する。

「２行目」表示欄４３３は、例えばユーザーの声（発話）を認識した結果として、ユーザーの発話内容を『サッカーが観たい』と判別した場合に、検索対象として、例えば［：サッカー］と表示する。このとき、検索範囲（検索エンジン）について、例えば［＜ざんまいプレイ＞から探します。］というようなメッセージを、「２行目」表示欄４３３に、併せて表示する。なお、＜ざんまいプレイ＞は、タイムシフト録画された番組を検索対象として、ユーザーが視聴または再生するであろう番組をユーザーに提示する機能である。従って、検索エンジンは、タイムシフト録画（記憶装置６）となる。

なお、１行目表示欄４３２及び２行目表示欄４３３が表示する表示（メッセージ）は、例えば音声合成によりテレビ装置１から音声で案内することも可能である（ユーザーにより設定可能である）。

図７に、図６により説明した＜ざんまいプレイ＞を検索対象として検索した番組を画面にする画面表示の一例を示す。すなわち、図７は、検索エンジンがタイムシフトマシンを検索対象として番組を検索した結果を表示する画面表示の一例を示す。

図７においては、画面表示７０１に、現在放送中の番組の映像が表示される。

なお、画面表示７０１の下部の所定の領域、例えば画面表示７０１の高さ方向で、１／４あるいは１／５程度の範囲の領域に、所定時間の間、タイムシフトマシンざんまいプレイ画面表示７１１が表示される。また、所定時間経過後、あるいはユーザーが任意の番組を選択した場合もしくはユーザーが表示の消去を指示入力した場合、タイムシフトマシンざんまいプレイ画面表示７１１が消去される。

タイムシフトマシンざんまいプレイ画面表示７１１は、現在表示している番組のジャンル及びユーザーに他のジャンルの表示の指示入力を促すジャンル表示領域７１２（７１２ａ−７１２ｃ）、ジャンル表示領域７１２の現在番組ジャンル表示７１２ａが表示するジャンルに関連した番組を表示する関連番組表示部７１３を含む。

ジャンル表示領域７１２は、現在番組ジャンル表示（ジャンル表示バー）７１２ａ、ユーザーが選択可能な他のジャンルの１つの名称を表示する他候補ジャンル表示（他候補表示バー）７１２ｂ及び他のカテゴリーの番組表示を表示させるための指示入力を促すカテゴリー表示（カテゴリー切り換えバー）７１２ｃを含む。なお、他候補ジャンル表示（他候補表示バー）７１２ｂは、ユーザーが音声（発話）により指示した番組ジャンルと関連の高い番組ジャンルが、他候補として表示される。すなわち、図７の例では、図６に示した音声検索機能において特定されたジャンルが［サッカー］であるから、スポーツのジャンルの番組が他候補として提示される。

関連番組表示部７１３は、例えば６つの関連番組表示領域７１３−１〜７１３−６に、それぞれの番組のプレビュー映像が表示される。なお、関連番組表示部７１３は、関連する番組の数が表示領域の数よりも多い場合に、［→（右矢印／進む）］表示７１３ｆ及び［←（左矢印／戻る）］表示７１３ｂを表示する。［→（右矢印／進む）］表示７１３ｆは、未表示の番組のプレビュー映像の表示を可能とするための指示入力（制御信号）を入力可能である。［←（左矢印／戻る）］表示７１３ｂは、［→（右矢印／進む）］表示７１３ｆにより、未表示の番組のプレビュー映像を表示した以降に、その番組のプレビュー映像の表示により非表示となった番組のプレビュー映像を表示させるための指示入力（制御信号）を入力可能である。

図８は、図６により説明した＜ざんまいプレイ＞を検索対象として番組を検索した結果において、図７に、プレビュー映像により表示される録画済番組を含む過去番組表の一例の画面表示の一例を示す。

図８が示す過去番組表から、図７の関連番組表示部７１３が表示した関連番組表示領域７１３−１〜７１３−６に表示される個々の番組８１１−１〜８１１−６を、番組表形式（タイムテーブル）表示により、一覧で観ることができる。

図９は、図６により説明した＜ざんまいプレイ＞を検索対象として番組を検索した結果において音声検索機能の入力音声処理により特定された番組が検索できなかった場合に、次の検索エンジンにより検索する（検索対象を保持する記憶装置を録画予約により予約録画された番組を保持する記憶装置６７に切り換える）場合の画面表示の一例を示す。

図１０は、図９により説明した＜録画番組一覧＞を検索対象として番組を検索した結果において特定される録画済番組の一覧表示（録画番組一覧）の一例を示す。

図１０が示す録画番組一覧画面表示１００１は、録画済番組表示欄１０２１〜１０３０（表示例は、６つの番組が録画されていることを示し、表示欄１０２１〜１０２６に録画されている番組が表示されている）と、表示欄１０２１〜１０３０が表示する録画済番組のうち、現在フォーカスがあてられている番組のプレビュー映像を表示するプレビュー表示領域１０１１と、プレビュー表示されている番組の情報、例えばその番組を放送した放送局名（チャンネル名）、等を表示する。

図１０が示す録画番組一覧画面表示１００１においては、録画済番組表示欄１０２１〜１０３０のうちの録画されている番組が表示されている表示欄にフォーカスが当てられる（リモコン端末７１により任意の表示欄の番組を選ぶ）ことで、その都度、プレビュー表示領域１０１１が表示するプレビュー映像が、対応する録画済番組のそれぞれにおいて用意されているプレビュー映像に切り換えられる。また、併せて、チャンネル名表示、等も更新される。

なお、図９に一例を示した次の検索エンジンにより検索する場合においては、図１１に一例を示すように、例えば入力音声処理により検索エンジンが特定できた場合には、その検索エンジンを利用するものとする。例えば、特定できた文字列が＜ＹｏｕＴｕｂｅ＞のように、ネットワークＮＴＷ上のサービスサーバーが保持するコンテンツ（番組）を意図する場合は、対応する検索エンジンを利用する。また、特定できた文字列が＜明日の午後９時＞のように、録画予約を意図する場合には、検索エンジンは、ＥＰＧ（Electric Program Guide，電子番組表）に特定される。

すなわち、図１１に一例を示すが、検索エンジンの切り換えは、音声検索機能起動［０１］に引き続く入力音声処理及び意図理解解析による検索対象特定［０２］、特定された検索対象について、（検索対象は）外部サーバーか［０３］、（検索対象は）録画予約か［０４］、（検索対象は）タイムシフトマシンか［０５］、（検索対象は）録画番組一覧（録画リスト）か［０６］、（検索対象は）おすすめ検索か［０７］、（検索対象は）シーン検索か［０８］、等に従う。

従って、検索対象が外部サーバーである場合［０３−ＹＥＳ］、コンテンツサーバー９が検索エンジンとなる［１０１］。また、検索対象が録画予約である場合［０４−ＹＥＳ］、ＥＰＧデータ（例えば、主制御ブロック５１のＣＰＵ５２のファームウェアが保持する）あるいはＮＶＭが保持する録画予約リストが検索エンジンとなる［１０６］。同様に、検索対象がタイムシフトマシンである場合［０５−ＹＥＳ］、記憶装置６（タイムシフト録画記憶装置）が検索エンジンとなる［１０５］。さらに、検索対象が録画番組一覧（録画リスト）である場合［０６−ＹＥＳ］、記憶装置６７（ＨＤＤ）が検索エンジンとなる［１０７］。なお、検索対象がおすすめである場合［０７−ＹＥＳ］、サービスサーバー８が検索エンジンとなる［１０２］。同様に、検索対象がシーンである場合［０８−ＹＥＳ］、サービスサーバー７（データベース提供会社）が検索エンジンとなる［１０３］。なお、検索エンジンの切り換えの判定は、図１１が示す順に制限されるものではない。また、外部サーバーを検索対象とする検索エンジンの切り換えの判定は、個々の切り換えの判定の間の全ての判定のタイミングに実行されることが好ましい。

すなわち、検索エンジンとしては、
未来番組表（ＥＰＧ／録画予約）
ざんまい（タイムシフト録画）
過去番組表（タイムシフト録画）
録画リスト（録画番組一覧／通常録画／自動録画）
シーン検索（サービスサーバー／タイムシフト録画／通常録画／自動録画）
おすすめ検索（サービスサーバー／タイムシフト録画／通常録画／自動録画）
ＹｏｕＴｕｂｅ（外部サーバー（コンテンツサーバー））
等、である。

なお、シーン検索については、データベース提供会社のサービスサーバー７が提供する属性（シーン属性／分類）に従うが、例えば音声シーン、すなわち「トーク（会話）」や「音楽（歌唱）」、あるいは「コマーシャル（本編に対する識別例）」、等を、検索条件として利用できる。

また、おすすめ検索については、記録装置６７に録画されている番組のうちのサービスサーバー８が提供するユーザーの嗜好に沿ったおすすめ番組が検索対象となる。

なお、検索条件がそれぞれの検索エンジンで異なる場合、検索エンジンを切り換えたときに、適切な検索条件に変更することが必要となる。

例えば、番組表（ＥＰＧ）においては、［水］、［金］のように、曜日単位で検索条件を指定できるが、他の検索エンジンに移行する（切り換える）場合には、［水〜金］、という形式に丸めることが好ましい。

図１２は、図６により概略を説明した音声検索機能の起動処理終了後の入力音声処理において、ヒント表示欄４４１が表示する表示（ヒント）に対するユーザーからの発話を入力音声処理する一例を示す。なお、図１２が示す例は、＜絞り込み検索＞と称される。

図７及び図９ならびに図１１により、入力音声処理において特定された番組が検索できなかった場合に、次の検索エンジンにより検索する（検索対象を保持する記憶装置を別の記憶装置に切り換える）ことを説明したが、検索条件の絞り込みにより、該当する番組が検索できる場合がある。

図１２に一例を示すが、画像表示１２０１が表示するヒント表示欄４４１もしくは「２行目」表示欄４３３に、例えば『さらに条件を加えたい場合は、「○○で絞り込み」とお話ください＜意図理解の結果を受けたテレビ装置１の動作の表示（ＴＶのアクション）』、等を表示する。なお、テレビ装置１の動作としては、音声合成により音声で案内することも可能である。

ユーザーが、新たにキーワードやジャンル、あるいは人名、等を発話（発言）することにより、テレビ装置１は、入力音声処理により入力音声の内容を特定し、意図判別データベースとの比較により意図を解析した意図判別結果を、表示欄４３２に表示する。

なお、＜絞り込み検索＞に利用可能なキーワードとしては、例えば番組名や、出演者名あるいはジャンル、等がある。但し、ジャンルについては、社団法人 電波産業会（ＡＲＩＢ：Association of Radio Industries and Businesses）が規定する放送分類（大分類／中分類）に従うものとして、例えばニュース（報道）、スポーツ、ドラマ、音楽、バラエティ、映画あるいはアニメ（特撮）、等を指定できる。一方、ジャンルにおいては、「スポーツ」と「ニュース」と「スポーツニュース」は、意図判別データベースとの比較により、自動的に区別される。

また、キーワードに類似する＜絞り込み検索＞に利用可能な情報として、例えば「番組記号」がある。「番組記号」は、ＥＰＧデータから取得可能な、［新］…新番組、［再］…再放送及び［終］…最終回、について、検索に用いることができる。なお、その他に、放送局名や放送種別（地上波／衛星放送、等）、日付（昨日、今週、月曜日、等）が、利用可能である。但し、曜日については、ＥＰＧや内蔵するカレンダー等を参照して、日付に変換して利用する。また、放送局名や放送種別、については、略称やコールサイン及びその短縮形（例えばＣＸ、ＥＸ、等の２レターコード）、ＢＳ、ＣＳ、等についても判別可能とする。

なお、入力音声処理により特定する文字列や単語については、同音で異なる表示となる名称、等が存在する。このため、＜検索し直し／絞り込み＞機能として、以下に説明する動作が可能である。

［絞り込み／検索し直し］
意図を理解し再度検索を行う
絞り込み
絞り込みを意図した特定の発話があった場合に絞り込む
発話例：「Ｊリーグ（日本のプロサッカー）で絞り込んで」
「（プロ野球の）○×□だけにして」
等、の単語や文字列が利用可能である。その際に、検索エンジンを切換えることを示唆する単語や文字列を特定できた場合、以下に説明する＜検索エンジン切り換え＞動作が可能である。

［検索エンジン切換］
発話内容に別エンジンが含まれる場合に検索エンジンを切換える
発話例：「シーン検索で検索し直して」
等、の単語や文字列が利用可能である。

また、＜検索エンジン切り換え＞は、認識したキーワードに従うことができる。
例えば、「ざんまい」、「シーン」、「おすすめ（自動録画）」、「番組情報（現在受信中／現在再生中）」、「録画番組（録画してある／昨日（今週）とった（はず））／過去番組表」、「録画予約（番組表で…）／ＥＰＧで…」、等の単語や文字列を特定できた場合には、特定できた単語や文字列から特定可能な検索エンジンに切り換えることが好ましい。

また、入力音声処理により特定する文字列や単語としてシーン検索を表す特徴的な単語を特定できた場合には、シーン検索を起動する（検索エンジンを切り換える）ものとする。

例えば、「お天気コーナー」 → （“コーナー”）
「ゴールの場面」 → （“場面”）
「○□が出ているところ」 → （“〜ているところ”）
等の単語を特定できた場合は、シーン検索に移行する（起動する）。

また、同音候補（同音で異なる表示となる名称、等）の選択を促す例としては、同音のキーワードの候補が複数ある場合に候補を表示し、ユーザーによる選択（別候補の特定）を行うことが好ましい。なお、ユーザーの特定の発話（発言）に基づいて同音候補の選択を実行することも可能である。例えば、「字が違う」、「違うよ」、「別の表示」、等の単語や文字列を特定できた場合には、［検索し直し］を実行することが好ましい。

図１３は、図６により説明した音声検索機能の入力音声処理において、検索エンジン、すなわち検索対象となるコンテンツが記憶されている記憶装置もしくはサービスサーバーが特定できる場合の画面表示の表示例を示す。

例えば、ユーザーの発話（声）が特定する検索対象が、例えば［ｙ ｕ ｃ ｙ ｕ ｂ ｕ（ゆーちゅーぶ）］である場合、「１行目」表示欄４３２は、その発話を認識し、解析した結果として、ユーザーの発話内容である『ＹｏｕＴｕｂｅ』、と表示する。

この場合、「２行目」表示欄４３３は、検索範囲（検索エンジン）について、例えば［＜ＹｏｕＴｕｂｅ＞に移行します。］というようなメッセージを表示する。

以下、検索対象がネットワークＮＴＷ上のコンテンツサーバー（サービスサーバー）９に切り換えられる。

なお、＜ＹｏｕＴｕｂｅ＞での検索においては、キーワードの定義において、図６及び図９により説明した入力音声処理により特定する文節区切りや単語認識、等の結果として得られる文字列（発話内容）から、例えば「見たい」や「探して」あるいは「の」などの余分な言葉を削除して区切り、区切った言葉を、「“」と「，」と「”」で結合し、単一のキーワードとして検索対象とすることが好ましい。

例えば、「ＡＺＢの東京ドームのコンサートが見たい」 → “ＡＺＢ，東京ドーム，コンサート”として検索する。なお、キーワードが空（未決定）の場合は、メッセージ表示欄（「１行目」表示欄４３２）において、『キーワードを入力してください』等の文字列を表示してキーワードの入力を促す。

図１４は、音声検索機能を起動したユーザーを支援する例を示す。

ユーザーが音声検索機能を起動したあと、一定期間の間、例えば５秒の間、発話がない（無音を検出した）場合、別ウィンドウ４５１に、ユーザーを支援するメッセージを表示して、音声検索機能を用いる番組検索を支援することができる。あるいは、ヒント表示欄４４１に、利用方法を説明するメッセージを表示して、音声検索機能を用いる番組検索を支援してもよい。

例えば、音声検索機能の起動完了から５秒経過後に、
○○が見たい。
○○のシーンが見たい。
○○を予約したい。
等、のメッセージを、別ウィンドウ４５１に表示することで、ユーザーに音声検索機能の利用開始を促すことができる。なお、表示するメッセージは、音声検索機能の動作状態と関連付けて、例えば文字入力画面表示中においては、「入力したい文字列を話してください。」あるいは検索結果表示中においては、「絞り込みたい場合は「○○で絞り込み」とお話しください。」等、その時点の動作に関連のある文言（文字列）であることが好ましい。

なお、キーワードを定義する際においては、入力音声処理により特定する文節区切りや単語認識、等の結果として得られる文字列（発話内容）から、例えば「見たい」や「探して」あるいは「の」等の言葉を削除して区切り、区切った言葉を「“」と「，」と「”」で結合して単一のキーワードとして検索対象とすることは、任意の検索エンジンを用いる検索にも適用可能である。

図１５は、音声検索機能を起動したユーザーを支援する別の例を示す。

ユーザーが音声検索機能を起動したあと、一定期間、発話がない（無音を検出した）場合、ヒント表示欄４４１に、利用方法を説明するメッセージを表示して、音声検索機能を用いる番組検索を支援することができる。

例えば、音声検索機能の起動処理が完了し、録音可能状態となった場合に、
「入力したい文字列を話してください。」
「今日のおすすめを紹介しますか？」
等、ユーザーが何を話せば良いかのを着想可能なさまざまなヒントメッセージを表示することで、ユーザーに、音声検索機能の効果的な利用を促すことができる。

なお、ヒントメッセージは、テレビ装置１のステータス（動作状態）によって出しわけるものとする。また、ヒントメッセージは、例えば３秒ごとに、複数種類のメッセージをシャッフルして表示することが好ましい。

なお、ヒントメッセージは、音声合成によりテレビ装置１から音声で案内することも可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…テレビジョン受信装置（映像再生装置／第一の電子機器）、２…レコーダー装置（映像記録装置／第二の電子機器）、３…ネットワークコントローラー、６…タイムシフト記憶装置、７−９…サービスサーバー、５１…主制御ブロック、５５…意図判別データベース（不揮発性メモリ）、５６…音声検索制御部、５７…入力音声処理部、５８…意図解析部、５９…意図判別データベース、６７…記憶装置、７１…リモコン端末（リモートコントローラ）。

Claims (11)

1. 入力音声に基づいて検索対象の検索条件を特定する入力音声処理手段と、
   前記入力音声処理手段が特定した前記検索条件に基づいて、前記検索対象の検索先を切り換える検索制御手段と、
   を具備する電子機器。
2. 前記入力音声処理手段が前記検索条件を特定するための解析手段をさらに具備する請求項１の電子機器。
3. 前記解析手段は、前記入力音声から前記入力音声処理手段が特定した文字列または単語から前記検索制御手段が前記検索対象の検索先を切り換え可能なキーワードや検索先を特定可能な文字列または単語を判定する請求項２の電子機器。
4. 前記解析手段は、前記入力音声から前記入力音声処理手段が特定した文字列または単語が、前記検索対象の検索先として外部サーバーを特定可能な文字列または単語であることを判定する請求項２の電子機器。
5. 前記切り換えた前記検索対象の検索先から前記検索条件に基づいて検索する検索手段をさらに具備する請求項１の電子機器。
6. 前記検索制御手段により切り換えられる前記検索対象の検索先に対応した画像を表示可能な表示信号を出力する表示制御手段をさらに具備する請求項１の電子機器。
7. 前記入力音声処理手段が前記検索条件を特定するための解析手段をさらに具備する請求項５または６の電子機器。
8. 前記解析手段は、前記入力音声から前記入力音声処理手段が特定した文字列または単語から前記検索制御手段が前記検索対象の検索先を切り換え可能なキーワードや検索先を特定可能な文字列または単語を判定する請求項７の電子機器。
9. 前記解析手段は、前記入力音声から前記入力音声処理手段が特定した文字列または単語が、前記検索対象の検索先として外部サーバーを特定可能な文字列または単語であることを判定する請求項７の電子機器。
10. 前記表示制御手段が出力する前記表示信号に対応する画像を表示する表示手段をさらに具備する請求項５−９の何れか１の電子機器。
11. 入力音声に基づいて検索対象の検索条件を特定し、
    入力音声処理部が特定した検索条件に基づいて、検索対象の検索先を切り換える
    電子機器の制御方法。

Images