JP2008263305A - Electronic apparatus and video recording control method - Google Patents
Electronic apparatus and video recording control method Download PDFInfo
- Publication number
- JP2008263305A JP2008263305A JP2007103128A JP2007103128A JP2008263305A JP 2008263305 A JP2008263305 A JP 2008263305A JP 2007103128 A JP2007103128 A JP 2007103128A JP 2007103128 A JP2007103128 A JP 2007103128A JP 2008263305 A JP2008263305 A JP 2008263305A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- feature
- broadcast program
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は放送番組データを受信する機能を有する電子機器および同装置に適用される録画制御方法に関する。 The present invention relates to an electronic apparatus having a function of receiving broadcast program data and a recording control method applied to the apparatus.
一般に、ハードディスクレコーダーのような録画装置においては、多数の放送番組の中からユーザの嗜好に合った放送番組を録画対象として選択するための機能が設けられている。代表的な機能としては、例えば、好きなタレントの名前等をキーワードとして登録しておき、電子番組表に放送番組毎に掲載されている登場者情報を参照して、キーワードにマッチする放送番組を録画対象として選択するという機能が知られている。 In general, a recording device such as a hard disk recorder has a function for selecting a broadcast program that suits the user's preference from among a large number of broadcast programs as a recording target. As a typical function, for example, the name of a favorite talent or the like is registered as a keyword, and the broadcast program that matches the keyword is referred to by referring to the appearance information posted for each broadcast program in the electronic program guide. A function of selecting as a recording target is known.
しかし、電子番組表内に全ての登場者の情報が記述されているとは限らないので、キーワードで指定されたタレントが登場する放送番組を録画し損なう可能性がある。 However, since the information of all the participants is not always described in the electronic program guide, there is a possibility of failing to record the broadcast program in which the talent specified by the keyword appears.
また、ユーザによって予め特定の人物等の画像を登録しておき、この登録画像と記録中または記録済みの放送番組に登場する人物の画像とを照合して、録画を行う方法も提案されている（例えば、特許文献１参照。）。
しかし、ユーザがいちいち画像を入手して登録するという仕組みでは、多くの手間がかかることとなる。またユーザが入手可能な画像は限られたものとなるので、このような画像から照合用の特徴データを精度良く生成することは実際上困難である。 However, a mechanism in which a user obtains and registers images one by one requires a lot of trouble. Further, since the images available to the user are limited, it is practically difficult to accurately generate the feature data for verification from such images.
また、従来では、キーワードや登録画像にマッチする放送番組データ全体が録画されてしまうため、例えば好きなタレント等の登場するシーンだけを視聴するためには、録画された放送番組データに対して特別な編集操作を施す必要がある。 Conventionally, since the entire broadcast program data that matches the keyword or registered image is recorded, for example, in order to view only the scene where the favorite talent appears, the recorded broadcast program data is special. Edit operations must be performed.
本発明は上述の事情を考慮してなされたものであり、ユーザ自身が画像を登録することなく、各放送番組データ内で目的の人物が登場するシーンを容易に視聴することが可能な電子機器および録画制御方法を提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and an electronic apparatus that allows a user to easily view a scene in which a target person appears in each broadcast program data without registering an image by himself / herself. An object of the present invention is to provide a recording control method.
上述の課題を解決するため、本発明の電子機器は、入力部と、通信部と、前記入力部によって入力された人物名を検索キーワードとして含む検索要求を前記通信部を介してインターネット上の所定の検索サーバに送信することにより、前記人物名によって指定される人物に関する１以上の画像データを前記インターネット上から取得する画像取得手段と、前記取得された画像データ中の顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成する画像分析手段と、互いに異なるチャネルの1以上の放送番組データをそれぞれ受信する1以上のチューナ部と、前記の1以上のチューナ部によって受信される1以上の放送番組データの各々の中で前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データを保存する録画処理手段とを具備することを特徴とする。 In order to solve the above-described problem, an electronic device according to the present invention includes an input unit, a communication unit, and a search request including a person name input by the input unit as a search keyword via the communication unit. The image acquisition means for acquiring one or more image data relating to the person specified by the person name from the Internet, and the person name from the face image in the acquired image data Image analysis means for generating feature data indicating the characteristics of the face of a person specified by one or more, one or more tuner units respectively receiving one or more broadcast program data of different channels, and the one or more tuner units A portion corresponding to a scene in which a face image having a feature similar to the feature data appears in each of one or more broadcast program data received And recording processing means for detecting minute data and storing the detected partial data.
本発明によれば、ユーザ自身が画像を登録することなく、各放送番組データ内で目的の人物が登場するシーンを容易に視聴することが可能となる。 According to the present invention, it is possible to easily view a scene in which a target person appears in each broadcast program data without the user himself / herself registering an image.
以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る電子機器の構成を説明する。この電子機器は、例えば、ノートブック型の携帯型パーソナルコンピュータ１０から実現されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, with reference to FIG. 1 and FIG. 2, the structure of the electronic device which concerns on one Embodiment of this invention is demonstrated. This electronic device is realized by, for example, a notebook portable
このコンピュータ１０は、放送信号によって放送される放送番組データの再生および録画を実行するＴＶ機能を有している。ＴＶ機能には、現在放送中の各放送番組データの中から目的の人物が登場するシーンのみを録画するという特定シーン録画処理機能が含まれている。この特定シーン録画処理機能は、目的の人物の顔の特徴を示す特徴データを生成し、放送番組データの中で、生成された特徴データと類似する特徴を有する顔画像が出現するシーンのみを録画することによって実行される。この場合、特徴データの生成には、インターネット１上から取得された画像データ群が使用される。すなわち、コンピュータ１０は、ユーザによって入力された人物名（例えばタレント名）を検索キーワードとして含む検索要求をインターネット１上の検索サーバ３に送信することにより、入力された人物名によって指定される人物に関する画像データそれぞれをインターネット１上から取得する。そして、コンピュータ１０は、画像データそれぞれから特徴データを自動生成する。
The
検索サーバ３はいわゆる検索サイトとして機能するサーバであり、イメージ検索機能を有している。このイメージ検索機能は、インターネット１上の多数のＷＥＢサーバ２それぞれによって提供されているホームページ群の中から、検索キーワードに合致する画像データを検索する機能である。このイメージ検索は、例えば、ホームページを構成するＨＴＭＬファイル中の文字列（画像データに関する、説明、画像名などの文字列）等を分析することによって実行される。
The
このように、インターネット１から目的の人物に関する多数の画像データ群を取得し、それら画像データ群から目的の人物の顔の特徴を示す特徴データを生成することにより、ユーザ自身が画像を入手することなく、目的の人物が登場するシーンのみを容易に録画することができる。 As described above, the user himself / herself obtains an image by acquiring a large number of image data groups related to the target person from the Internet 1 and generating feature data indicating the characteristics of the face of the target person from the image data group. In addition, it is possible to easily record only the scene where the target person appears.
本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。コンピュータ本体１１の上面にはキーボード１３、本コンピュータ１０を電源オン／オフするためのパワーボタン１４、入力操作パネル１５、およびタッチパッド１６などが配置されている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能を遠隔制御する外部のリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、例えば、赤外線信号受信部などから構成されている。
The
次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
Next, the system configuration of the
本コンピュータ１０は、図２に示されているように、ＣＰＵ１１１、ノースブリッジ１１２、メインメモリ１１３、グラフィクスコントローラ１１４、サウスブリッジ１１９、ＢＩＯＳ−ＲＯＭ１２０、ハードディスクドライブ（ＨＤＤ）１２１、光ディスクドライブ（ＯＤＤ）１２２、1以上のＴＶチューナ１２３−１〜１２３−ｎ、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４、ネットワークコントローラ１２５Ａ、無線通信デバイス１２５Ｂ、および顔画像処理モジュール１２８等を備えている。
As shown in FIG. 2, the
ＣＰＵ１１１は本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１２１からメインメモリ１１３にロードされる、オペレーティングシステム、およびＴＶアプリケーションプログラム１０１のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム１０１は放送番組データの再生および録画を制御するプログラムであり、1以上のＴＶチューナ１２３−１〜１２３−ｎを制御して、放送信号によって放送される放送番組データ（ＴＶ放送番組）の再生および録画（予約録画を含む）を制御する。また、ＴＶアプリケーションプログラム１０１は、上述の特定シーン録画処理機能等も有している。
The
また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１２０に格納されたＢＩＯＳ（Basic Input Output System）も実行する。
The
ノースブリッジ１１２はＣＰＵ１１１のローカルバスとサウスブリッジ１１９との間を接続するブリッジデバイスである。ノースブリッジ１１２には、メインメモリ１１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１２は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能も有している。
The
グラフィクスコントローラ１１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラであり、ビデオメモリ（ＶＲＡＭ）１１４Ａに書き込まれたデータからＬＣＤ１７に表示するための表示信号を生成する。サウスブリッジ１１９は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１１９は、ＨＤＤ１２１、ＯＤＤ１２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。
The
1以上のＴＶチューナ１２３−１〜１２３−ｎは、放送信号によって放送される放送番組データをそれぞれ受信するチューナ部である。これら1以上のＴＶチューナ１２３−１〜１２３−ｎにより、1以上のチャネル（例えば日本で受信可能な地上アナログ／地上デジタル放送の全てのチャネル）それぞれの放送番組データを同時に受信することができる。上述の特定シーン録画処理機能の実行時には、ＴＶチューナ１２３−１〜１２３−ｎは、互いに異なるチャネルの1以上の放送番組データをそれぞれ受信する。ＴＶチューナ１２３−１〜１２３−ｎの各々は、アナログ放送信号によって放送される放送番組データを受信するアナログＴＶチューナ、地上波デジタル放送信号によって放送される放送番組データを受信するデジタルＴＶチューナのどちらであってもよい。 The one or more TV tuners 123-1 to 123-n are tuner units that respectively receive broadcast program data broadcast by broadcast signals. The one or more TV tuners 123-1 to 123-n can simultaneously receive broadcast program data of one or more channels (for example, all channels of terrestrial analog / digital terrestrial broadcasting that can be received in Japan). When executing the specific scene recording processing function described above, the TV tuners 123-1 to 123-n respectively receive one or more broadcast program data of different channels. Each of the TV tuners 123-1 to 123-n is either an analog TV tuner that receives broadcast program data broadcast by analog broadcast signals or a digital TV tuner that receives broadcast program data broadcast by terrestrial digital broadcast signals. It may be.
ＥＣ／ＫＢＣ１２４は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された、１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１２４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。本コンピュータ１０の各コンポーネントに供給される動作電源は、本コンピュータ１０に内蔵されたバッテリ１２６、またはＡＣアダプタ１２７を介して外部から供給される外部電源から生成される。また、ＥＣ／ＫＢＣ１２４はリモコンユニットインタフェース部２０にも接続されている。
The EC / KBC 124 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard (KB) 13 and the
ＴＶアプリケーションプログラム１０１の制御は、ユーザによる、キーボード（ＫＢ）１３、タッチパッド（マウス）１６のような入力部の操作のみならず、外部のリモコンユニットの操作によっても実行することができる。
The control of the
ネットワークコントローラ１２５Ａは有線ネットワークに接続するためのデバイスであり、インターネット１との通信を実行するための通信部として機能する。また、無線通信デバイス１２５Ｂは無線ネットワークに接続するためのデバイスである。この無線通信デバイス１２５Ｂも、インターネット１との通信を実行するための通信部として機能することが出来る。 The network controller 125A is a device for connecting to a wired network, and functions as a communication unit for executing communication with the Internet 1. The wireless communication device 125B is a device for connecting to a wireless network. The wireless communication device 125B can also function as a communication unit for executing communication with the Internet 1.
顔画像処理モジュール１２８は顔検出処理および顔画像分析処理等を実行するためのＬＳＩであり、ＴＶアプリケーションプログラム１０１の制御の下、静止画や動画像のような画像データから人の顔を検出して取り出し、その顔画像の特徴を分析する処理を実行する。
The face
次に、図３を参照して、ＴＶアプリケーションプログラム１０１の機能構成の第１の例について説明する。
Next, a first example of the functional configuration of the
ＴＶアプリケーションプログラム１０１は上述の特定シーン録画処理機能を実行するために、キャッシュ付き全チャネル録画処理部２０１、再生処理部２０２、キーワード入力部２０３、ネットワーク検索処理部２０４、顔特徴分析部２０５、特徴データ生成部２０６、および特定シーン録画処理部２０７等を機能実行モジュールとして備えている。
In order to execute the specific scene recording processing function described above, the
キャッシュ付き全チャネル録画処理部２０１は、1以上のＴＶチューナ１２３−１〜１２３−ｎを制御し、ＴＶチューナ１２３−１〜１２３−ｎによって同時に受信される1以上のチャネルそれぞれの放送番組データをそれぞれ所定時間分だけバッファに格納する処理を実行する。再生処理部２０２は、特定シーン録画処理機能等によって録画された放送番組データを再生する。キーワード入力部２０２はキーワード入力画面を表示し、ユーザによる入力部（キーボード、マウス、リモコンユニット等）の操作に応じて当該入力部からキーワード入力画面上に入力される人物名等のキーワードを取得する。入力部から入力されたキーワードはキーワード記憶エリア３０１に格納される。
The all channel
ネットワーク検索処理部２０４は、キーワード記憶エリア３０１からキーワード（人物名）を読み出し、そのキーワード（人物名）を検索キーワードとして含む検索要求を生成する。そして、ネットワーク検索処理部２０４は、その検索要求を、ネットワークコントローラ１２５Ａ、無線通信デバイス１２５Ｂといった通信部を介してインターネット１上の検索サーバ３に送信することにより、入力されたキーワード（人物名）によって指定される人物に関する画像データ（例えば静止画）それぞれをインターネット１上から取得する。通常は、タレントなどの著名人を指定する検索キーワードに対しては、数百から数千の画像データがヒットし、それら全ての画像データを取得することができる。
The network
顔特徴分析部２０５および特徴データ生成部２０６は画像分析部として機能し、ネットワーク検索処理部２０４によって取得された画像データそれぞれから人物の顔画像を抽出すると共にその抽出された顔画像それぞれを分析して、ユーザによって入力された人物名によって指定された人物の顔の特徴を示す特徴データを生成する。すなわち、顔特徴分析部２０５は、顔画像処理モジュール１２８を使用して、各画像データ内から顔画像を抽出するための顔検出処理、および抽出された顔画像の特徴を分析して特徴データを生成する顔画像分析処理を実行する。顔画像の特徴を示す特徴データとしては、例えば、目、鼻、口などの複数の特徴点間の相対的な距離関係および複数の特徴点間の相対的な大きさの関係等を示す値、等を用いることができる。
The face
特徴データ生成部２０６は、顔特徴分析部２０５によって得られた顔画像それぞれの特徴を示す複数の特徴データを統合してそれら特徴データを統計的に処理し、統計的に処理することによって得られる値を照合用の特徴データとして生成する。この場合、特徴データ生成部２０６は、例えば、複数の特徴データの平均値を算出し、この平均値を、ある人物の顔の特徴を示す特徴推定値つまり照合用の特徴データとして生成する。インターネット１から取得された画像データそれぞれに含まれる顔画像毎に目的の人物の顔の向きも異なるので、複数の顔画像それぞれに対応する複数の特徴データを統計的に処理することによって、例えば複数の顔画像それぞれに対応する複数の特徴データの平均値を算出することによって、様々な顔の向きを考慮した状態で、照合用の特徴データを生成することが可能となる。また、顔画像それぞれの特徴を示す複数の特徴データの中で特異な値（他の特徴データの値に比し大きく異なる異常値）を持つ特徴データを最初に検出し、検出された特徴データを除く他の特徴データを統計的に処理し、統計的に処理することによって得られる値、例えば検出された特徴データを除く他の特徴データ間の平均値を、照合用の特徴データとして算出するようにしてもよい。インターネット１から取得された画像データの中には、目的の人物とは異なる他の人物の顔画像を含む画像データが含まれる場合や、また極端に上向きまたは下向きの顔画像が含まれることもあるので、異常値を除外してから平均値を算出することにより、より精度の高い照合用の特徴データを得ることが可能となる。なお、以下では、複数の特徴データそれぞれを統計的に処理することによって得られる、ある人物の顔の特徴を示す統計的な特徴推定値として、複数の特徴データ間の平均値を用いる場合を例示して説明する。
The feature
特定シーン録画処理部２０７は、互いに異なるチャネルの1以上の放送番組データの各々の中で、照合用特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データをＨＤＤ１２１に保存する。具体的には、特定シーン録画処理部２０７は、キャッシュ付き全チャネル録画処理部２０１によってバッファに格納された1以上のチャネルそれぞれに対応する各放送番組データ毎に、その放送番組データに含まれる映像データ内の各フレームから人物の顔画像を抽出し、その抽出された顔画像を分析して特徴データを生成する。そして、特定シーン録画処理部２０７は、各フレームに対応する特徴データと照合用特徴データとを照合することによって、各放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出する。この検出された部分データがＨＤＤ１２１に保存される。
The specific scene
このように、ユーザによって入力されたキーワードで指定される人物に関する画像データ群を自動的にインターネット１から取得して当該人物の顔の特徴データを生成し、全チャネルの放送番組データの中から特徴データに合致する顔が出現するシーンを自動録画するという仕組みを用いることにより、電子番組表を検索して録画対象の放送番組を選択するという従来の手法に比し、入力されたキーワードで指定される人物が登場する放送番組を録画し損なう可能性を大幅に低減することが可能となる。また、特徴データに合致する顔が出現するシーンのみが録画されるので、例えば、ユーザによって例えばある歌手Ａの名前がキーワード入力された場合には、歌手Ａが出演する歌番組全体の中の歌手Ａの顔が登場するシーンのみを容易に録画することができる。
As described above, the image data group relating to the person specified by the keyword input by the user is automatically acquired from the
図４には、図３で説明した機能実行モジュール間の接続関係が示されている。 FIG. 4 shows the connection relationship between the function execution modules described in FIG.
ネットワーク検索処理部２０４によってインターネット１から取得された画像データ群は顔特徴分析部２０５に送られる。顔特徴分析部２０５は、顔画像処理モジュール１２８を制御して、各画像データから顔画像を検出して抜き出す処理を実行すると共に、抜き出した各顔画像を分析して特徴データを生成する処理を実行する。顔画像それぞれに対応する特徴データは特徴データ生成部２０６に送られ、そこで照合用特徴データが生成される。
The image data group acquired from the
キャッシュ付き全チャネル録画処理部２０１は、ＴＶチューナ１２３−１〜１２３−ｎにそれぞれ異なるチャネルの放送番組データを常時受信させる。ＴＶチューナ１２３−１〜１２３−ｎによって受信された放送番組データそれぞれはキャッシュ付き全チャネル録画処理部２０１によってバッファ５０１に保存される。バッファ５０１には1以上のチャネルそれぞれに対応する複数の記憶エリアが設けられている。各記憶エリアは、放送番組データを数分（例えば１分）分だけ録画可能なサイズを有している。各チャネルの放送番組データは、１分毎にバッファ５０１内の対応する記憶エリアに上書きされていく。
The all channel
特定シーン録画処理部２０７は照合処理部４０１と録画処理実行部４０２とを備えている。照合処理部４０１は、顔画像処理モジュール１２８を用いて、バッファ５０１に格納された各放送番組データ毎に顔画像の特徴データを生成し、そして、その特徴データと特徴データ生成部２０６によって生成された照合用特徴データとを照合することにより、照合用特徴データに類似する特徴を有する顔画像が出現するシーンをチャネル毎に検出する。録画処理実行部４０２は、照合処理部４０１によって照合用特徴データに類似する特徴を有する顔画像が出現するチャネルが検出された時、そのチャネルの放送番組データをＨＤＤ１２１に保存する録画処理を開始する。この場合、バッファ５０１に残っている数秒前の放送番組データも含めてＨＤＤ１２１に保存される。録画処理実行部４０２による録画処理は、照合用特徴データに類似する特徴を有する顔画像が出現しているシーンの間だけ実行される。
The specific scene
また、ＴＶアプリケーションプログラム１０１には、編集処理部６０１および検索処理部６０２も含まれている。編集処理部６０１は、録画済みの放送番組データの中で照合用特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データの開始点および終了点を示すインデックス情報を生成する。これにより、録画済みの放送番組データの中の特定のシーンのみを容易に再生することができる。検索処理部６０２は、録画済みの放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンを検索する処理、および録画済みの放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンを含む放送番組データを検索する処理を実行する。検索されたシーンまたは番組は再生処理部２０２によって再生することができる。
The
次に、図５のフローチャートを参照して、ＴＶアプリケーションプログラム１０１の制御の下にＣＰＵ１１１によって実行される特定シーン録画処理機能の手順を説明する。
Next, the procedure of the specific scene recording processing function executed by the
ここでは、現在放送中の多数の放送番組（コマーシャルも含む）の中からタレントＡが映っているシーンのみを自動検出して録画する場合を想定する。 Here, it is assumed that only a scene showing the talent A is automatically detected from a large number of broadcast programs (including commercials) currently being broadcast and recorded.
まず、ユーザによる入力部の操作により、特定シーン録画処理の対象とすべき人物を指定するキーワード(タレントＡの名前等)が入力される（ステップＳ１１）。ＣＰＵ１１１は、入力されたキーワードをキーワード記憶エリア３０１に保存する（ステップＳ１２）。そして、ＣＰＵ１１１は、入力されたキーワードで指定される人物(タレントＡ)に関する画像データ群をインターネット１から取得する（ステップＳ１３）。このステップＳ１３では、例えば、図６に示す手順がＣＰＵ１１１によって実行される。すなわち、ＣＰＵ１１１は、入力されたキーワード(タレントＡの名前等)を検索キーワードとして含む検索要求を検索サーバ３に送信し（ステップＳ２１）、検索キーワードにヒットした画像データ群（検索キーワードで指定されるタレントＡに関する画像群）のリストを示す検索結果（ＨＴＭＬファイル）を検索サーバ３から取得する（ステップＳ２２）。検索結果のＨＴＭＬファイルには、例えば、図７に示すように、複数の画像とその画像が掲載されているホームページのアドレス（ＵＲＬ）とが含まれている。ＣＰＵ１１１は、検索結果のＨＴＭＬファイルを参照して、各画像データを該当するＷＥＢサーバから取得する（ステップＳ２３）。
First, a keyword (such as the name of the talent A) that designates a person to be a target of a specific scene recording process is input by an operation of the input unit by the user (step S11). The
画像データの取得が終了すると、ＣＰＵ１１１は、取得された個々の画像データに対し、顔の部分（顔画像）を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール１２８と共同して実行する（図５のステップＳ１４）。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ（特徴量）が生成される。そして、ＣＰＵ１１１は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する（ステップＳ１５）。この場合、異常な値の特徴データについては平均値算出対象から除外される。顔画像サンプルとその特徴量との関係の例を図８に示す。同一の人物の顔画像サンプルそれぞれに対応する特徴量はある範囲内に収束するのに対し、同一の人物であっても極端に上向きまたは下向きの顔画像サンプルから得られる特徴量や、他の人物の顔画像サンプルから得られる特徴量は、他の顔画像サンプルの特徴量と大きく異なった異常な値となる。図８では、顔画像サンプル５に対応する特徴量Ｓ５と顔画像サンプル１０６に対応する特徴量Ｓ１０６が異常値として扱われ、これら異常値を除く他の顔画像サンプルそれぞれに対応する特徴量の平均値が、照合用特徴データとして生成される。
When the image data acquisition is completed, the
この後、ＣＰＵ１１１は、1以上のＴＶチューナ１２３−１から１２３−ｎにそれぞれ異なるチャンネルの放送番組データの受信を開始させ、そして1以上のチャンネルの放送番組データをそれぞれバッファ５０１に所定時間分格納するというキャッシュ付き全チャネル録画処理を開始する（ステップＳ１６）。
Thereafter, the
そして、ＣＰＵ１１１は、バッファ５０１に格納された各チャネルの放送番組データを顔画像処理モジュール１２８と共同して分析し、各放送番組データの中で照合用特徴データに類似する特徴を持つ顔画像が出現するシーンのみを録画するという特定シーン録画処理を実行する（ステップＳ１７）。ステップＳ１７では、例えば、図９に示す手順がＣＰＵ１１１によって実行される。すなわち、ＣＰＵ１１１は、キャッシュ付き全チャネル録画処理を開始した後（ステップＳ３１）、各チャネル毎に放送番組データの各フレームから人の顔を抽出し、その顔画像を分析して特徴データを生成する（ステップＳ３２）。この分析処理は、放送番組データの先頭フレームから順次実行される。
Then, the
そして、ＣＰＵ１１１は、各フレームの顔画像の特徴データと照合用特徴データとを比較する（ステップＳ３３）。たとえば、あるチャネルＸの放送番組データの映像データの中で、照合用特徴データに類似する特徴を有するフレームが検出されると（ステップＳ３４のＹＥＳ）、ＣＰＵ１１１は、当該チャネルＸの放送番組データの録画を開始する（ステップＳ２５）。このステップＳ２５では、バッファ５０１内に残っている当該チャネルＸの数秒前の放送番組データが最初にＨＤＤ１２１内の記憶領域にコピーされる。そして、コピーされたデータに後続するように、当該チャネルＸを受信中のチューナから出力される放送番組データがＨＤＤ１２１内の記憶領域に格納される。
Then, the
タレントＡの登場シーンが終了し、チャネルＸの放送番組データの中から照合用特徴データに類似する特徴を有するフレームが検出されなくなると（ステップＳ３４のＮＯ）、チャネルＸの放送番組データの録画は中断される（ステップＳ３６）。 When the appearance scene of the talent A ends and no frame having characteristics similar to the feature data for verification is detected from the broadcast program data of channel X (NO in step S34), the recording of the broadcast program data of channel X is performed. Interrupted (step S36).
以上の処理により、放送中の多数の放送番組データの中から、ユーザによって入力された人物名等のキーワードによって指定される人物が登場するシーンのみを容易に録画することが可能となる。したがって、時間がないユーザにとっては、キーワードを入力するという簡単な操作を行うのみで、キーワードで指定された人物が登場する各番組を自動録画でき、且つ当該人物が映るシーンのみを視聴することが可能となるという点で極めて有効である。 With the above processing, it is possible to easily record only a scene in which a person specified by a keyword such as a person name input by a user appears from a large number of broadcast program data being broadcast. Therefore, for a user who does not have time, it is possible to automatically record each program in which the person specified by the keyword appears, and to view only the scene in which the person appears, only by performing a simple operation of inputting the keyword. It is extremely effective in that it becomes possible.
また、通常、特定のタレントが登場するシーンのみを抜き出すためには、一度再生し、巻き戻し、そのシーンをマークし、編集するという操作を行う必要があり、また正確にシーンをマークすることは実際には極めて難しい。本実施形態では、このような操作を行うことなく、特定のタレント等の人物が登場するシーンのみを録画することができる。 Also, in general, in order to extract only the scene where a specific talent appears, it is necessary to perform the operations of playing once, rewinding, marking the scene, and editing, and marking the scene accurately Actually it is extremely difficult. In this embodiment, it is possible to record only a scene in which a person such as a specific talent appears without performing such an operation.
また、インターネット１から取得される膨大な数の画像データから顔特徴を分析するので、正確な分析を実行することができる。特に、顔の向きが異なる様々な顔画像から特徴データを生成することで、放送番組データ中に出現する目的の人物の顔とのヒット率の高い照合用特徴データを得ることが出来る。
In addition, since facial features are analyzed from an enormous number of image data acquired from the
なお、ここでは、全チャネルの放送番組データを同時に受信できるように全チャネル数に対応する個数のチューナを設ける場合を説明したが、例えば、ユーザによって予め指定された特定の２つまたは３つのチャネルを対象に特定シーン録画処理を実行する場合には、搭載すべきチューナの個数は２つまたは３つでよい。 Here, a case has been described where the number of tuners corresponding to the total number of channels is provided so that broadcast program data of all channels can be received simultaneously. For example, specific two or three channels specified in advance by the user When the specific scene recording process is executed on the target, the number of tuners to be mounted may be two or three.
次に、図１０を参照して、ＴＶアプリケーションプログラム１０１の機能構成の第２の例について説明する。
Next, a second example of the functional configuration of the
本例においては、ＴＶアプリケーションプログラム１０１は、録画済みの放送番組データの中から、ユーザによって入力された人物名等のキーワードによって指定される人物の顔が出現するシーンに対応する部分データを検出し、当該検出された部分データをチャプターとして設定する編集機能を実行する。
In this example, the
図１０のＴＶアプリケーションプログラム１０１においては、図３のキャッシュ付き全チャネル録画処理部２０１および特定シーン録画処理部２０７の代わりに、録画処理部６１１および編集処理部６０１が設けられている。他の構成は図３と同じである。
In the
録画処理部６１１は、ＴＶチューナ１２３−１〜１２３−ｎの１つにユーザによって指定されたチャネルの放送番組データを受信させ、その受信された放送番組データをＨＤＤ１２２に格納する録画処理を実行する。
The
編集処理部６０１は、図４で説明したように、録画済みの放送番組データの中で照合用特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データの開始点および終了点を示すインデックス情報を生成する処理する処理、または検出された部分データを切り出して記録する処理等を実行する。
As described with reference to FIG. 4, the
次に、図１１のフローチャートを参照して、ＴＶアプリケーションプログラム１０１の制御の下にＣＰＵ１１１によって実行される編集処理機能の手順を説明する。
Next, the procedure of the editing processing function executed by the
ここでは、録画された放送番組（コマーシャルも含む）の中からタレントＡが映っているシーンを自動検出し、当該シーンにインデックス付けを行う場合を想定する。 Here, it is assumed that a scene in which the talent A is shown is automatically detected from recorded broadcast programs (including commercials) and the scene is indexed.
まず、ユーザによる入力部の操作に応じて、ＣＰＵ１１１は、ＨＤＤ１２１に格納されている録画済みの放送番組データ群の中から編集対象の放送番組データを選択する（ステップＳ４１）。続いて、ユーザによる入力部の操作により、編集処理でチャプター設定の対象とすべき人物を指定するキーワード(タレントＡの名前等)が入力される（ステップＳ４２）。ＣＰＵ１１１は、入力されたキーワードをキーワード記憶エリア３０１に保存する（ステップＳ４３）。そして、ＣＰＵ１１１は、入力されたキーワードで指定される人物(タレントＡ)に関する画像データ群をインターネット１から取得する（ステップＳ４４）。このステップＳ４４では、図３のステップＳ１３で説明した手順が実行される。
First, according to the operation of the input unit by the user, the
画像データの取得が終了すると、ＣＰＵ１１１は、取得された個々の画像データに対し、顔の部分（顔画像）を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール１２８と共同して実行する（ステップＳ４５）。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ（特徴量）が生成される。そして、ＣＰＵ１１１は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する（ステップＳ４６）。この場合、異常な値の特徴データについては平均値算出対象から除外される。
When the image data acquisition is completed, the
この後、ＣＰＵ１１１は、選択された放送番組データを顔画像処理モジュール１２８と共同して分析し、その放送番組データの中で照合用特徴データに類似する特徴を持つ顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データの開始点および終了点を示すインデックス情報を生成する（ステップＳ４７）。このステップＳ４７では、ＣＰＵ１１１は、放送番組データの各フレームから人の顔を抽出し、その顔画像を分析して特徴データを生成する。この分析処理は、放送番組データの先頭フレームから順次実行される。そして、ＣＰＵ１１１は、各フレームの顔画像の特徴データと照合用特徴データとを比較する。照合用特徴データに類似する特徴を有する最初のフレームが検出されると、ＣＰＵ１１１は、当該フレームまたは当該フレームよりも数フレーム前のフレームを部分データの開始点として示すインデックス情報を生成する。そして、タレントＡの登場シーンが終了し、照合用特徴データに類似する特徴を有するフレームが検出されなくなると、ＣＰＵ１１１は、例えば、当該フレームの１フレームまたは数フレーム前のフレームを部分データの終了点として示すインデックス情報を生成する。これにより、図１２に示すように、タレントＡが登場する各シーンに対応する部分データがチャプター設定される。図１２においては、放送番組データ中にタレントＡが登場するシーンが２つあり、先頭のシーンに対応する部分データの開始点および終了点はインデックス情報Ｓ１，Ｅ１によって識別され、２番目のシーンに対応する部分データの開始点および終了点はインデックス情報Ｓ２，Ｅ２によって識別される。これにより、放送番組データの再生時には、最初に、インデックス情報Ｓ１，Ｅ１によって指定される部分データ（チャプタ１）を再生し、その再生終了時に、インデックス情報Ｓ２，Ｅ２によって指定される部分データ（チャプタ２）にスキップして、その再生をすることができる。
Thereafter, the
なお、このようなチャプター設定のみならず、図１４に示すように、インデックス情報Ｓ１，Ｅ１によって指定される部分データ（チャプタ１）と、インデックス情報Ｓ２，Ｅ２によって指定される部分データ（チャプタ２）とを切り出し、それらを結合することによって、新たな放送番組データを作成してもよい。 In addition to such chapter setting, as shown in FIG. 14, the partial data (chapter 1) specified by the index information S1, E1 and the partial data (chapter 2) specified by the index information S2, E2 New broadcast program data may be created by cutting out and combining them.
次に、図１４を参照して、ＴＶアプリケーションプログラム１０１の機能構成の第３の例について説明する。
Next, a third example of the functional configuration of the
本例においては、ＴＶアプリケーションプログラム１０１は、録画済みの放送番組データの中からユーザによって入力された人物名等のキーワードによって指定される人物の顔が出現するシーンに対応する部分データを検索する処理、または録画済みの放送番組データ群の中からユーザによって入力された人物名等のキーワードによって指定される人物の顔が出現するシーンを含む放送番組データを検索する処理を実行する。
In this example, the
図１４のＴＶアプリケーションプログラム１０１においては、図３のキャッシュ付き全チャネル録画処理部２０１および特定シーン録画処理部２０７の代わりに、録画処理部６１１および検索処理部６０２が設けられている。他の構成は図３と同じである。
In the
録画処理部６１１は、ＴＶチューナ１２３−１〜１２３−ｎの１つにユーザによって指定されたチャネルの放送番組データを受信させ、その受信された放送番組データをＨＤＤ１２２に格納する録画処理を実行する。
The
検索処理部６０２は、図４で説明したように、録画済みの放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンを検索する処理、および録画済みの放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンを含む放送番組データを検索する処理等を実行する。
As described with reference to FIG. 4, the
次に、図１５のフローチャートを参照して、ＴＶアプリケーションプログラム１０１の制御の下にＣＰＵ１１１によって実行される検索処理機能の手順を説明する。
Next, the procedure of the search processing function executed by the
ここでは、録画された放送番組の中からタレントＡが映っているシーンを検索する場合を想定する。 Here, it is assumed that a scene where the talent A is shown is searched from the recorded broadcast program.
まず、ユーザによる入力部の操作により、検索対象とすべき人物を指定するキーワード(タレントＡの名前等)が入力される（ステップＳ５１）。ＣＰＵ１１１は、入力されたキーワードをキーワード記憶エリア３０１に保存する（ステップＳ５２）。そして、ＣＰＵ１１１は、入力されたキーワードで指定される人物(タレントＡ)に関する画像データ群をインターネット１から取得する（ステップＳ５３）。このステップＳ５３では、図３のステップＳ１３で説明した手順が実行される。
First, a keyword (such as the name of the talent A) that designates a person to be searched is input by an operation of the input unit by the user (step S51). The
画像データの取得が終了すると、ＣＰＵ１１１は、取得された個々の画像データに対し、顔の部分（顔画像）を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール１２８と共同して実行する（ステップＳ５４）。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ（特徴量）が生成される。そして、ＣＰＵ１１１は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する（ステップＳ５５）。この場合、異常な値の特徴データについては平均値算出対象から除外される。
When the image data acquisition is completed, the
この後、ＣＰＵ１１１は、ユーザによって指定された検索対象の放送番組データを顔画像処理モジュール１２８と共同して分析し、その放送番組データの中から照合用特徴データに類似する特徴を持つ顔画像が出現するシーンを検索する（ステップＳ５６）。このステップＳ５６では、ＣＰＵ１１１は、検索対象の放送番組データの各フレームから人の顔を抽出し、その顔画像を分析して特徴データを生成する。この分析処理は、放送番組データの先頭フレームから順次実行される。そして、ＣＰＵ１１１は、各フレームの顔画像の特徴データと照合用特徴データとを比較することにより、照合用特徴データに類似する特徴を有するシーンに対応する部分データを検出する。検出された部分データは図４の再生処理部２０２によって再生される。
Thereafter, the
次に、図１６を参照して、ＴＶアプリケーションプログラム１０１の機能構成の第４の例について説明する。
Next, a fourth example of the functional configuration of the
本例においては、ＴＶアプリケーションプログラム１０１は、上述の特定シーン録画処理機能に加え、学習機能を備えている。この学習機能は、インターネット１から取得された画像データ群の中から分析対象から除外すべき画像データをユーザに指定させ、一旦指定された画像データについては、以降の特定シーン録画処理における画像分析処理の対象から自動的に除外する機能である。
In this example, the
図１６のＴＶアプリケーションプログラム１０１においては、図３の構成に加え、さらに学習処理部７０１が設けられている。
In addition to the configuration of FIG. 3, the
学習処理部７０１は、ネットワーク検索処理部２０４によって取得された画像データ群の中から分析対象から除外すべき画像データをユーザに選択させるための画面を表示する処理、およびユーザによって選択された画像データを識別するための識別情報を学習結果記憶エリア８０１に保存することによって、除外対象にすべき画像データを学習する処理等を実行する。顔特徴分析処理部４０５は、学習結果記憶エリア８０１に保存された識別情報によって指定された各画像データを、ネットワーク検索処理部２０４によって取得された画像データ群から取り除き、残りの画像データそれぞれから人物の顔画像を抽出する処理を実行する。
The
次に、図１７のフローチャートを参照して、ＴＶアプリケーションプログラム１０１の制御の下にＣＰＵ１１１によって実行される学習機能付き特定シーン録画処理機能の手順を説明する。
Next, the procedure of the specific scene recording processing function with a learning function executed by the
まず、ユーザによる入力部の操作により、特定シーン録画処理の対象とすべき人物を指定するキーワード(タレントＡの名前等)が入力される（ステップＳ６１）。ＣＰＵ１１１は、入力されたキーワードをキーワード記憶エリア３０１に保存する（ステップＳ６２）。そして、ＣＰＵ１１１は、入力されたキーワードで指定される人物(タレントＡ)に関する画像データ群をインターネット１から取得する（ステップＳ６３）。
First, a keyword (such as the name of the talent A) that designates a person who is to be a target of the specific scene recording process is input by an operation of the input unit by the user (step S61). The
画像データの取得が終了すると、ＣＰＵ１１１は、取得された画像データ群の中から、前回までの学習によって除外すべきことが既に指定されている画像データ（学習結果記憶エリア８０１に識別情報が保存されている画像データ）それぞれを取り除く（ステップＳ６４）。そして、ＣＰＵ１１１は、残りの画像データの一覧を示す画面を表示して、除外すべき画像を選択すべきことをユーザに促す（ステップＳ６５）。この後、ＣＰＵ１１１は、ユーザによって選択された画像データを除外対象の画像データとして新たに学習するために、当該選択された画像データを識別する識別情報（当該画像データを取得したホームページのＵＲＬや当該画像データのファイル名）を学習結果記憶エリア８０１に保存する（ステップＳ６６）。
When the acquisition of the image data is completed, the
この後、ＣＰＵ１１１は、ユーザによって選択された画像および前回までの学習によって除外すべきことが既に指定されている画像を除く、残りの個々の画像データに対し、顔の部分（顔画像）を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール１２８と共同して実行する（ステップＳ６７）。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ（特徴量）が生成される。そして、ＣＰＵ１１１は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する（ステップＳ６８）。この場合、異常な値の特徴データについては平均値算出対象から除外される。
Thereafter, the
この後、ＣＰＵ１１１は、1以上のＴＶチューナ１２３−１から１２３−ｎにそれぞれ異なるチャンネルの放送番組データの受信を開始させ、そして1以上のチャンネルの放送番組データをそれぞれバッファ５０１に所定時間分格納するというキャッシュ付き全チャネル録画処理を開始する（ステップＳ６９）。そして、ＣＰＵ１１１は、バッファ５０１に格納された各チャネルの放送番組データを顔画像処理モジュール１２８と共同して分析し、各放送番組データの中で照合用特徴データに類似する特徴を持つ顔画像が出現するシーンのみを録画するという特定シーン録画処理を実行する（ステップＳ７０）。
Thereafter, the
以上の学習機能により、より正確な照合用特徴データを生成することが可能となる。また、以上の学習機能は、上述の検索処理機能や編集処理機能にも適用することが出来る。 With the above learning function, more accurate feature data for matching can be generated. The above learning function can also be applied to the above-described search processing function and editing processing function.
次に、図１８を参照して、ＴＶアプリケーションプログラム１０１の機能構成の第５の例について説明する。
Next, a fifth example of the functional configuration of the
本例においては、ＴＶアプリケーションプログラム１０１は、ＨＤＤ１２１内に格納されている静止画群の中から特定の人物の顔を含む静止画を検索する機能を有している。
In this example, the
すなわち、図１８のＴＶアプリケーションプログラム１０１においては、図３のキーワード入力部２０３、ネットワーク検索処理部２０４、顔特徴分析処理部２０５、および特徴データ生成部２０６に加え、静止画検索処理部８０２を備えている。静止画検索処理部８０２は、静止画保存エリア８０３（例えばＨＤＤ１２１のような記憶領域）に格納されている静止画データ群の中から、照合用特徴データに類似する特徴を持つ顔画像を含む静止画データを検索する。
That is, the
次に、図１９のフローチャートを参照して、ＴＶアプリケーションプログラム１０１の制御の下にＣＰＵ１１１によって実行される静止画検索処理機能の手順を説明する。
Next, the procedure of the still image search processing function executed by the
ここでは、コンピュータ１０内に存在する静止画それぞれの中からタレントＡが映っている静止画を検索する場合を想定する。
Here, it is assumed that a still image in which the talent A is shown is retrieved from each of the still images existing in the
まず、ユーザによる入力部の操作により、検索対象とすべき人物を指定するキーワード(タレントＡの名前等)が入力される（ステップＳ８１）。ＣＰＵ１１１は、入力されたキーワードをキーワード記憶エリア３０１に保存する（ステップＳ８２）。そして、ＣＰＵ１１１は、入力されたキーワードで指定される人物(タレントＡ)に関する画像データ群をインターネット１から取得する（ステップＳ８３）。このステップＳ８３では、図３のステップＳ１３で説明した手順が実行される。
First, a keyword (such as the name of the talent A) that specifies a person to be searched is input by an operation of the input unit by the user (step S81). The
画像データの取得が終了すると、ＣＰＵ１１１は、取得された個々の画像データに対し、顔の部分（顔画像）を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール１２８と共同して実行する（ステップＳ８４）。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ（特徴量）が生成される。そして、ＣＰＵ１１１は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する（ステップＳ８５）。この場合、異常な値の特徴データについては平均値算出対象から除外される。
When the image data acquisition is completed, the
この後、ＣＰＵ１１１は、ユーザによって指定された検索対象の記憶領域内に存在する静止画データそれぞれを顔画像処理モジュール１２８と共同して分析し、その静止画データ群の中から照合用特徴データに類似する特徴を持つ顔画像が映った静止画データを検索する（ステップＳ８６）。このステップＳ８６では、ＣＰＵ１１１は、検索対象の各静止画データから人の顔を抽出し、その顔画像を分析して特徴データを生成する。そして、ＣＰＵ１１１は、各静止画データの顔画像の特徴データと照合用特徴データとを比較することにより、照合用特徴データに類似する特徴を有する顔画像が映った静止画データを検索する。検索された静止画データは図４の再生処理部２０２によって再生される。
Thereafter, the
以上の静止画検索機能は、静止画を含むことが格納な各種文書ファィル（ＨＴＭＬファイル、ＰＤＦファイル等）を対象に実行することもできる。これにより、ユーザは、人物を指定するキーワードを入力するだけで、その人物の顔を含む静止画を容易に参照することができる。 The above still image search function can also be executed on various document files (HTML files, PDF files, etc.) that contain still images. Thus, the user can easily refer to a still image including the face of the person only by inputting a keyword specifying the person.
次に、図２０を参照して、ＴＶアプリケーションプログラム１０１の機能構成の第６の例について説明する。
Next, a sixth example of the functional configuration of the
本例においては、ＴＶアプリケーションプログラム１０１は、録画済みの放送番組データ、他の動画像データ、および静止画像データといった様々な画像データの中から、ユーザによって入力された商品名、ブランド名、メーカ名、等のキーワードによって指定される物品（場所も含む）の映像（例えば、商品名、ブランド名を示すロゴ等の文字列を含む映像）を含む画像データを検索する処理を実行する。
In this example, the
図２０のＴＶアプリケーションプログラム１０１においては、図３のキャッシュ付き全チャネル録画処理部２０１、顔特徴分析処理部２０５、特徴データ生成部２０６および特定シーン録画処理部２０７の代わりに、録画処理部６１１、特徴分析処理部９０１、文字列特徴データ生成部９０２、および検索処理部９０３が設けられている。他の構成は図３と同じである。
In the
録画処理部６１１は、ＴＶチューナ１２３−１〜１２３−ｎの１つにユーザによって指定されたチャネルの放送番組データを受信させ、その受信された放送番組データをＨＤＤ１２２に格納する録画処理を実行する。
The
特徴分析処理部９０１は、ネットワーク検索処理部２０４によって得られた画像データ等を対象に、当該画像データから文字列を示す画像（文字列画像）を抽出し、その文字列画像の特徴を分析することによって、文字列画像の特徴を示す特徴データを生成する。特徴データとしては、例えば、文字列内の文字それぞれの形状の特徴を示す値を用いることが出来る。文字列特徴データ生成部９０２は、例えば、複数の文字列画像それぞれに対応する特徴データの値を文字毎に平均して、照合用特徴データを生成する。検索処理部９０３は、ＨＤＤ１２１に格納されている様々な画像データ群の中から、照合用特徴データと類似する特徴を有する文字列画像を含む画像データを検索する。
The feature
次に、図２１のフローチャートを参照して、ＴＶアプリケーションプログラム１０１の制御の下にＣＰＵ１１１によって実行される検索処理機能の手順を説明する。
Next, the procedure of the search processing function executed by the
ここでは、ＨＤＤ１２１に格納されている様々な画像データ群の中から、あるロゴＡが映っている画像データを検索する場合を想定する。
Here, it is assumed that image data in which a certain logo A appears is retrieved from various image data groups stored in the
まず、ユーザによる入力部の操作により、検索対象とすべき物品に関するロゴＡを指定するキーワード(ロゴＡを示す文字列)が入力される。ＣＰＵ１１１は、入力されたキーワードをキーワード記憶エリア３０１に保存する。そして、ＣＰＵ１１１は、入力されたキーワード（文字列）に関する画像データ群をインターネット１から取得する。画像データの取得が終了すると、ＣＰＵ１１１は、取得された個々の画像データに対し、文字列画像の部分を抜き出してその文字列画像の特徴を分析する処理を実行する。そして、ＣＰＵ１１１は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する。
First, a keyword (a character string indicating the logo A) that specifies the logo A related to the article to be searched is input by the operation of the input unit by the user. The
この後、ＣＰＵ１１１は、1以上のＴＶチューナ１２３−１から１２３−ｎにそれぞれ異なるチャンネルの放送番組データの受信を開始させ、そして1以上のチャンネルの放送番組データをそれぞれバッファ５０１に所定時間分格納するというキャッシュ付き全チャネル録画処理を開始する。そして、ＣＰＵ１１１は、バッファ５０１に格納された各チャネルの放送番組データを分析し、各放送番組データの中で照合用特徴データに類似する特徴を持つ文字列画像が出現するシーンのみを録画するという特定シーン録画処理を実行する。この特定シーン録画処理では、バッファに格納されている各チャネル毎に放送番組データの各フレームから文字列画像を抽出し、その文字列画像を分析して特徴データを生成する。この分析処理は、放送番組データの先頭フレームから順次実行される。そして、ＣＰＵ１１１は、各フレームの文字列画像の特徴データと照合用特徴データとを比較する。たとえば、あるチャネルＸの放送番組データの映像データの中で、照合用特徴データに類似する特徴を有するフレームが検出されると、ＣＰＵ１１１は、当該チャネルＸの放送番組データの録画を開始する。類似する文字列画像の登場シーンが終了し、チャネルＸの放送番組データの中から照合用特徴データに類似する特徴を有する文字列画像が検出されなくなると、チャネルＸの放送番組データの録画は中断される。
Thereafter, the
以上のように、本実施形態によれば、ユーザによって入力されたキーワードに関する画像データ群をインターネット１から自動的に取得して特徴データを生成することにより、ユーザ自身が画像の登録操作等を行うことなく、放送番組データの中の特定シーンのみを録画する処理等を容易に実行することが可能となる。
As described above, according to the present embodiment, the image data group relating to the keyword input by the user is automatically acquired from the
また、本実施形態の処理手順は全てプログラムによって実現することができるので、このプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を容易に実現することができる。 In addition, since all the processing procedures of the present embodiment can be realized by a program, the same effects as those of the present embodiment can be easily realized simply by introducing the program to a normal computer through a computer-readable storage medium. be able to.
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。 Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.
３…検索サーバ、１０１…ＴＶアプリケーションプログラム、１１１…ＣＰＵ、１２３−１〜１２３−ｎ…ＴＶチューナ、２０１…キャッシュ付き全チャネル録画処理部、２０２…再生処理部、２０３…キーワード入力部２０３、２０４…ネットワーク検索処理部、２０５…顔特徴分析部、２０６…特徴データ生成部、２０７…特定シーン録画処理部。
DESCRIPTION OF
Claims (9)
通信部と、
前記入力部によって入力された人物名を検索キーワードとして含む検索要求を前記通信部を介してインターネット上の所定の検索サーバに送信することにより、前記人物名によって指定される人物に関する１以上の画像データを前記インターネット上から取得する画像取得手段と、
前記取得された画像データ中の顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成する画像分析手段と、
互いに異なるチャネルの1以上の放送番組データをそれぞれ受信する1以上のチューナ部と、
前記の1以上のチューナ部によって受信される1以上の放送番組データの各々の中で前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データを保存する録画処理手段とを具備することを特徴とする電子機器。 An input section;
A communication department;
One or more pieces of image data relating to the person specified by the person name by transmitting a search request including the person name input by the input unit as a search keyword to a predetermined search server on the Internet via the communication unit. Image acquisition means for acquiring from the Internet;
Image analysis means for generating feature data indicating the characteristics of the face of the person specified by the person name from the face image in the acquired image data;
One or more tuner units respectively receiving one or more broadcast program data of different channels;
Partial data corresponding to a scene in which a face image having a feature similar to the feature data appears in each of the one or more broadcast program data received by the one or more tuner units is detected. An electronic apparatus comprising recording processing means for storing partial data.
前記ユーザによって選択された画像データを識別するための識別情報を保存することによって、前記除外対象にすべき画像データを学習する学習手段とをさらに具備し、
前記画像分析手段は、前記学習手段によって学習された各画像データを前記取得された画像データ群から取り除き、残りの画像データそれぞれから人物の顔画像を抽出することを特徴とする請求項１記載の電子機器。 Means for displaying a screen for allowing the user to select image data to be excluded from the analysis target by the image analysis means from among the acquired image data group;
Learning means for learning image data to be excluded by storing identification information for identifying image data selected by the user;
2. The image analysis unit according to claim 1, wherein each of the image data learned by the learning unit is removed from the acquired image data group, and a human face image is extracted from each of the remaining image data. Electronics.
前記受信された各放送番組データに含まれる映像データ内の各フレーム中の人物の顔画像から、前記人物の顔の特徴を示す特徴データを生成する手段と、
前記各フレームに対応する特徴データと前記画像分析手段によって得られた特徴データとを照合することによって、前記受信された各放送番組データの中で前記画像分析手段によって得られた前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出する手段とを含むことを特徴とする請求項１記載の電子機器。 The recording processing means includes
Means for generating feature data indicating a feature of the person's face from a face image of the person in each frame in the video data included in each received broadcast program data;
Similar to the feature data obtained by the image analysis means in the received broadcast program data by collating the feature data corresponding to each frame with the feature data obtained by the image analysis means 2. The electronic device according to claim 1, further comprising: means for detecting partial data corresponding to a scene in which a face image having the characteristics described above appears.
前記記憶装置に格納されている放送番組データ群の中から前記特徴データに類似する特徴を有する顔画像が出現するシーンを含む放送番組データを検索する検索手段とをさらに具備することを特徴とする請求項１記載の電子機器。 Recording processing means for controlling one of the one or more tuner units to execute recording processing for storing predetermined broadcast program data in a recording medium;
Search means for searching for broadcast program data including a scene in which a face image having a feature similar to the feature data appears from the broadcast program data group stored in the storage device is further provided. The electronic device according to claim 1.
通信部と、
前記入力部によって入力された人物名を検索キーワードとして含む検索要求を前記通信部を介してインターネット上の検索サーバに送信することにより、前記人物名によって指定される人物に関する１以上の画像データを前記インターネット上から取得する画像取得手段と、
前記取得された画像データの顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成する画像分析手段と、
放送番組データを受信するチューナ部と、
前記チューナ部を制御して、所定の放送番組データを記録媒体に格納する録画処理を実行する録画処理手段と、
前記録画処理手段によって録画された放送番組データの中で前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データの開始点および終了点を示すインデックス情報を生成する手段とを具備することを特徴とする電子機器。 An input section;
A communication department;
By transmitting a search request including the person name input by the input unit as a search keyword to a search server on the Internet via the communication unit, one or more image data relating to the person specified by the person name is Image acquisition means for acquiring from the Internet;
Image analysis means for generating feature data indicating the characteristics of the face of the person specified by the person name from the face image of the acquired image data;
A tuner unit for receiving broadcast program data;
Recording processing means for controlling the tuner unit and executing recording processing for storing predetermined broadcast program data in a recording medium;
In the broadcast program data recorded by the recording processing means, partial data corresponding to a scene in which a face image having characteristics similar to the characteristic data appears is detected, and the start point and end point of the detected partial data An electronic device comprising: means for generating index information indicating
通信部と、
前記入力部によって入力された人物名を検索キーワードとして含む検索要求を前記通信部を介してインターネット上の検索サーバに送信することにより、前記人物名によって指定される人物に関する１以上の画像データを前記インターネット上から取得する画像取得手段と、
前記取得された画像データの顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成する画像分析手段と、
放送番組データを受信するチューナ部と、
前記チューナ部を制御して、所定の放送番組データを記録媒体に格納する録画処理を実行する録画処理手段と、
前記録画処理手段によって録画された放送番組データの中で前記特徴データに類似する特徴を有する顔画像が出現するシーンを検索する検索手段とを具備することを特徴とする電子機器。 An input section;
A communication department;
By transmitting a search request including the person name input by the input unit as a search keyword to a search server on the Internet via the communication unit, one or more image data relating to the person specified by the person name is Image acquisition means for acquiring from the Internet;
Image analysis means for generating feature data indicating the characteristics of the face of the person specified by the person name from the face image of the acquired image data;
A tuner unit for receiving broadcast program data;
Recording processing means for controlling the tuner unit and executing recording processing for storing predetermined broadcast program data in a recording medium;
An electronic apparatus comprising: search means for searching for a scene in which a face image having characteristics similar to the characteristic data appears in the broadcast program data recorded by the recording processing means.
前記電子機器の入力部から入力された人物名を検索キーワードとして含む検索要求を前記電子機器に設けられた通信部を介してインターネット上の所定の検索サーバに送信することにより、前記人物名によって指定される人物に関する画像データそれぞれを前記インターネット上から取得するステップと、
前記取得された画像データの顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成するステップと、
前記電子機器に設けられたの1以上のチューナ部によって受信される互いに異なるチャネルの1以上の放送番組データの各々の中で前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データを保存するステップとを具備することを特徴とする録画制御方法。 A recording control method for controlling a recording process of broadcast program data executed by an electronic device,
Designated by the person name by transmitting a search request including a person name input from the input unit of the electronic device as a search keyword to a predetermined search server on the Internet via a communication unit provided in the electronic device. Obtaining each image data relating to the person to be performed from the Internet;
Generating feature data indicating the characteristics of the face of the person specified by the person name from the face image of the acquired image data;
Corresponding to a scene in which a face image having a feature similar to the feature data appears in each of one or more broadcast program data of different channels received by one or more tuner units provided in the electronic device And a step of detecting the partial data and storing the detected partial data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007103128A JP5091529B2 (en) | 2007-04-10 | 2007-04-10 | Electronic device and recording control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007103128A JP5091529B2 (en) | 2007-04-10 | 2007-04-10 | Electronic device and recording control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008263305A true JP2008263305A (en) | 2008-10-30 |
| JP5091529B2 JP5091529B2 (en) | 2012-12-05 |
Family
ID=39985492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007103128A Active JP5091529B2 (en) | 2007-04-10 | 2007-04-10 | Electronic device and recording control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5091529B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009119063A1 (en) * | 2008-03-24 | 2009-10-01 | パナソニック株式会社 | Program information display device and program information display method |
| JP2010072708A (en) * | 2008-09-16 | 2010-04-02 | Kddi Corp | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium |
| JP2012054638A (en) * | 2010-08-31 | 2012-03-15 | Canon Inc | Broadcast reception apparatus, method of controlling broadcast reception apparatus, and computer program |
| WO2022013949A1 (en) * | 2020-07-14 | 2022-01-20 | 三菱電機株式会社 | Temperature measurement device, terminal device, and temperature measurement method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10232934A (en) * | 1997-02-18 | 1998-09-02 | Toshiba Corp | Face image registering device and its method |
| JP2002314932A (en) * | 2001-04-13 | 2002-10-25 | Hitachi Ltd | Recording and reproducing apparatus |
| JP2006101324A (en) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | Recording and reproducing apparatus and method |
-
2007
- 2007-04-10 JP JP2007103128A patent/JP5091529B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10232934A (en) * | 1997-02-18 | 1998-09-02 | Toshiba Corp | Face image registering device and its method |
| JP2002314932A (en) * | 2001-04-13 | 2002-10-25 | Hitachi Ltd | Recording and reproducing apparatus |
| JP2006101324A (en) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | Recording and reproducing apparatus and method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009119063A1 (en) * | 2008-03-24 | 2009-10-01 | パナソニック株式会社 | Program information display device and program information display method |
| JP2010072708A (en) * | 2008-09-16 | 2010-04-02 | Kddi Corp | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium |
| JP2012054638A (en) * | 2010-08-31 | 2012-03-15 | Canon Inc | Broadcast reception apparatus, method of controlling broadcast reception apparatus, and computer program |
| WO2022013949A1 (en) * | 2020-07-14 | 2022-01-20 | 三菱電機株式会社 | Temperature measurement device, terminal device, and temperature measurement method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5091529B2 (en) | 2012-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10192583B2 (en) | Video editing using contextual data and content discovery using clusters | |
| US20090190804A1 (en) | Electronic apparatus and image processing method | |
| US7487524B2 (en) | Method and apparatus for presenting content of images | |
| US8335354B2 (en) | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium | |
| CN106971009B (en) | Voice database generation method and device, storage medium and electronic equipment | |
| US7844140B2 (en) | Image processing apparatus, image processing method, and server and control method of the same | |
| CN101989173A (en) | Image editing apparatus, image editing method and program | |
| KR20060128022A (en) | Automated system and method for conducting usability testing | |
| US20170140226A1 (en) | Apparatus and method for identifying a still image contained in moving image contents | |
| WO2005098683A3 (en) | Techniques for management and generation of web forms | |
| JP2006155384A (en) | Video comment input/display method and device, program, and storage medium with program stored | |
| CN109299290A (en) | Knowledge graph-based score recommendation method and electronic equipment | |
| JP4396262B2 (en) | Information processing apparatus, information processing method, and computer program | |
| JP5091529B2 (en) | Electronic device and recording control method | |
| JP5243366B2 (en) | Video summarization method and video summarization program | |
| CN113688260A (en) | Video recommendation method and device | |
| CN109587562A (en) | A kind of content classification control method, intelligent terminal and storage medium that program plays | |
| JP2007124368A (en) | Segment metadata creation device and method | |
| CN106936830A (en) | Multimedia data playing method and device | |
| CN114640884B (en) | Online video playing quality analysis method, system and computer storage medium | |
| JP2010233143A (en) | Device for recording/reproducing video and program for searching contents | |
| WO2021142607A1 (en) | Vehicle diagnosis process playback method, apparatus, and readable storage medium | |
| JP5884805B2 (en) | Information processing apparatus and program | |
| WO2011161820A1 (en) | Video processing device, video processing method and video processing program | |
| JP3931890B2 (en) | Video search method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120511 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120914 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5091529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |