JP2008263305A - Electronic apparatus and video recording control method - Google Patents
Electronic apparatus and video recording control method Download PDFInfo
- Publication number
- JP2008263305A JP2008263305A JP2007103128A JP2007103128A JP2008263305A JP 2008263305 A JP2008263305 A JP 2008263305A JP 2007103128 A JP2007103128 A JP 2007103128A JP 2007103128 A JP2007103128 A JP 2007103128A JP 2008263305 A JP2008263305 A JP 2008263305A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- feature
- broadcast program
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は放送番組データを受信する機能を有する電子機器および同装置に適用される録画制御方法に関する。 The present invention relates to an electronic apparatus having a function of receiving broadcast program data and a recording control method applied to the apparatus.
一般に、ハードディスクレコーダーのような録画装置においては、多数の放送番組の中からユーザの嗜好に合った放送番組を録画対象として選択するための機能が設けられている。代表的な機能としては、例えば、好きなタレントの名前等をキーワードとして登録しておき、電子番組表に放送番組毎に掲載されている登場者情報を参照して、キーワードにマッチする放送番組を録画対象として選択するという機能が知られている。 In general, a recording device such as a hard disk recorder has a function for selecting a broadcast program that suits the user's preference from among a large number of broadcast programs as a recording target. As a typical function, for example, the name of a favorite talent or the like is registered as a keyword, and the broadcast program that matches the keyword is referred to by referring to the appearance information posted for each broadcast program in the electronic program guide. A function of selecting as a recording target is known.
しかし、電子番組表内に全ての登場者の情報が記述されているとは限らないので、キーワードで指定されたタレントが登場する放送番組を録画し損なう可能性がある。 However, since the information of all the participants is not always described in the electronic program guide, there is a possibility of failing to record the broadcast program in which the talent specified by the keyword appears.
また、ユーザによって予め特定の人物等の画像を登録しておき、この登録画像と記録中または記録済みの放送番組に登場する人物の画像とを照合して、録画を行う方法も提案されている(例えば、特許文献1参照。)。
しかし、ユーザがいちいち画像を入手して登録するという仕組みでは、多くの手間がかかることとなる。またユーザが入手可能な画像は限られたものとなるので、このような画像から照合用の特徴データを精度良く生成することは実際上困難である。 However, a mechanism in which a user obtains and registers images one by one requires a lot of trouble. Further, since the images available to the user are limited, it is practically difficult to accurately generate the feature data for verification from such images.
また、従来では、キーワードや登録画像にマッチする放送番組データ全体が録画されてしまうため、例えば好きなタレント等の登場するシーンだけを視聴するためには、録画された放送番組データに対して特別な編集操作を施す必要がある。 Conventionally, since the entire broadcast program data that matches the keyword or registered image is recorded, for example, in order to view only the scene where the favorite talent appears, the recorded broadcast program data is special. Edit operations must be performed.
本発明は上述の事情を考慮してなされたものであり、ユーザ自身が画像を登録することなく、各放送番組データ内で目的の人物が登場するシーンを容易に視聴することが可能な電子機器および録画制御方法を提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and an electronic apparatus that allows a user to easily view a scene in which a target person appears in each broadcast program data without registering an image by himself / herself. An object of the present invention is to provide a recording control method.
上述の課題を解決するため、本発明の電子機器は、入力部と、通信部と、前記入力部によって入力された人物名を検索キーワードとして含む検索要求を前記通信部を介してインターネット上の所定の検索サーバに送信することにより、前記人物名によって指定される人物に関する1以上の画像データを前記インターネット上から取得する画像取得手段と、前記取得された画像データ中の顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成する画像分析手段と、互いに異なるチャネルの1以上の放送番組データをそれぞれ受信する1以上のチューナ部と、前記の1以上のチューナ部によって受信される1以上の放送番組データの各々の中で前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データを保存する録画処理手段とを具備することを特徴とする。 In order to solve the above-described problem, an electronic device according to the present invention includes an input unit, a communication unit, and a search request including a person name input by the input unit as a search keyword via the communication unit. The image acquisition means for acquiring one or more image data relating to the person specified by the person name from the Internet, and the person name from the face image in the acquired image data Image analysis means for generating feature data indicating the characteristics of the face of a person specified by one or more, one or more tuner units respectively receiving one or more broadcast program data of different channels, and the one or more tuner units A portion corresponding to a scene in which a face image having a feature similar to the feature data appears in each of one or more broadcast program data received And recording processing means for detecting minute data and storing the detected partial data.
本発明によれば、ユーザ自身が画像を登録することなく、各放送番組データ内で目的の人物が登場するシーンを容易に視聴することが可能となる。 According to the present invention, it is possible to easily view a scene in which a target person appears in each broadcast program data without the user himself / herself registering an image.
以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本発明の一実施形態に係る電子機器の構成を説明する。この電子機器は、例えば、ノートブック型の携帯型パーソナルコンピュータ10から実現されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, with reference to FIG. 1 and FIG. 2, the structure of the electronic device which concerns on one Embodiment of this invention is demonstrated. This electronic device is realized by, for example, a notebook portable
このコンピュータ10は、放送信号によって放送される放送番組データの再生および録画を実行するTV機能を有している。TV機能には、現在放送中の各放送番組データの中から目的の人物が登場するシーンのみを録画するという特定シーン録画処理機能が含まれている。この特定シーン録画処理機能は、目的の人物の顔の特徴を示す特徴データを生成し、放送番組データの中で、生成された特徴データと類似する特徴を有する顔画像が出現するシーンのみを録画することによって実行される。この場合、特徴データの生成には、インターネット1上から取得された画像データ群が使用される。すなわち、コンピュータ10は、ユーザによって入力された人物名(例えばタレント名)を検索キーワードとして含む検索要求をインターネット1上の検索サーバ3に送信することにより、入力された人物名によって指定される人物に関する画像データそれぞれをインターネット1上から取得する。そして、コンピュータ10は、画像データそれぞれから特徴データを自動生成する。
The
検索サーバ3はいわゆる検索サイトとして機能するサーバであり、イメージ検索機能を有している。このイメージ検索機能は、インターネット1上の多数のWEBサーバ2それぞれによって提供されているホームページ群の中から、検索キーワードに合致する画像データを検索する機能である。このイメージ検索は、例えば、ホームページを構成するHTMLファイル中の文字列(画像データに関する、説明、画像名などの文字列)等を分析することによって実行される。
The
このように、インターネット1から目的の人物に関する多数の画像データ群を取得し、それら画像データ群から目的の人物の顔の特徴を示す特徴データを生成することにより、ユーザ自身が画像を入手することなく、目的の人物が登場するシーンのみを容易に録画することができる。 As described above, the user himself / herself obtains an image by acquiring a large number of image data groups related to the target person from the Internet 1 and generating feature data indicating the characteristics of the face of the target person from the image data group. In addition, it is possible to easily record only the scene where the target person appears.
本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。コンピュータ本体11の上面にはキーボード13、本コンピュータ10を電源オン/オフするためのパワーボタン14、入力操作パネル15、およびタッチパッド16などが配置されている。また、コンピュータ本体11の正面には、本コンピュータ10のTV機能を遠隔制御する外部のリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部20が設けられている。リモコンユニットインタフェース部20は、例えば、赤外線信号受信部などから構成されている。
The
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。
Next, the system configuration of the
本コンピュータ10は、図2に示されているように、CPU111、ノースブリッジ112、メインメモリ113、グラフィクスコントローラ114、サウスブリッジ119、BIOS−ROM120、ハードディスクドライブ(HDD)121、光ディスクドライブ(ODD)122、1以上のTVチューナ123−1〜123−n、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)124、ネットワークコントローラ125A、無線通信デバイス125B、および顔画像処理モジュール128等を備えている。
As shown in FIG. 2, the
CPU111は本コンピュータ10の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ(HDD)121からメインメモリ113にロードされる、オペレーティングシステム、およびTVアプリケーションプログラム101のような各種アプリケーションプログラムを実行する。TVアプリケーションプログラム101は放送番組データの再生および録画を制御するプログラムであり、1以上のTVチューナ123−1〜123−nを制御して、放送信号によって放送される放送番組データ(TV放送番組)の再生および録画(予約録画を含む)を制御する。また、TVアプリケーションプログラム101は、上述の特定シーン録画処理機能等も有している。
The
また、CPU111は、BIOS−ROM120に格納されたBIOS(Basic Input Output System)も実行する。
The
ノースブリッジ112はCPU111のローカルバスとサウスブリッジ119との間を接続するブリッジデバイスである。ノースブリッジ112には、メインメモリ113をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ112は、AGP(Accelerated Graphics Port)バスなどを介してグラフィクスコントローラ114との通信を実行する機能も有している。
The
グラフィクスコントローラ114は本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラであり、ビデオメモリ(VRAM)114Aに書き込まれたデータからLCD17に表示するための表示信号を生成する。サウスブリッジ119は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ119は、HDD121、ODD122を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。
The
1以上のTVチューナ123−1〜123−nは、放送信号によって放送される放送番組データをそれぞれ受信するチューナ部である。これら1以上のTVチューナ123−1〜123−nにより、1以上のチャネル(例えば日本で受信可能な地上アナログ/地上デジタル放送の全てのチャネル)それぞれの放送番組データを同時に受信することができる。上述の特定シーン録画処理機能の実行時には、TVチューナ123−1〜123−nは、互いに異なるチャネルの1以上の放送番組データをそれぞれ受信する。TVチューナ123−1〜123−nの各々は、アナログ放送信号によって放送される放送番組データを受信するアナログTVチューナ、地上波デジタル放送信号によって放送される放送番組データを受信するデジタルTVチューナのどちらであってもよい。 The one or more TV tuners 123-1 to 123-n are tuner units that respectively receive broadcast program data broadcast by broadcast signals. The one or more TV tuners 123-1 to 123-n can simultaneously receive broadcast program data of one or more channels (for example, all channels of terrestrial analog / digital terrestrial broadcasting that can be received in Japan). When executing the specific scene recording processing function described above, the TV tuners 123-1 to 123-n respectively receive one or more broadcast program data of different channels. Each of the TV tuners 123-1 to 123-n is either an analog TV tuner that receives broadcast program data broadcast by analog broadcast signals or a digital TV tuner that receives broadcast program data broadcast by terrestrial digital broadcast signals. It may be.
EC/KBC124は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された、1チップマイクロコンピュータである。EC/KBC124は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。本コンピュータ10の各コンポーネントに供給される動作電源は、本コンピュータ10に内蔵されたバッテリ126、またはACアダプタ127を介して外部から供給される外部電源から生成される。また、EC/KBC124はリモコンユニットインタフェース部20にも接続されている。
The EC / KBC 124 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard (KB) 13 and the
TVアプリケーションプログラム101の制御は、ユーザによる、キーボード(KB)13、タッチパッド(マウス)16のような入力部の操作のみならず、外部のリモコンユニットの操作によっても実行することができる。
The control of the
ネットワークコントローラ125Aは有線ネットワークに接続するためのデバイスであり、インターネット1との通信を実行するための通信部として機能する。また、無線通信デバイス125Bは無線ネットワークに接続するためのデバイスである。この無線通信デバイス125Bも、インターネット1との通信を実行するための通信部として機能することが出来る。 The network controller 125A is a device for connecting to a wired network, and functions as a communication unit for executing communication with the Internet 1. The wireless communication device 125B is a device for connecting to a wireless network. The wireless communication device 125B can also function as a communication unit for executing communication with the Internet 1.
顔画像処理モジュール128は顔検出処理および顔画像分析処理等を実行するためのLSIであり、TVアプリケーションプログラム101の制御の下、静止画や動画像のような画像データから人の顔を検出して取り出し、その顔画像の特徴を分析する処理を実行する。
The face
次に、図3を参照して、TVアプリケーションプログラム101の機能構成の第1の例について説明する。
Next, a first example of the functional configuration of the
TVアプリケーションプログラム101は上述の特定シーン録画処理機能を実行するために、キャッシュ付き全チャネル録画処理部201、再生処理部202、キーワード入力部203、ネットワーク検索処理部204、顔特徴分析部205、特徴データ生成部206、および特定シーン録画処理部207等を機能実行モジュールとして備えている。
In order to execute the specific scene recording processing function described above, the
キャッシュ付き全チャネル録画処理部201は、1以上のTVチューナ123−1〜123−nを制御し、TVチューナ123−1〜123−nによって同時に受信される1以上のチャネルそれぞれの放送番組データをそれぞれ所定時間分だけバッファに格納する処理を実行する。再生処理部202は、特定シーン録画処理機能等によって録画された放送番組データを再生する。キーワード入力部202はキーワード入力画面を表示し、ユーザによる入力部(キーボード、マウス、リモコンユニット等)の操作に応じて当該入力部からキーワード入力画面上に入力される人物名等のキーワードを取得する。入力部から入力されたキーワードはキーワード記憶エリア301に格納される。
The all channel
ネットワーク検索処理部204は、キーワード記憶エリア301からキーワード(人物名)を読み出し、そのキーワード(人物名)を検索キーワードとして含む検索要求を生成する。そして、ネットワーク検索処理部204は、その検索要求を、ネットワークコントローラ125A、無線通信デバイス125Bといった通信部を介してインターネット1上の検索サーバ3に送信することにより、入力されたキーワード(人物名)によって指定される人物に関する画像データ(例えば静止画)それぞれをインターネット1上から取得する。通常は、タレントなどの著名人を指定する検索キーワードに対しては、数百から数千の画像データがヒットし、それら全ての画像データを取得することができる。
The network
顔特徴分析部205および特徴データ生成部206は画像分析部として機能し、ネットワーク検索処理部204によって取得された画像データそれぞれから人物の顔画像を抽出すると共にその抽出された顔画像それぞれを分析して、ユーザによって入力された人物名によって指定された人物の顔の特徴を示す特徴データを生成する。すなわち、顔特徴分析部205は、顔画像処理モジュール128を使用して、各画像データ内から顔画像を抽出するための顔検出処理、および抽出された顔画像の特徴を分析して特徴データを生成する顔画像分析処理を実行する。顔画像の特徴を示す特徴データとしては、例えば、目、鼻、口などの複数の特徴点間の相対的な距離関係および複数の特徴点間の相対的な大きさの関係等を示す値、等を用いることができる。
The face
特徴データ生成部206は、顔特徴分析部205によって得られた顔画像それぞれの特徴を示す複数の特徴データを統合してそれら特徴データを統計的に処理し、統計的に処理することによって得られる値を照合用の特徴データとして生成する。この場合、特徴データ生成部206は、例えば、複数の特徴データの平均値を算出し、この平均値を、ある人物の顔の特徴を示す特徴推定値つまり照合用の特徴データとして生成する。インターネット1から取得された画像データそれぞれに含まれる顔画像毎に目的の人物の顔の向きも異なるので、複数の顔画像それぞれに対応する複数の特徴データを統計的に処理することによって、例えば複数の顔画像それぞれに対応する複数の特徴データの平均値を算出することによって、様々な顔の向きを考慮した状態で、照合用の特徴データを生成することが可能となる。また、顔画像それぞれの特徴を示す複数の特徴データの中で特異な値(他の特徴データの値に比し大きく異なる異常値)を持つ特徴データを最初に検出し、検出された特徴データを除く他の特徴データを統計的に処理し、統計的に処理することによって得られる値、例えば検出された特徴データを除く他の特徴データ間の平均値を、照合用の特徴データとして算出するようにしてもよい。インターネット1から取得された画像データの中には、目的の人物とは異なる他の人物の顔画像を含む画像データが含まれる場合や、また極端に上向きまたは下向きの顔画像が含まれることもあるので、異常値を除外してから平均値を算出することにより、より精度の高い照合用の特徴データを得ることが可能となる。なお、以下では、複数の特徴データそれぞれを統計的に処理することによって得られる、ある人物の顔の特徴を示す統計的な特徴推定値として、複数の特徴データ間の平均値を用いる場合を例示して説明する。
The feature
特定シーン録画処理部207は、互いに異なるチャネルの1以上の放送番組データの各々の中で、照合用特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データをHDD121に保存する。具体的には、特定シーン録画処理部207は、キャッシュ付き全チャネル録画処理部201によってバッファに格納された1以上のチャネルそれぞれに対応する各放送番組データ毎に、その放送番組データに含まれる映像データ内の各フレームから人物の顔画像を抽出し、その抽出された顔画像を分析して特徴データを生成する。そして、特定シーン録画処理部207は、各フレームに対応する特徴データと照合用特徴データとを照合することによって、各放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出する。この検出された部分データがHDD121に保存される。
The specific scene
このように、ユーザによって入力されたキーワードで指定される人物に関する画像データ群を自動的にインターネット1から取得して当該人物の顔の特徴データを生成し、全チャネルの放送番組データの中から特徴データに合致する顔が出現するシーンを自動録画するという仕組みを用いることにより、電子番組表を検索して録画対象の放送番組を選択するという従来の手法に比し、入力されたキーワードで指定される人物が登場する放送番組を録画し損なう可能性を大幅に低減することが可能となる。また、特徴データに合致する顔が出現するシーンのみが録画されるので、例えば、ユーザによって例えばある歌手Aの名前がキーワード入力された場合には、歌手Aが出演する歌番組全体の中の歌手Aの顔が登場するシーンのみを容易に録画することができる。
As described above, the image data group relating to the person specified by the keyword input by the user is automatically acquired from the
図4には、図3で説明した機能実行モジュール間の接続関係が示されている。 FIG. 4 shows the connection relationship between the function execution modules described in FIG.
ネットワーク検索処理部204によってインターネット1から取得された画像データ群は顔特徴分析部205に送られる。顔特徴分析部205は、顔画像処理モジュール128を制御して、各画像データから顔画像を検出して抜き出す処理を実行すると共に、抜き出した各顔画像を分析して特徴データを生成する処理を実行する。顔画像それぞれに対応する特徴データは特徴データ生成部206に送られ、そこで照合用特徴データが生成される。
The image data group acquired from the
キャッシュ付き全チャネル録画処理部201は、TVチューナ123−1〜123−nにそれぞれ異なるチャネルの放送番組データを常時受信させる。TVチューナ123−1〜123−nによって受信された放送番組データそれぞれはキャッシュ付き全チャネル録画処理部201によってバッファ501に保存される。バッファ501には1以上のチャネルそれぞれに対応する複数の記憶エリアが設けられている。各記憶エリアは、放送番組データを数分(例えば1分)分だけ録画可能なサイズを有している。各チャネルの放送番組データは、1分毎にバッファ501内の対応する記憶エリアに上書きされていく。
The all channel
特定シーン録画処理部207は照合処理部401と録画処理実行部402とを備えている。照合処理部401は、顔画像処理モジュール128を用いて、バッファ501に格納された各放送番組データ毎に顔画像の特徴データを生成し、そして、その特徴データと特徴データ生成部206によって生成された照合用特徴データとを照合することにより、照合用特徴データに類似する特徴を有する顔画像が出現するシーンをチャネル毎に検出する。録画処理実行部402は、照合処理部401によって照合用特徴データに類似する特徴を有する顔画像が出現するチャネルが検出された時、そのチャネルの放送番組データをHDD121に保存する録画処理を開始する。この場合、バッファ501に残っている数秒前の放送番組データも含めてHDD121に保存される。録画処理実行部402による録画処理は、照合用特徴データに類似する特徴を有する顔画像が出現しているシーンの間だけ実行される。
The specific scene
また、TVアプリケーションプログラム101には、編集処理部601および検索処理部602も含まれている。編集処理部601は、録画済みの放送番組データの中で照合用特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データの開始点および終了点を示すインデックス情報を生成する。これにより、録画済みの放送番組データの中の特定のシーンのみを容易に再生することができる。検索処理部602は、録画済みの放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンを検索する処理、および録画済みの放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンを含む放送番組データを検索する処理を実行する。検索されたシーンまたは番組は再生処理部202によって再生することができる。
The
次に、図5のフローチャートを参照して、TVアプリケーションプログラム101の制御の下にCPU111によって実行される特定シーン録画処理機能の手順を説明する。
Next, the procedure of the specific scene recording processing function executed by the
ここでは、現在放送中の多数の放送番組(コマーシャルも含む)の中からタレントAが映っているシーンのみを自動検出して録画する場合を想定する。 Here, it is assumed that only a scene showing the talent A is automatically detected from a large number of broadcast programs (including commercials) currently being broadcast and recorded.
まず、ユーザによる入力部の操作により、特定シーン録画処理の対象とすべき人物を指定するキーワード(タレントAの名前等)が入力される(ステップS11)。CPU111は、入力されたキーワードをキーワード記憶エリア301に保存する(ステップS12)。そして、CPU111は、入力されたキーワードで指定される人物(タレントA)に関する画像データ群をインターネット1から取得する(ステップS13)。このステップS13では、例えば、図6に示す手順がCPU111によって実行される。すなわち、CPU111は、入力されたキーワード(タレントAの名前等)を検索キーワードとして含む検索要求を検索サーバ3に送信し(ステップS21)、検索キーワードにヒットした画像データ群(検索キーワードで指定されるタレントAに関する画像群)のリストを示す検索結果(HTMLファイル)を検索サーバ3から取得する(ステップS22)。検索結果のHTMLファイルには、例えば、図7に示すように、複数の画像とその画像が掲載されているホームページのアドレス(URL)とが含まれている。CPU111は、検索結果のHTMLファイルを参照して、各画像データを該当するWEBサーバから取得する(ステップS23)。
First, a keyword (such as the name of the talent A) that designates a person to be a target of a specific scene recording process is input by an operation of the input unit by the user (step S11). The
画像データの取得が終了すると、CPU111は、取得された個々の画像データに対し、顔の部分(顔画像)を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール128と共同して実行する(図5のステップS14)。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ(特徴量)が生成される。そして、CPU111は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する(ステップS15)。この場合、異常な値の特徴データについては平均値算出対象から除外される。顔画像サンプルとその特徴量との関係の例を図8に示す。同一の人物の顔画像サンプルそれぞれに対応する特徴量はある範囲内に収束するのに対し、同一の人物であっても極端に上向きまたは下向きの顔画像サンプルから得られる特徴量や、他の人物の顔画像サンプルから得られる特徴量は、他の顔画像サンプルの特徴量と大きく異なった異常な値となる。図8では、顔画像サンプル5に対応する特徴量S5と顔画像サンプル106に対応する特徴量S106が異常値として扱われ、これら異常値を除く他の顔画像サンプルそれぞれに対応する特徴量の平均値が、照合用特徴データとして生成される。
When the image data acquisition is completed, the
この後、CPU111は、1以上のTVチューナ123−1から123−nにそれぞれ異なるチャンネルの放送番組データの受信を開始させ、そして1以上のチャンネルの放送番組データをそれぞれバッファ501に所定時間分格納するというキャッシュ付き全チャネル録画処理を開始する(ステップS16)。
Thereafter, the
そして、CPU111は、バッファ501に格納された各チャネルの放送番組データを顔画像処理モジュール128と共同して分析し、各放送番組データの中で照合用特徴データに類似する特徴を持つ顔画像が出現するシーンのみを録画するという特定シーン録画処理を実行する(ステップS17)。ステップS17では、例えば、図9に示す手順がCPU111によって実行される。すなわち、CPU111は、キャッシュ付き全チャネル録画処理を開始した後(ステップS31)、各チャネル毎に放送番組データの各フレームから人の顔を抽出し、その顔画像を分析して特徴データを生成する(ステップS32)。この分析処理は、放送番組データの先頭フレームから順次実行される。
Then, the
そして、CPU111は、各フレームの顔画像の特徴データと照合用特徴データとを比較する(ステップS33)。たとえば、あるチャネルXの放送番組データの映像データの中で、照合用特徴データに類似する特徴を有するフレームが検出されると(ステップS34のYES)、CPU111は、当該チャネルXの放送番組データの録画を開始する(ステップS25)。このステップS25では、バッファ501内に残っている当該チャネルXの数秒前の放送番組データが最初にHDD121内の記憶領域にコピーされる。そして、コピーされたデータに後続するように、当該チャネルXを受信中のチューナから出力される放送番組データがHDD121内の記憶領域に格納される。
Then, the
タレントAの登場シーンが終了し、チャネルXの放送番組データの中から照合用特徴データに類似する特徴を有するフレームが検出されなくなると(ステップS34のNO)、チャネルXの放送番組データの録画は中断される(ステップS36)。 When the appearance scene of the talent A ends and no frame having characteristics similar to the feature data for verification is detected from the broadcast program data of channel X (NO in step S34), the recording of the broadcast program data of channel X is performed. Interrupted (step S36).
以上の処理により、放送中の多数の放送番組データの中から、ユーザによって入力された人物名等のキーワードによって指定される人物が登場するシーンのみを容易に録画することが可能となる。したがって、時間がないユーザにとっては、キーワードを入力するという簡単な操作を行うのみで、キーワードで指定された人物が登場する各番組を自動録画でき、且つ当該人物が映るシーンのみを視聴することが可能となるという点で極めて有効である。 With the above processing, it is possible to easily record only a scene in which a person specified by a keyword such as a person name input by a user appears from a large number of broadcast program data being broadcast. Therefore, for a user who does not have time, it is possible to automatically record each program in which the person specified by the keyword appears, and to view only the scene in which the person appears, only by performing a simple operation of inputting the keyword. It is extremely effective in that it becomes possible.
また、通常、特定のタレントが登場するシーンのみを抜き出すためには、一度再生し、巻き戻し、そのシーンをマークし、編集するという操作を行う必要があり、また正確にシーンをマークすることは実際には極めて難しい。本実施形態では、このような操作を行うことなく、特定のタレント等の人物が登場するシーンのみを録画することができる。 Also, in general, in order to extract only the scene where a specific talent appears, it is necessary to perform the operations of playing once, rewinding, marking the scene, and editing, and marking the scene accurately Actually it is extremely difficult. In this embodiment, it is possible to record only a scene in which a person such as a specific talent appears without performing such an operation.
また、インターネット1から取得される膨大な数の画像データから顔特徴を分析するので、正確な分析を実行することができる。特に、顔の向きが異なる様々な顔画像から特徴データを生成することで、放送番組データ中に出現する目的の人物の顔とのヒット率の高い照合用特徴データを得ることが出来る。
In addition, since facial features are analyzed from an enormous number of image data acquired from the
なお、ここでは、全チャネルの放送番組データを同時に受信できるように全チャネル数に対応する個数のチューナを設ける場合を説明したが、例えば、ユーザによって予め指定された特定の2つまたは3つのチャネルを対象に特定シーン録画処理を実行する場合には、搭載すべきチューナの個数は2つまたは3つでよい。 Here, a case has been described where the number of tuners corresponding to the total number of channels is provided so that broadcast program data of all channels can be received simultaneously. For example, specific two or three channels specified in advance by the user When the specific scene recording process is executed on the target, the number of tuners to be mounted may be two or three.
次に、図10を参照して、TVアプリケーションプログラム101の機能構成の第2の例について説明する。
Next, a second example of the functional configuration of the
本例においては、TVアプリケーションプログラム101は、録画済みの放送番組データの中から、ユーザによって入力された人物名等のキーワードによって指定される人物の顔が出現するシーンに対応する部分データを検出し、当該検出された部分データをチャプターとして設定する編集機能を実行する。
In this example, the
図10のTVアプリケーションプログラム101においては、図3のキャッシュ付き全チャネル録画処理部201および特定シーン録画処理部207の代わりに、録画処理部611および編集処理部601が設けられている。他の構成は図3と同じである。
In the
録画処理部611は、TVチューナ123−1〜123−nの1つにユーザによって指定されたチャネルの放送番組データを受信させ、その受信された放送番組データをHDD122に格納する録画処理を実行する。
The
編集処理部601は、図4で説明したように、録画済みの放送番組データの中で照合用特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データの開始点および終了点を示すインデックス情報を生成する処理する処理、または検出された部分データを切り出して記録する処理等を実行する。
As described with reference to FIG. 4, the
次に、図11のフローチャートを参照して、TVアプリケーションプログラム101の制御の下にCPU111によって実行される編集処理機能の手順を説明する。
Next, the procedure of the editing processing function executed by the
ここでは、録画された放送番組(コマーシャルも含む)の中からタレントAが映っているシーンを自動検出し、当該シーンにインデックス付けを行う場合を想定する。 Here, it is assumed that a scene in which the talent A is shown is automatically detected from recorded broadcast programs (including commercials) and the scene is indexed.
まず、ユーザによる入力部の操作に応じて、CPU111は、HDD121に格納されている録画済みの放送番組データ群の中から編集対象の放送番組データを選択する(ステップS41)。続いて、ユーザによる入力部の操作により、編集処理でチャプター設定の対象とすべき人物を指定するキーワード(タレントAの名前等)が入力される(ステップS42)。CPU111は、入力されたキーワードをキーワード記憶エリア301に保存する(ステップS43)。そして、CPU111は、入力されたキーワードで指定される人物(タレントA)に関する画像データ群をインターネット1から取得する(ステップS44)。このステップS44では、図3のステップS13で説明した手順が実行される。
First, according to the operation of the input unit by the user, the
画像データの取得が終了すると、CPU111は、取得された個々の画像データに対し、顔の部分(顔画像)を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール128と共同して実行する(ステップS45)。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ(特徴量)が生成される。そして、CPU111は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する(ステップS46)。この場合、異常な値の特徴データについては平均値算出対象から除外される。
When the image data acquisition is completed, the
この後、CPU111は、選択された放送番組データを顔画像処理モジュール128と共同して分析し、その放送番組データの中で照合用特徴データに類似する特徴を持つ顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データの開始点および終了点を示すインデックス情報を生成する(ステップS47)。このステップS47では、CPU111は、放送番組データの各フレームから人の顔を抽出し、その顔画像を分析して特徴データを生成する。この分析処理は、放送番組データの先頭フレームから順次実行される。そして、CPU111は、各フレームの顔画像の特徴データと照合用特徴データとを比較する。照合用特徴データに類似する特徴を有する最初のフレームが検出されると、CPU111は、当該フレームまたは当該フレームよりも数フレーム前のフレームを部分データの開始点として示すインデックス情報を生成する。そして、タレントAの登場シーンが終了し、照合用特徴データに類似する特徴を有するフレームが検出されなくなると、CPU111は、例えば、当該フレームの1フレームまたは数フレーム前のフレームを部分データの終了点として示すインデックス情報を生成する。これにより、図12に示すように、タレントAが登場する各シーンに対応する部分データがチャプター設定される。図12においては、放送番組データ中にタレントAが登場するシーンが2つあり、先頭のシーンに対応する部分データの開始点および終了点はインデックス情報S1,E1によって識別され、2番目のシーンに対応する部分データの開始点および終了点はインデックス情報S2,E2によって識別される。これにより、放送番組データの再生時には、最初に、インデックス情報S1,E1によって指定される部分データ(チャプタ1)を再生し、その再生終了時に、インデックス情報S2,E2によって指定される部分データ(チャプタ2)にスキップして、その再生をすることができる。
Thereafter, the
なお、このようなチャプター設定のみならず、図14に示すように、インデックス情報S1,E1によって指定される部分データ(チャプタ1)と、インデックス情報S2,E2によって指定される部分データ(チャプタ2)とを切り出し、それらを結合することによって、新たな放送番組データを作成してもよい。 In addition to such chapter setting, as shown in FIG. 14, the partial data (chapter 1) specified by the index information S1, E1 and the partial data (chapter 2) specified by the index information S2, E2 New broadcast program data may be created by cutting out and combining them.
次に、図14を参照して、TVアプリケーションプログラム101の機能構成の第3の例について説明する。
Next, a third example of the functional configuration of the
本例においては、TVアプリケーションプログラム101は、録画済みの放送番組データの中からユーザによって入力された人物名等のキーワードによって指定される人物の顔が出現するシーンに対応する部分データを検索する処理、または録画済みの放送番組データ群の中からユーザによって入力された人物名等のキーワードによって指定される人物の顔が出現するシーンを含む放送番組データを検索する処理を実行する。
In this example, the
図14のTVアプリケーションプログラム101においては、図3のキャッシュ付き全チャネル録画処理部201および特定シーン録画処理部207の代わりに、録画処理部611および検索処理部602が設けられている。他の構成は図3と同じである。
In the
録画処理部611は、TVチューナ123−1〜123−nの1つにユーザによって指定されたチャネルの放送番組データを受信させ、その受信された放送番組データをHDD122に格納する録画処理を実行する。
The
検索処理部602は、図4で説明したように、録画済みの放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンを検索する処理、および録画済みの放送番組データの中から照合用特徴データに類似する特徴を有する顔画像が出現するシーンを含む放送番組データを検索する処理等を実行する。
As described with reference to FIG. 4, the
次に、図15のフローチャートを参照して、TVアプリケーションプログラム101の制御の下にCPU111によって実行される検索処理機能の手順を説明する。
Next, the procedure of the search processing function executed by the
ここでは、録画された放送番組の中からタレントAが映っているシーンを検索する場合を想定する。 Here, it is assumed that a scene where the talent A is shown is searched from the recorded broadcast program.
まず、ユーザによる入力部の操作により、検索対象とすべき人物を指定するキーワード(タレントAの名前等)が入力される(ステップS51)。CPU111は、入力されたキーワードをキーワード記憶エリア301に保存する(ステップS52)。そして、CPU111は、入力されたキーワードで指定される人物(タレントA)に関する画像データ群をインターネット1から取得する(ステップS53)。このステップS53では、図3のステップS13で説明した手順が実行される。
First, a keyword (such as the name of the talent A) that designates a person to be searched is input by an operation of the input unit by the user (step S51). The
画像データの取得が終了すると、CPU111は、取得された個々の画像データに対し、顔の部分(顔画像)を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール128と共同して実行する(ステップS54)。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ(特徴量)が生成される。そして、CPU111は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する(ステップS55)。この場合、異常な値の特徴データについては平均値算出対象から除外される。
When the image data acquisition is completed, the
この後、CPU111は、ユーザによって指定された検索対象の放送番組データを顔画像処理モジュール128と共同して分析し、その放送番組データの中から照合用特徴データに類似する特徴を持つ顔画像が出現するシーンを検索する(ステップS56)。このステップS56では、CPU111は、検索対象の放送番組データの各フレームから人の顔を抽出し、その顔画像を分析して特徴データを生成する。この分析処理は、放送番組データの先頭フレームから順次実行される。そして、CPU111は、各フレームの顔画像の特徴データと照合用特徴データとを比較することにより、照合用特徴データに類似する特徴を有するシーンに対応する部分データを検出する。検出された部分データは図4の再生処理部202によって再生される。
Thereafter, the
次に、図16を参照して、TVアプリケーションプログラム101の機能構成の第4の例について説明する。
Next, a fourth example of the functional configuration of the
本例においては、TVアプリケーションプログラム101は、上述の特定シーン録画処理機能に加え、学習機能を備えている。この学習機能は、インターネット1から取得された画像データ群の中から分析対象から除外すべき画像データをユーザに指定させ、一旦指定された画像データについては、以降の特定シーン録画処理における画像分析処理の対象から自動的に除外する機能である。
In this example, the
図16のTVアプリケーションプログラム101においては、図3の構成に加え、さらに学習処理部701が設けられている。
In addition to the configuration of FIG. 3, the
学習処理部701は、ネットワーク検索処理部204によって取得された画像データ群の中から分析対象から除外すべき画像データをユーザに選択させるための画面を表示する処理、およびユーザによって選択された画像データを識別するための識別情報を学習結果記憶エリア801に保存することによって、除外対象にすべき画像データを学習する処理等を実行する。顔特徴分析処理部405は、学習結果記憶エリア801に保存された識別情報によって指定された各画像データを、ネットワーク検索処理部204によって取得された画像データ群から取り除き、残りの画像データそれぞれから人物の顔画像を抽出する処理を実行する。
The
次に、図17のフローチャートを参照して、TVアプリケーションプログラム101の制御の下にCPU111によって実行される学習機能付き特定シーン録画処理機能の手順を説明する。
Next, the procedure of the specific scene recording processing function with a learning function executed by the
まず、ユーザによる入力部の操作により、特定シーン録画処理の対象とすべき人物を指定するキーワード(タレントAの名前等)が入力される(ステップS61)。CPU111は、入力されたキーワードをキーワード記憶エリア301に保存する(ステップS62)。そして、CPU111は、入力されたキーワードで指定される人物(タレントA)に関する画像データ群をインターネット1から取得する(ステップS63)。
First, a keyword (such as the name of the talent A) that designates a person who is to be a target of the specific scene recording process is input by an operation of the input unit by the user (step S61). The
画像データの取得が終了すると、CPU111は、取得された画像データ群の中から、前回までの学習によって除外すべきことが既に指定されている画像データ(学習結果記憶エリア801に識別情報が保存されている画像データ)それぞれを取り除く(ステップS64)。そして、CPU111は、残りの画像データの一覧を示す画面を表示して、除外すべき画像を選択すべきことをユーザに促す(ステップS65)。この後、CPU111は、ユーザによって選択された画像データを除外対象の画像データとして新たに学習するために、当該選択された画像データを識別する識別情報(当該画像データを取得したホームページのURLや当該画像データのファイル名)を学習結果記憶エリア801に保存する(ステップS66)。
When the acquisition of the image data is completed, the
この後、CPU111は、ユーザによって選択された画像および前回までの学習によって除外すべきことが既に指定されている画像を除く、残りの個々の画像データに対し、顔の部分(顔画像)を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール128と共同して実行する(ステップS67)。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ(特徴量)が生成される。そして、CPU111は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する(ステップS68)。この場合、異常な値の特徴データについては平均値算出対象から除外される。
Thereafter, the
この後、CPU111は、1以上のTVチューナ123−1から123−nにそれぞれ異なるチャンネルの放送番組データの受信を開始させ、そして1以上のチャンネルの放送番組データをそれぞれバッファ501に所定時間分格納するというキャッシュ付き全チャネル録画処理を開始する(ステップS69)。そして、CPU111は、バッファ501に格納された各チャネルの放送番組データを顔画像処理モジュール128と共同して分析し、各放送番組データの中で照合用特徴データに類似する特徴を持つ顔画像が出現するシーンのみを録画するという特定シーン録画処理を実行する(ステップS70)。
Thereafter, the
以上の学習機能により、より正確な照合用特徴データを生成することが可能となる。また、以上の学習機能は、上述の検索処理機能や編集処理機能にも適用することが出来る。 With the above learning function, more accurate feature data for matching can be generated. The above learning function can also be applied to the above-described search processing function and editing processing function.
次に、図18を参照して、TVアプリケーションプログラム101の機能構成の第5の例について説明する。
Next, a fifth example of the functional configuration of the
本例においては、TVアプリケーションプログラム101は、HDD121内に格納されている静止画群の中から特定の人物の顔を含む静止画を検索する機能を有している。
In this example, the
すなわち、図18のTVアプリケーションプログラム101においては、図3のキーワード入力部203、ネットワーク検索処理部204、顔特徴分析処理部205、および特徴データ生成部206に加え、静止画検索処理部802を備えている。静止画検索処理部802は、静止画保存エリア803(例えばHDD121のような記憶領域)に格納されている静止画データ群の中から、照合用特徴データに類似する特徴を持つ顔画像を含む静止画データを検索する。
That is, the
次に、図19のフローチャートを参照して、TVアプリケーションプログラム101の制御の下にCPU111によって実行される静止画検索処理機能の手順を説明する。
Next, the procedure of the still image search processing function executed by the
ここでは、コンピュータ10内に存在する静止画それぞれの中からタレントAが映っている静止画を検索する場合を想定する。
Here, it is assumed that a still image in which the talent A is shown is retrieved from each of the still images existing in the
まず、ユーザによる入力部の操作により、検索対象とすべき人物を指定するキーワード(タレントAの名前等)が入力される(ステップS81)。CPU111は、入力されたキーワードをキーワード記憶エリア301に保存する(ステップS82)。そして、CPU111は、入力されたキーワードで指定される人物(タレントA)に関する画像データ群をインターネット1から取得する(ステップS83)。このステップS83では、図3のステップS13で説明した手順が実行される。
First, a keyword (such as the name of the talent A) that specifies a person to be searched is input by an operation of the input unit by the user (step S81). The
画像データの取得が終了すると、CPU111は、取得された個々の画像データに対し、顔の部分(顔画像)を抜き出してその顔の特徴を分析する処理を顔画像処理モジュール128と共同して実行する(ステップS84)。この分析処理により、複数の顔画像サンプルそれぞれに対応する複数の特徴データ(特徴量)が生成される。そして、CPU111は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する(ステップS85)。この場合、異常な値の特徴データについては平均値算出対象から除外される。
When the image data acquisition is completed, the
この後、CPU111は、ユーザによって指定された検索対象の記憶領域内に存在する静止画データそれぞれを顔画像処理モジュール128と共同して分析し、その静止画データ群の中から照合用特徴データに類似する特徴を持つ顔画像が映った静止画データを検索する(ステップS86)。このステップS86では、CPU111は、検索対象の各静止画データから人の顔を抽出し、その顔画像を分析して特徴データを生成する。そして、CPU111は、各静止画データの顔画像の特徴データと照合用特徴データとを比較することにより、照合用特徴データに類似する特徴を有する顔画像が映った静止画データを検索する。検索された静止画データは図4の再生処理部202によって再生される。
Thereafter, the
以上の静止画検索機能は、静止画を含むことが格納な各種文書ファィル(HTMLファイル、PDFファイル等)を対象に実行することもできる。これにより、ユーザは、人物を指定するキーワードを入力するだけで、その人物の顔を含む静止画を容易に参照することができる。 The above still image search function can also be executed on various document files (HTML files, PDF files, etc.) that contain still images. Thus, the user can easily refer to a still image including the face of the person only by inputting a keyword specifying the person.
次に、図20を参照して、TVアプリケーションプログラム101の機能構成の第6の例について説明する。
Next, a sixth example of the functional configuration of the
本例においては、TVアプリケーションプログラム101は、録画済みの放送番組データ、他の動画像データ、および静止画像データといった様々な画像データの中から、ユーザによって入力された商品名、ブランド名、メーカ名、等のキーワードによって指定される物品(場所も含む)の映像(例えば、商品名、ブランド名を示すロゴ等の文字列を含む映像)を含む画像データを検索する処理を実行する。
In this example, the
図20のTVアプリケーションプログラム101においては、図3のキャッシュ付き全チャネル録画処理部201、顔特徴分析処理部205、特徴データ生成部206および特定シーン録画処理部207の代わりに、録画処理部611、特徴分析処理部901、文字列特徴データ生成部902、および検索処理部903が設けられている。他の構成は図3と同じである。
In the
録画処理部611は、TVチューナ123−1〜123−nの1つにユーザによって指定されたチャネルの放送番組データを受信させ、その受信された放送番組データをHDD122に格納する録画処理を実行する。
The
特徴分析処理部901は、ネットワーク検索処理部204によって得られた画像データ等を対象に、当該画像データから文字列を示す画像(文字列画像)を抽出し、その文字列画像の特徴を分析することによって、文字列画像の特徴を示す特徴データを生成する。特徴データとしては、例えば、文字列内の文字それぞれの形状の特徴を示す値を用いることが出来る。文字列特徴データ生成部902は、例えば、複数の文字列画像それぞれに対応する特徴データの値を文字毎に平均して、照合用特徴データを生成する。検索処理部903は、HDD121に格納されている様々な画像データ群の中から、照合用特徴データと類似する特徴を有する文字列画像を含む画像データを検索する。
The feature
次に、図21のフローチャートを参照して、TVアプリケーションプログラム101の制御の下にCPU111によって実行される検索処理機能の手順を説明する。
Next, the procedure of the search processing function executed by the
ここでは、HDD121に格納されている様々な画像データ群の中から、あるロゴAが映っている画像データを検索する場合を想定する。
Here, it is assumed that image data in which a certain logo A appears is retrieved from various image data groups stored in the
まず、ユーザによる入力部の操作により、検索対象とすべき物品に関するロゴAを指定するキーワード(ロゴAを示す文字列)が入力される。CPU111は、入力されたキーワードをキーワード記憶エリア301に保存する。そして、CPU111は、入力されたキーワード(文字列)に関する画像データ群をインターネット1から取得する。画像データの取得が終了すると、CPU111は、取得された個々の画像データに対し、文字列画像の部分を抜き出してその文字列画像の特徴を分析する処理を実行する。そして、CPU111は、複数の特徴データの平均値を算出し、その平均値を照合用特徴データとして生成する。
First, a keyword (a character string indicating the logo A) that specifies the logo A related to the article to be searched is input by the operation of the input unit by the user. The
この後、CPU111は、1以上のTVチューナ123−1から123−nにそれぞれ異なるチャンネルの放送番組データの受信を開始させ、そして1以上のチャンネルの放送番組データをそれぞれバッファ501に所定時間分格納するというキャッシュ付き全チャネル録画処理を開始する。そして、CPU111は、バッファ501に格納された各チャネルの放送番組データを分析し、各放送番組データの中で照合用特徴データに類似する特徴を持つ文字列画像が出現するシーンのみを録画するという特定シーン録画処理を実行する。この特定シーン録画処理では、バッファに格納されている各チャネル毎に放送番組データの各フレームから文字列画像を抽出し、その文字列画像を分析して特徴データを生成する。この分析処理は、放送番組データの先頭フレームから順次実行される。そして、CPU111は、各フレームの文字列画像の特徴データと照合用特徴データとを比較する。たとえば、あるチャネルXの放送番組データの映像データの中で、照合用特徴データに類似する特徴を有するフレームが検出されると、CPU111は、当該チャネルXの放送番組データの録画を開始する。類似する文字列画像の登場シーンが終了し、チャネルXの放送番組データの中から照合用特徴データに類似する特徴を有する文字列画像が検出されなくなると、チャネルXの放送番組データの録画は中断される。
Thereafter, the
以上のように、本実施形態によれば、ユーザによって入力されたキーワードに関する画像データ群をインターネット1から自動的に取得して特徴データを生成することにより、ユーザ自身が画像の登録操作等を行うことなく、放送番組データの中の特定シーンのみを録画する処理等を容易に実行することが可能となる。
As described above, according to the present embodiment, the image data group relating to the keyword input by the user is automatically acquired from the
また、本実施形態の処理手順は全てプログラムによって実現することができるので、このプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を容易に実現することができる。 In addition, since all the processing procedures of the present embodiment can be realized by a program, the same effects as those of the present embodiment can be easily realized simply by introducing the program to a normal computer through a computer-readable storage medium. be able to.
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。 Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.
3…検索サーバ、101…TVアプリケーションプログラム、111…CPU、123−1〜123−n…TVチューナ、201…キャッシュ付き全チャネル録画処理部、202…再生処理部、203…キーワード入力部203、204…ネットワーク検索処理部、205…顔特徴分析部、206…特徴データ生成部、207…特定シーン録画処理部。
DESCRIPTION OF
Claims (9)
通信部と、
前記入力部によって入力された人物名を検索キーワードとして含む検索要求を前記通信部を介してインターネット上の所定の検索サーバに送信することにより、前記人物名によって指定される人物に関する1以上の画像データを前記インターネット上から取得する画像取得手段と、
前記取得された画像データ中の顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成する画像分析手段と、
互いに異なるチャネルの1以上の放送番組データをそれぞれ受信する1以上のチューナ部と、
前記の1以上のチューナ部によって受信される1以上の放送番組データの各々の中で前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データを保存する録画処理手段とを具備することを特徴とする電子機器。 An input section;
A communication department;
One or more pieces of image data relating to the person specified by the person name by transmitting a search request including the person name input by the input unit as a search keyword to a predetermined search server on the Internet via the communication unit. Image acquisition means for acquiring from the Internet;
Image analysis means for generating feature data indicating the characteristics of the face of the person specified by the person name from the face image in the acquired image data;
One or more tuner units respectively receiving one or more broadcast program data of different channels;
Partial data corresponding to a scene in which a face image having a feature similar to the feature data appears in each of the one or more broadcast program data received by the one or more tuner units is detected. An electronic apparatus comprising recording processing means for storing partial data.
前記ユーザによって選択された画像データを識別するための識別情報を保存することによって、前記除外対象にすべき画像データを学習する学習手段とをさらに具備し、
前記画像分析手段は、前記学習手段によって学習された各画像データを前記取得された画像データ群から取り除き、残りの画像データそれぞれから人物の顔画像を抽出することを特徴とする請求項1記載の電子機器。 Means for displaying a screen for allowing the user to select image data to be excluded from the analysis target by the image analysis means from among the acquired image data group;
Learning means for learning image data to be excluded by storing identification information for identifying image data selected by the user;
2. The image analysis unit according to claim 1, wherein each of the image data learned by the learning unit is removed from the acquired image data group, and a human face image is extracted from each of the remaining image data. Electronics.
前記受信された各放送番組データに含まれる映像データ内の各フレーム中の人物の顔画像から、前記人物の顔の特徴を示す特徴データを生成する手段と、
前記各フレームに対応する特徴データと前記画像分析手段によって得られた特徴データとを照合することによって、前記受信された各放送番組データの中で前記画像分析手段によって得られた前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出する手段とを含むことを特徴とする請求項1記載の電子機器。 The recording processing means includes
Means for generating feature data indicating a feature of the person's face from a face image of the person in each frame in the video data included in each received broadcast program data;
Similar to the feature data obtained by the image analysis means in the received broadcast program data by collating the feature data corresponding to each frame with the feature data obtained by the image analysis means 2. The electronic device according to claim 1, further comprising: means for detecting partial data corresponding to a scene in which a face image having the characteristics described above appears.
前記記憶装置に格納されている放送番組データ群の中から前記特徴データに類似する特徴を有する顔画像が出現するシーンを含む放送番組データを検索する検索手段とをさらに具備することを特徴とする請求項1記載の電子機器。 Recording processing means for controlling one of the one or more tuner units to execute recording processing for storing predetermined broadcast program data in a recording medium;
Search means for searching for broadcast program data including a scene in which a face image having a feature similar to the feature data appears from the broadcast program data group stored in the storage device is further provided. The electronic device according to claim 1.
通信部と、
前記入力部によって入力された人物名を検索キーワードとして含む検索要求を前記通信部を介してインターネット上の検索サーバに送信することにより、前記人物名によって指定される人物に関する1以上の画像データを前記インターネット上から取得する画像取得手段と、
前記取得された画像データの顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成する画像分析手段と、
放送番組データを受信するチューナ部と、
前記チューナ部を制御して、所定の放送番組データを記録媒体に格納する録画処理を実行する録画処理手段と、
前記録画処理手段によって録画された放送番組データの中で前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データの開始点および終了点を示すインデックス情報を生成する手段とを具備することを特徴とする電子機器。 An input section;
A communication department;
By transmitting a search request including the person name input by the input unit as a search keyword to a search server on the Internet via the communication unit, one or more image data relating to the person specified by the person name is Image acquisition means for acquiring from the Internet;
Image analysis means for generating feature data indicating the characteristics of the face of the person specified by the person name from the face image of the acquired image data;
A tuner unit for receiving broadcast program data;
Recording processing means for controlling the tuner unit and executing recording processing for storing predetermined broadcast program data in a recording medium;
In the broadcast program data recorded by the recording processing means, partial data corresponding to a scene in which a face image having characteristics similar to the characteristic data appears is detected, and the start point and end point of the detected partial data An electronic device comprising: means for generating index information indicating
通信部と、
前記入力部によって入力された人物名を検索キーワードとして含む検索要求を前記通信部を介してインターネット上の検索サーバに送信することにより、前記人物名によって指定される人物に関する1以上の画像データを前記インターネット上から取得する画像取得手段と、
前記取得された画像データの顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成する画像分析手段と、
放送番組データを受信するチューナ部と、
前記チューナ部を制御して、所定の放送番組データを記録媒体に格納する録画処理を実行する録画処理手段と、
前記録画処理手段によって録画された放送番組データの中で前記特徴データに類似する特徴を有する顔画像が出現するシーンを検索する検索手段とを具備することを特徴とする電子機器。 An input section;
A communication department;
By transmitting a search request including the person name input by the input unit as a search keyword to a search server on the Internet via the communication unit, one or more image data relating to the person specified by the person name is Image acquisition means for acquiring from the Internet;
Image analysis means for generating feature data indicating the characteristics of the face of the person specified by the person name from the face image of the acquired image data;
A tuner unit for receiving broadcast program data;
Recording processing means for controlling the tuner unit and executing recording processing for storing predetermined broadcast program data in a recording medium;
An electronic apparatus comprising: search means for searching for a scene in which a face image having characteristics similar to the characteristic data appears in the broadcast program data recorded by the recording processing means.
前記電子機器の入力部から入力された人物名を検索キーワードとして含む検索要求を前記電子機器に設けられた通信部を介してインターネット上の所定の検索サーバに送信することにより、前記人物名によって指定される人物に関する画像データそれぞれを前記インターネット上から取得するステップと、
前記取得された画像データの顔画像から、前記人物名によって指定される人物の顔の特徴を示す特徴データを生成するステップと、
前記電子機器に設けられたの1以上のチューナ部によって受信される互いに異なるチャネルの1以上の放送番組データの各々の中で前記特徴データに類似する特徴を有する顔画像が出現するシーンに対応する部分データを検出し、当該検出された部分データを保存するステップとを具備することを特徴とする録画制御方法。 A recording control method for controlling a recording process of broadcast program data executed by an electronic device,
Designated by the person name by transmitting a search request including a person name input from the input unit of the electronic device as a search keyword to a predetermined search server on the Internet via a communication unit provided in the electronic device. Obtaining each image data relating to the person to be performed from the Internet;
Generating feature data indicating the characteristics of the face of the person specified by the person name from the face image of the acquired image data;
Corresponding to a scene in which a face image having a feature similar to the feature data appears in each of one or more broadcast program data of different channels received by one or more tuner units provided in the electronic device And a step of detecting the partial data and storing the detected partial data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007103128A JP5091529B2 (en) | 2007-04-10 | 2007-04-10 | Electronic device and recording control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007103128A JP5091529B2 (en) | 2007-04-10 | 2007-04-10 | Electronic device and recording control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008263305A true JP2008263305A (en) | 2008-10-30 |
JP5091529B2 JP5091529B2 (en) | 2012-12-05 |
Family
ID=39985492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007103128A Active JP5091529B2 (en) | 2007-04-10 | 2007-04-10 | Electronic device and recording control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5091529B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009119063A1 (en) * | 2008-03-24 | 2009-10-01 | パナソニック株式会社 | Program information display device and program information display method |
JP2010072708A (en) * | 2008-09-16 | 2010-04-02 | Kddi Corp | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium |
JP2012054638A (en) * | 2010-08-31 | 2012-03-15 | Canon Inc | Broadcast reception apparatus, method of controlling broadcast reception apparatus, and computer program |
WO2022013949A1 (en) * | 2020-07-14 | 2022-01-20 | 三菱電機株式会社 | Temperature measurement device, terminal device, and temperature measurement method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10232934A (en) * | 1997-02-18 | 1998-09-02 | Toshiba Corp | Face image registering device and its method |
JP2002314932A (en) * | 2001-04-13 | 2002-10-25 | Hitachi Ltd | Recording and reproducing apparatus |
JP2006101324A (en) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | Recording and reproducing apparatus and method |
-
2007
- 2007-04-10 JP JP2007103128A patent/JP5091529B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10232934A (en) * | 1997-02-18 | 1998-09-02 | Toshiba Corp | Face image registering device and its method |
JP2002314932A (en) * | 2001-04-13 | 2002-10-25 | Hitachi Ltd | Recording and reproducing apparatus |
JP2006101324A (en) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | Recording and reproducing apparatus and method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009119063A1 (en) * | 2008-03-24 | 2009-10-01 | パナソニック株式会社 | Program information display device and program information display method |
JP2010072708A (en) * | 2008-09-16 | 2010-04-02 | Kddi Corp | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium |
JP2012054638A (en) * | 2010-08-31 | 2012-03-15 | Canon Inc | Broadcast reception apparatus, method of controlling broadcast reception apparatus, and computer program |
WO2022013949A1 (en) * | 2020-07-14 | 2022-01-20 | 三菱電機株式会社 | Temperature measurement device, terminal device, and temperature measurement method |
Also Published As
Publication number | Publication date |
---|---|
JP5091529B2 (en) | 2012-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10192583B2 (en) | Video editing using contextual data and content discovery using clusters | |
US20090190804A1 (en) | Electronic apparatus and image processing method | |
US7487524B2 (en) | Method and apparatus for presenting content of images | |
US8335354B2 (en) | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium | |
CN106971009B (en) | Voice database generation method and device, storage medium and electronic equipment | |
US7844140B2 (en) | Image processing apparatus, image processing method, and server and control method of the same | |
CN101989173A (en) | Image editing apparatus, image editing method and program | |
KR20060128022A (en) | Automated system and method for conducting usability testing | |
US20170140226A1 (en) | Apparatus and method for identifying a still image contained in moving image contents | |
WO2005098683A3 (en) | Techniques for management and generation of web forms | |
JP2006155384A (en) | Video comment input/display method and device, program, and storage medium with program stored | |
CN109299290A (en) | Knowledge graph-based score recommendation method and electronic equipment | |
JP4396262B2 (en) | Information processing apparatus, information processing method, and computer program | |
JP5091529B2 (en) | Electronic device and recording control method | |
JP5243366B2 (en) | Video summarization method and video summarization program | |
CN113688260A (en) | Video recommendation method and device | |
CN109587562A (en) | A kind of content classification control method, intelligent terminal and storage medium that program plays | |
JP2007124368A (en) | Segment metadata creation device and method | |
CN106936830A (en) | Multimedia data playing method and device | |
CN114640884B (en) | Online video playing quality analysis method, system and computer storage medium | |
JP2010233143A (en) | Device for recording/reproducing video and program for searching contents | |
WO2021142607A1 (en) | Vehicle diagnosis process playback method, apparatus, and readable storage medium | |
JP5884805B2 (en) | Information processing apparatus and program | |
WO2011161820A1 (en) | Video processing device, video processing method and video processing program | |
JP3931890B2 (en) | Video search method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120511 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5091529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |