JP2005210234A - 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム - Google Patents

映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム Download PDF

Info

Publication number
JP2005210234A
JP2005210234A JP2004012404A JP2004012404A JP2005210234A JP 2005210234 A JP2005210234 A JP 2005210234A JP 2004012404 A JP2004012404 A JP 2004012404A JP 2004012404 A JP2004012404 A JP 2004012404A JP 2005210234 A JP2005210234 A JP 2005210234A
Authority
JP
Japan
Prior art keywords
video
shot
recording
video shot
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004012404A
Other languages
English (en)
Other versions
JP4166707B2 (ja
Inventor
Naoaki Horiuchi
直明 堀内
Shinichi Gazan
真一 莪山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2004012404A priority Critical patent/JP4166707B2/ja
Priority to EP05075092A priority patent/EP1557838A3/en
Priority to US11/033,972 priority patent/US7587124B2/en
Priority to CNA2005100024242A priority patent/CN1645357A/zh
Publication of JP2005210234A publication Critical patent/JP2005210234A/ja
Application granted granted Critical
Publication of JP4166707B2 publication Critical patent/JP4166707B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/216—Rewritable discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/218—Write-once discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2516—Hard disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/40—Combinations of multiple record carriers
    • G11B2220/45—Hierarchical combination of record carriers, e.g. HDD for fast access, optical discs for long term storage or tapes for backup
    • G11B2220/455—Hierarchical combination of record carriers, e.g. HDD for fast access, optical discs for long term storage or tapes for backup said record carriers being in one device and being used as primary and secondary/backup media, e.g. HDD-DVD combo device, or as source and target media, e.g. PC and portable player
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/024—Electronic editing of analogue information signals, e.g. audio or video signals on tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】簡単かつ高精度に映像の内容を認識すること。
【解決手段】映像内容認識装置３０２は、連続する一連のフレーム画像列によってあらわされる映像の内容を認識する。分割部３２０は、一連のフレーム画像列を、映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する。類似映像ショット抽出部３２４は、分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する。類似数最多映像ショット抽出部３２５は、類似映像ショットのショット数が最多となる映像ショットを抽出する。代表映像ショット決定部３２６は、映像の内容を代表する代表映像ショットを、類似数最多映像ショットに決定する。映像内容認識部３２８は、他の一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識する。
【選択図】 図３

Description

この発明は、映像内容を認識する映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラムに関する。ただし、この発明の利用は、上述の映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラムには限られない。
従来から、映像内容の各種特徴から映像の内容を認識し、この認識結果から番組の延長を認識し、録画の開始および終了時間を変更可能な録画予約装置が知られている。この録画予約装置では、映像信号の特徴を検出する特徴検出手段と、映像内容の特徴についての知識をもつ知識ベース手段と、検出した特徴と知識ベースとの照合を行う特徴照合手段と、からなる映像内容認識手段と、録画したい番組についての情報を設定する番組情報設定手段と、上記映像内容認識手段の認識結果と上記番組情報設定手段により設定されている情報を照合し録画動作の開始および終了時刻を制御する録画時刻制御手段とを備える。
特開平６−３０９７３３号公報
しかしながら、上述した状来技術では、あらかじめ、映像内容の特徴についての知識をもつ知識ベース手段を用意する必要があるため、新しい番組についての映像内容の特徴データを用意することは困難であり、これにより映像内容の特徴検出精度が低下し、録画したい番組を録画できないという問題が一例として挙げられる。
具体的には、野球中継についての録画予約では、たとえば、試合がおこなわれる球場が新しくなった場合、野球チームのユニフォームが変更された場合、野球中継をおこなっている放送局の画面レイアウトが変更された場合など、知識ベース手段には用意されていない映像信号が入力された場合、野球中継の映像内容でないと認識されることとなり、予約録画に失敗してしまうという問題が一例として挙げられる。
一方、検出精度の向上を図るため、知識ベース手段の内容を更新する場合、今後の多チャンネル化にともなって、データ更新量／データ更新回数は膨大なものとなり、知識ベース手段のパラメータデータも増大する。このパラメータデータが増大するにしたがって誤検出する確率も増加するため、知識ベース手段の内容の更新によって検出精度が低下するという問題が一例として挙げられる。
請求項１の発明にかかる映像内容認識装置は、連続する一連のフレーム画像列によってあらわされる映像の内容を認識する映像内容認識装置であって、前記映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割手段と、前記分割手段によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出手段と、前記類似映像ショット抽出手段によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出手段と、前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出手段によって抽出された映像ショットに決定する代表映像ショット決定手段と、を備えることを特徴とする。
また、請求項８の発明にかかる録画装置は、請求項１〜７のいずれか一つに記載の映像内容認識装置と、録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報の入力を受け付ける録画情報入力手段と、任意の番組の映像を録画する録画手段と、前記録画手段を制御して、前記録画情報入力手段によって入力された録画情報にかかる番組の映像を録画する録画制御手段と、を備え、前記映像内容認識装置は、前記録画制御手段によって録画された前記録画情報にかかる番組の内容をあらわす一連のフレーム画像列に基づいて、前記録画情報にかかる番組の内容を代表する代表映像ショットを決定し、前記録画制御手段は、前記映像内容認識装置による前記代表映像ショットの決定結果に基づいて、前記録画情報にかかる録画を終了することを特徴とする。
また、請求項１３の発明にかかる映像内容認識方法は、連続する一連のフレーム画像列によってあらわされる映像の内容を認識する映像内容認識方法であって、前記映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割工程と、前記分割工程によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出工程と、前記類似映像ショット抽出工程によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出工程と、前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出工程によって抽出された映像ショットに決定する代表映像ショット決定工程と、を含んだことを特徴とする。
また、請求項１４の発明にかかる録画方法は、連続する一連のフレーム画像列によってあらわされる映像を録画する録画方法であって、録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報を入力する録画情報入力工程と、前記録画情報入力工程によって入力された録画情報にかかる番組の映像の録画を開始する録画開始工程と、前記録画開始工程によって録画が開始された番組にかかる映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割工程と、前記分割工程によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出工程と、前記類似映像ショット抽出工程によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出工程と、前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出工程によって抽出された映像ショットに決定する代表映像ショット決定工程と、前記代表映像ショット決定工程によって決定された決定結果に基づいて、前記録画情報にかかる録画を終了する録画終了工程と、を含んだことを特徴とする。
また、請求項１５の発明にかかる映像内容認識プログラムは、請求項１３に記載の映像内容認識方法を、コンピュータに実行させることを特徴とする。
また、請求項１６の発明にかかる録画プログラムは、請求項１４に記載の録画方法を、コンピュータに実行させることを特徴とする。
以下に添付図面を参照して、この発明にかかる映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラムの好適な実施の形態を詳細に説明する。
（実施の形態）
（映像内容認識装置および録画装置のハードウェア構成）
まず、この発明の実施の形態にかかる映像内容認識装置および録画装置のハードウェア構成について説明する。図１は、この発明の実施の形態にかかる映像内容認識装置および録画装置のハードウェア構成を示す説明図である。
図１において、映像内容認識装置および録画装置は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、ＨＤ（ハードディスク）１０５と、プレーヤ／レコーダ１０６と、着脱可能な記録媒体１０７と、映像・音声入力Ｉ／Ｆ１０８と、受信アンテナ１０９と、映像・音声出力Ｉ／Ｆ１１０と、ディスプレイ１１１と、スピーカ（ヘッドホン）１１２と、データ入力Ｉ／Ｆ１１３と、リモコン１１４と、キーボード／マウス１１５と、通信Ｉ／Ｆ１１６と、これらを接続するバス１００と、から構成されている。
ここで、ＣＰＵ１０１は、映像内容認識装置および録画装置の全体の制御を司る。ＲＯＭ１０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＨＤＤ１０４は、ＣＰＵ１０１の制御にしたがってＨＤ１０５に対するデータのリード／ライトを制御する。ＨＤ１０５は、ＨＤＤ１０４の制御で書き込まれたデータを記憶する。
プレーヤ／レコーダ１０６は、ＣＰＵ１０１の制御にしたがって記録媒体１０７に対するデータの再生／記録をおこなう。記録媒体１０７は、プレーヤ／レコーダ１０６に着脱自在とされ、プレーヤ／レコーダ１０６の制御にしたがってデータの読み出しまたは／および書き込みがされる。記録媒体１０７としては、たとえば、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＯＭ、ＤＶＤ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＭＯ、フラッシュメモリ、ビデオテープ、ＨＤ１０５などを採用することができる。
また、映像・音声入力Ｉ／Ｆ１０８は、受信アンテナ１０９によって受信された映像や音声を入力する。映像・音声出力Ｉ／Ｆ１１０は、映像表示用のディスプレイ１１１および音声出力用のスピーカ（ヘッドホン）１１２と接続される。ディスプレイ１１１には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字や画像等の各種データが表示される。このディスプレイ１１１は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
また、データ入力Ｉ／Ｆ１１３は、文字、数値、各種指示等の入力のための複数のキーを備えたリモコン１１４やキーボード／マウス１１５から送信されてくるデータを入力する。入力されるデータとしては、たとえば、電源ＯＮ／ＯＦＦ、チャンネル設定、録画予約に関する情報が挙げられる。また、通信Ｉ／Ｆ１１６は、ＬＡＮ、ＷＡＮ、インターネットなどのネットワーク１１７から映像データ、音声データ、電子番組ガイドなどの各種データを入力する。
つぎに、この発明の実施の形態にかかる映像内容認識装置および録画装置に入力される一連のフレーム画像列について説明する。図２は、この発明の実施の形態にかかる映像内容認識装置および録画装置に入力される一連のフレーム画像列の一例を示す説明図である。
図２において、この一連のフレーム画像列２００は、任意の映像の内容をあらわしており、図１に示した映像・音声入力Ｉ／Ｆ１０８または通信Ｉ／Ｆ１１６から連続的に入力される。ここでは、一連のフレーム画像列２００によってあらわされる映像の内容の一例として、野球中継番組をあらわしている。一連のフレーム画像列２００は、複数（ｎ個）の映像ショットＳi（ｉ＝１〜ｎ）から構成される。映像ショットＳiは、映像の内容をあらわす一連のフレーム画像列２００を、その映像を映し出す画面が切り替わるカット点Ｃi（ｉ＝１〜ｎ＋１）ごとのフレーム画像列によって構成される。
たとえば、映像ショットＳiは、連続する一連のフレーム画像列ｆ1〜ｆjによって構成されている。この映像ショットＳiは、野球中継においてセンターの位置から撮影したカメラが捕らえた映像である。また、映像ショットＳiに連続する次の映像ショットＳi+1は、連続する一連のフレーム画像列ｆj+1〜ｆkによって構成されている。この映像ショットＳi+1は、野球中継においてセンター以外の位置から撮影したカメラが捕らえた映像である。なお、映像ショットＳi+1に連続する次の映像ショットＳi+2は、ここでは、コマーシャルの映像をあらわしている。
（映像内容認識装置および録画装置の機能的構成）
つぎに、この発明の実施の形態にかかる映像内容認識装置および録画装置の機能的構成について説明する。図３は、この発明の実施の形態にかかる映像内容認識装置および録画装置の機能的構成を示すブロック図である。
図３において、録画装置３００は、フレーム画像入力部３０１と、映像内容認識装置３０２と、録画情報入力部３０３と、録画部３０４と、録画制御部３０５と、から構成されている。ここで、フレーム画像入力部３０１は、たとえば、図２において示した、連続する一連のフレーム画像列２００の入力を受け付ける。このフレーム画像入力部３０１は、具体的には、たとえば、図１に示した映像・音声入力Ｉ／Ｆ１０８または通信Ｉ／Ｆ１１６によってその機能を実現する。
つぎに、映像内容認識装置３０２の機能的構成について説明する。図３において、映像内容認識装置３０２は、分割部３２０と、特徴情報生成部３２１と、特徴情報データベース３２２と、フィルタ処理部３２３と、類似映像ショット抽出部３２４と、類似数最多映像ショット抽出部３２５と、代表映像ショット決定部３２６と、判定部３２７と、映像内容認識部３２８と、から構成されている。
分割部３２０は、フレーム画像入力部３０１から入力される一連のフレーム画像列を、その映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する。具体的には、図２に示したような一連のフレーム画像列２００を、複数の映像ショットＳiに分割する。
この分割部３２０は、エッジ検出部３３１と、挙動解析部３３２と、色解析部３３３と、カット点検出部３３４と、から構成されている。エッジ検出部３３１は、フレーム画像入力部３０１から連続的に入力される各フレーム画像から、フレーム画像内にあらわれるオブジェクトのエッジを検出する。このオブジェクトとしては、図２に示したフレーム画像ｆ1では、選手、審判、グラウンド、バックネットなどを示す。
また、挙動解析部３３２は、エッジ検出部３３１によって検出された一のフレーム画像のエッジと他のフレーム画像のエッジとを比較してオブジェクトの挙動を解析する。たとえば、図２に示した映像ショットＳi内では、選手、審判などの動的なオブジェクトは、エッジの一部または全部が移動する。一方、映像ショットＳi内で、グラウンドやバックネットなどの静的なオブジェクトは、エッジはほとんど移動しない。
また、カット点Ｃi+1を超えると、エッジ検出部３３１によって検出されるエッジのオブジェクトが、つぎの映像ショットＳi+1のオブジェクトに変更するため、挙動情報が大きく変更する。また、挙動解析部３３２は、フレーム画像列２００がＭＰＥＧ２の画像圧縮形式によって圧縮されている場合は、フレーム画像と動きベクトルによって映像ショットＳの挙動を解析することができる。
色解析部３３３は、各フレーム画像の色を解析する。具体的には、たとえば、各フレーム画像を、輝度信号（Ｙ）と、輝度信号と赤色成分の差分（Ｕ）と、輝度信号と青色成分の差分（Ｖ）からなるＹＵＶ形式の色情報を算出する。これにより、一フレーム画像の色情報を解析することができる。たとえば、映像ショットＳiでは同一オブジェクトを連続して撮影しているため、ほとんど色情報は変動しないが、次の映像ショットＳi+1に切り替わると、色情報が大きく変動する。
カット点検出部３３４は、連続する２つのフレーム画像を比較して、映像を映し出す画面が切り替わるカット点Ｃを検出する。具体的には、連続する２つのフレーム画像についての色情報の差や挙動情報の差が、所定のしきい値よりも大きくなった場合に、連続する２枚のフレーム画像間をカット点Ｃとして検出することができる。
たとえば、図２に示した連続するフレーム画像ｆj、ｆj+1の色情報や挙動情報を比較し、あらかじめ設定した所定のしきい値よりも大きい場合は、映像ショットＳが映像ショットＳiから映像ショットＳi+1に切り替わったと判断する。また、カット点Ｃi+1をまたぐ一方のフレーム画像ｆjを終了フレーム、他方のフレーム画像ｆj+1を開始フレームとして検出する。
このカット点Ｃを検出することにより、フレーム画像入力部３０１から連続的に入力されるフレーム画像列２００を、カット点Ｃごとに切り替わる一連のフレーム画像列からなる映像ショットＳに分割することができる。また、この分割部３２０は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
特徴情報生成部３２１は、分割部３２０によって分割された映像ショットＳごとに、その映像ショットＳの特徴をあらわす特徴情報を生成する。また、特徴情報データベース３２２は、特徴情報生成部３２１によって生成された特徴情報を記憶する。図４は、この発明の実施の形態にかかる特徴情報データベース３２２の記憶内容をあらわす説明図である。
図４において、この特徴情報は、具体的には、各映像ショットＳの開始フレームおよび終了フレームからなる区間情報、各映像ショットＳを構成する各フレーム画像の色情報を平均化した映像ショットＳの色情報、各映像ショットＳに含まれているフレーム画像の各挙動情報を平均化した映像ショットの挙動情報によって構成されている。この特徴情報生成部３２１は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。また、特徴情報データベース３２２は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などによって、その機能を実現する。
また、図３において、フィルタ処理部３２３は、特徴情報データベース３２２に記憶されている特徴情報から、映像内のコマーシャルに相当する映像ショットＳi+2の特徴情報を消去する。具体的には、野球中継では、一つのカメラによって撮影された映像ショットＳのフレーム画像数は、他の番組やコマーシャルと比較して多いため、所定のしきい値を設定し、フレーム画像数が所定のしきい値以下となる特徴情報を消去する。各映像ショットＳは、終了フレーム番号と開始フレーム番号の差分から算出することができる。このフィルタ処理部３２３は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
また、類似映像ショット抽出部３２４は、分割部３２０によって分割された映像ショットＳごとに、当該映像ショットＳに類似する映像ショットＳを抽出する。具体的には、特徴情報データベース３２２に記憶されている各映像ショットＳの特徴情報を用いて、映像ショットＳごとに、当該映像ショットＳと他の映像ショットＳとの類似度を算出する。この類似度は、たとえば、比較対象となる２つの映像ショットＳの特徴情報に含まれている色情報の差分値とすることができる。
また、比較対象となる２つの映像ショットＳの特徴情報に含まれている挙動情報の差分値とすることもできる。さらに、この色情報の差分値と挙動情報の差分値の合計値とすることもできる。そして、所定の類似度以内の映像ショットＳを類似映像ショットＳｒとして抽出する。この類似映像ショット抽出部３２４は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
また、類似映像ショット抽出部３２４による、より具体的な抽出例について説明する。図５は、この発明の実施の形態にかかる類似映像ショット抽出部３２４による、より具体的な抽出例を示す説明図である。この類似映像ショット抽出部３２４は、図５において、より具体的には、連続する一連の映像ショットＳを、複数の区間Ｅに分割する。つぎに、分割された各区間Ｅ内の映像ショットＳの中から、互いに類似する映像ショットＳを抽出する。たとえば、区間Ｅ１では、映像ショットＳａ〜Ｓｅから互いに類似する映像ショットＳｂ、Ｓｄを抽出する。
そして、任意の区間Ｅ（たとえばＥ１）から抽出された映像ショットＳｂ、Ｓｄと、任意の区間Ｅ１以外の他のすべての区間Ｅから抽出された映像ショットＳとの類似度を算出し、各区間Ｅから抽出された映像ショットＳごとに、当該映像ショットＳに類似する映像ショットＳｒを抽出する。
このように、類似映像ショットＳｒを抽出する際、連続する一連の映像ショットＳを、複数の区間Ｅに分割することにより、区間Ｅ内に類似する映像ショットＳが存在しない映像ショットＳを除外することができ、映像ショットＳのショット数が多い番組、たとえば１時間以上の番組について、類似映像ショットＳｒの抽出速度の向上を図ることができる。
また、図３において、類似数最多映像ショット抽出部３２５は、類似映像ショット抽出部３２４によって抽出された映像ショットＳのショット数が最多となる映像ショットＳｒｍを抽出する。また、抽出候補となる映像ショットＳｒｍが複数存在する場合は、抽出候補のうちいずれの映像ショットＳｒｍを抽出することとしてもよい。この類似数最多映像ショット抽出部３２５は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
また、代表映像ショット決定部３２６は、第１の代表映像ショット決定部３４１と、第２の代表映像ショット決定部３４２とから構成されている。第１の代表映像ショット決定部３４１は、映像の内容を代表する代表映像ショットＳＤを、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに決定する。
第２の代表映像ショット決定部３４２は、後述する判定部３２７によって判定された判定結果に基づいて、映像の内容を代表する代表映像ショットＳＤを、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに決定する。この判定結果については後述する。また、この代表映像ショット決定部３２６は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
また、判定部３２７は、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに類似する映像ショットＳのショット数と、分割部３２０によって分割された映像ショットＳのショット数とに基づいて、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍが、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しいかどうかを判定する。判定部３２７は、具体的には、出現割合算出部３４３と、割合比較部３４４と、比較結果判定部３４５と、から構成されている。
出現割合算出部３４３は、分割部３２０によって分割された映像ショットＳのショット数における、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに類似する映像ショットＳのショット数が出現する割合を算出する。たとえば、分割部３２０によって分割された映像ショットＳのショット数をＮ、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに類似する映像ショットＳのショット数をＭとすると、出現割合Ｐは、Ｐ＝Ｍ／Ｎであらわされる。
また、割合比較部３４４は、出現割合算出部３４３によって算出された出現割合Ｐと所定の出現割合Ｑとを比較する。また、比較結果判定部３４５は、割合比較部３４４によって比較された比較結果に基づいて、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍが、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しいかどうかを判定する。
具体的には、出現割合Ｐが所定の出現割合Ｑ以上であれば、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍが、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しいと判定する。一方、出現割合Ｐが所定の出現割合Ｑ以上でなければ、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍが、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しくないと判定する。
この判定結果は、第２の代表映像ショット決定部３４２に出力される。第２の代表映像ショット決定部３４２では、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しいという判定結果である場合、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍを、映像の内容を代表する代表映像ショットＳＤに決定する。
すなわち、第１の代表映像ショット決定部３４１による決定を維持する。一方、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しくないという判定結果である場合、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍを、代表映像ショットＳＤに決定しない。また、判定部３２７は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
このように、代表映像ショット決定部３２６によって代表映像ショットＳＤが決定された場合、その映像内容は、代表映像ショットＳＤに決定された映像ショットまたはこれに類似する映像ショットが繰り返し出現する映像内容となる。このような映像内容としては、たとえば、野球、テニス、バレーボール、相撲、ボクシング、プロレス、マラソン、駅伝などの各種スポーツ中継番組が挙げられる。
一方、代表映像ショット決定部３２６によって代表映像ショットＳＤが決定されない場合、その映像内容は、代表映像ショットＳＤに決定された映像ショットと非類似の映像ショットが多数出現する映像内容となる。このような映像内容としては、たとえば、ドラマ、ニュース、バラエティ、アニメなど、画面の切り替えがスポーツ中継番組に比して頻繁におこなわれる番組が挙げられる。したがって、代表映像ショットＳＤの決定の有無により、現在放送されている番組が、スポーツ中継であるか否かを検出することができる。
また、映像内容認識部３２８は、代表映像ショットＳＤに決定された映像ショットＳと、代表映像ショットＳＤの決定後に、分割部３２０によって分割されたあらたな映像ショットＳとに基づいて、映像内容を認識する。具体的には、代表映像ショットＳＤの決定後に入力された、他の一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像の内容と同一内容であるかどうかを認識する。この映像内容認識部３２８は、類似度算出部３５１と、ショット数検出部３５２と、図表生成部３５３と、ショット数比較部３５４と、判定結果出力部３５５とから構成されている。
類似度算出部３５１は、代表映像ショットＳＤに決定された映像ショットＳと、分割部３２０によって分割されたあらたな映像ショットＳとの類似度を算出する。具体的には、代表映像ショットＳＤの決定後にあらたに一連のフレーム画像列２００が入力されると、分割部３２０によってあらたな映像ショットＳに分割する。そして、特徴情報生成部３２１によってあらたな映像ショットＳの特徴情報を生成し、特徴情報データベース３２２に記憶される。
そして、特徴情報データベース３２２に記憶された特徴情報を用いて、代表映像ショットＳＤに決定された映像ショットＳとあらたな映像ショットＳとの類似度を算出する。この類似度は、たとえば、比較対象となる２つの映像ショットＳの特徴情報の色情報の差分値とすることができる。また、比較対象となる２つの映像ショットＳの特徴情報の挙動情報の差分値とすることもできる。さらに、この色情報の差分値と挙動情報の差分値の合計値とすることもできる。そして、所定の類似度以内の映像ショットＳを類似映像ショットＳｒとして抽出する。
また、ショット数検出部３５２は、類似度算出部３５１によって算出された類似度ごとにおける、あらたな映像ショットＳのショット数を検出する。また、図表生成部３５３は、ショット数検出部３５２によって検出された検出結果をあらわす図表を生成する。ここで、この図表生成部３５３によって生成された図表について説明する。図６および図７は、この発明の実施の形態にかかる図表生成部３５３によって生成された図表の一例を示す説明図である。
この図６および図７では、図表生成部３５３は、代表映像ショットＳＤに対する他の映像ショットＳの類似度およびそのショット数の関係をヒストグラムおよび相関関数によってあらわしている。また、図６は、野球中継をあらわす映像内容に関する図表であり、図７はドラマをあらわす映像内容に関する図表である。図６および図７のヒストグラムおよび相関関数において、横軸は代表映像ショットＳＤを「０」とした場合のあらたな映像ショットＳの類似度であり、縦軸は、類似度ごとのあらたな映像ショットＳのショット数である。
ここで、図６に示した図表では、類似度「６００００」でピーク値（ショット数「４４」）が出現する。このピーク値に相当する類似度が相関関数の極大値となる。そして、その後類似度が増加するにしたがってショット数が減少傾向となり、相関関数では、類似度「１５００００」で極小値をとる。そして、類似度「１５００００」から再びショット数が上昇傾向となる。一方、図７の図表では、類似度が高いとショット数が多くなる。すなわち、相関関数は右肩上がりの関数となる。
また、図３において、ショット数比較部３５４は、図表生成部３５３によって生成された図表の形状に基づいて、所定の類似度以下の任意の類似度のショット数と所定のショット数とを比較する。そして、この比較結果に基づいて、代表映像ショットＳＤの決定後に入力された、他の一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像の内容と同一内容であるかどうかを判定する。
具体的には、図６に示した図表を用いて説明すると、所定の類似度を「１５００００」に設定する。すなわち、類似度が「１５００００」以下であれば、代表映像ショットＳＤに類似し、類似度が「１６００００」以上であれば、代表映像ショットＳＤと非類似となる。また、所定のショット数を「２０」とする。この条件下において、所定の類似度「１５００００」以下となる類似度のうち、ショット数が「２０」以上となる類似度は、「６００００」、「７００００」、「８００００」である。
ここで、判定基準としては、具体的には、たとえば、所定のショット数以上となる類似度の有無、または個数によって判断することとしてもよい。また、所定のショット数以上となる類似度の合計値やそのショット数の和を算出し、それぞれ予め設定したしきい値を比較することで、代表映像ショットＳＤにかかる映像の内容と同一内容であるかどうかを認識する。
たとえば、判定基準が、ショット数が所定のショット数「２０」以上となる類似度の有無であるとすると、上記の例では、「６００００」、「７００００」、「８００００」の３つの類似度が出現しているため、代表映像ショットＳＤの決定後に入力された、他の一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像の内容と同一内容であると認識することができる。
判定結果出力部３５５は、ショット数比較部３５４によって判定された判定結果に関する情報（判定結果情報）を生成して、生成した判定結果情報を録画制御部３０５に出力する。また、映像内容認識部３２８は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
また、図３において、録画情報入力部３０３は、任意の番組の放送日、放送開始時刻、放送チャンネルおよび放送時間を含む録画情報の入力を受け付ける。この録画情報は、たとえば、Ｇコード（登録商標）や電子番組ガイドが一例として挙げられる。この電子番組ガイドには、録画情報にかかる番組または録画情報より先に放送される番組の放送日、放送開始時刻、放送チャンネルおよび放送時間、放送延長の有無や最大延長時間などの先の番組情報を含むことができる。
また、ユーザは、Ｇコード（登録商標）や電子番組ガイドのほか、操作キーまたは数字キーを用いて直接、任意の番組の録画情報を入力することもできる。この録画情報入力部３０３は、具体的には、たとえば、図１に示したリモコン１１４、キーボード／マウス１１５、その他図示しない入力キーなどによって、または、データ入力Ｉ／Ｆ１１３もしくは通信Ｉ／Ｆ１１６によって、その機能を実現する。
録画部３０４は、任意の番組を、所定の記録メディアに録画する。録画部３０４は、記録メディアに録画した映像を再生することもできる。この録画部３０４は、具体的には、たとえば、図１に示したプレーヤ／レコーダ１０６によってその機能を実現する。また、記録メディアは、具体的には、図１に示した記録媒体１０７またはＨＤ１０５によってその機能を実現する。
録画制御部３０５は、録画部３０４を制御して、録画情報入力部３０３によって入力された録画情報にかかる番組を録画する。具体的には、録画情報に含まれている放送日の放送開始時刻になると、録画部３０４を起動して、録画情報にかかる放送チャンネルの映像、より具体的には、その映像の内容をあらわす一連のフレーム画像列２００を、放送時間分録画する。
また、録画制御部３０５は、録画部３０４を制御して、代表映像ショット決定部３２６の決定結果または映像内容認識部３２８からの認識結果に基づいて、録画中の映像についての録画の継続、停止、または記録メディアに録画された映像データの消去をおこなう。たとえば、録画したい番組が野球中継である場合、雨天中止になるとドラマなどの代替番組が放送される。したがって、この野球中継を録画している場合、代表映像ショットＳＤが決定された場合は、野球中継が放送されていると判断することができ、録画を継続する。
一方、代表映像ショットＳＤが決定されない場合は、野球中継が放送されておらず代替番組が放送されていると判断することができ、録画を停止する。さらに、録画された映像を消去してもよい。この録画制御部３０５は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
つぎに、上述した実施の形態にかかる実施例１について説明する。この実施例１では、上述した実施の形態にかかる映像内容認識装置３０２による代表映像ショット決定処理手順について説明する。図８は、上述した実施の形態にかかる映像内容認識装置３０２による代表映像ショット決定処理手順を示すフローチャートである。
図８において、所定時間分の連続する一連のフレーム画像列２００が入力された場合（ステップＳ８０１：Ｙｅｓ）、このフレーム画像列２００からカット点Ｃを検出して映像ショットＳに分割する（ステップＳ８０２）。つぎに、分割された映像ショットＳごとに、その映像ショットＳの特徴をあらわす特徴情報を生成する（ステップＳ８０３）。そして、生成された各映像ショットＳの特徴情報をフィルタ処理する（ステップＳ８０４）。
この後、各映像ショットＳの特徴情報から、映像ショットＳごとに、当該映像ショットＳに類似する映像ショット（類似映像ショットＳｒ）を抽出する（ステップＳ８０５）。映像ショットＳごとに、類似映像ショットＳｒのショット数を検出して、検出された類似映像ショットＳｒのショット数が最多となる映像ショット（類似数最多映像ショットＳｒｍ）を抽出する（ステップＳ８０６）。そして、この類似数最多映像ショットＳｒｍを、所定時間分の連続する一連のフレーム画像列２００によってあらわされる映像の内容を代表する代表映像ショットＳＤに決定する（ステップＳ８０７）。
この実施例１の処理手順によれば、実際に放送されている映像の内容をあらわすフレーム画像列２００から、代表映像ショットＳＤを決定することができるため、あらかじめ認識対象となる番組の映像を用意しなくても、実際に放送されている映像が、固定視点からの映像を繰り返し放送する構造である映像であることを認識することができる。
つぎに、上述した実施の形態にかかる実施例２について説明する。この実施例２は、上述した実施例１にかかる代表映像ショットＳＤの決定精度を向上させた処理である。図９は、上述した実施の形態にかかる映像内容認識装置３０２による代表映像ショット決定処理手順を示すフローチャートである。なお、ステップＳ８０１〜Ｓ８０７については、図８に示した手順と同一であるので、その説明は省略する。
図９において、ステップＳ８０７によって代表映像ショットＳＤを類似数最多映像ショットＳｒｍに決定（仮決定）した後、分割された映像ショットＳのショット数における、類似数最多映像ショットＳｒｍに類似する映像ショットＳのショット数が出現する出現割合Ｐを算出する（ステップＳ９０１）。そして、この算出された出現割合Ｐと、あらかじめ設定された所定の出現割合Ｑとを比較する（ステップＳ９０２）。
Ｐ≧Ｑの場合（ステップＳ９０３：Ｙｅｓ）、類似数最多映像ショットＳｒｍが、代表映像ショットＳＤに相応しいこととなり、代表映像ショットＳＤを、類似数最多映像ショットＳｒｍに決定（本決定）する（ステップＳ９０４）。一方、Ｐ＜Ｑの場合（ステップＳ９０３：Ｎｏ）、類似数最多映像ショットＳｒｍが、代表映像ショットＳＤに相応しくないこととなり、類似数最多映像ショットＳｒｍを、代表映像ショットＳＤに決定しない（ステップＳ９０５）。これにより、ステップＳ８０７による代表映像ショットＳＤの決定（仮決定）は取り消される。
この実施例２の処理手順によれば、類似数最多映像ショットＳｒｍに類似する映像ショットＳのショット数が出現する出現割合Ｐが所定以上の場合のみ、代表映像ショットＳＤに決定する。したがって、実際に放送されている映像が、固定視点からの映像を繰り返し放送する構造であることを、高精度に認識することができる。
つぎに、上述した実施の形態にかかる実施例３について説明する。この実施例３では、上述した実施の形態にかかる録画装置３００による録画処理手順について説明する。図１０は、上述した実施の形態にかかる録画装置３００による録画処理手順を示すフローチャートである。また、ここでは、録画したい番組として、放送時間の延長可能性がある野球中継を例に挙げて説明する。
図１０において、野球中継に関する録画情報が入力され（ステップＳ１００１：Ｙｅｓ）、録画開始時刻になった場合（ステップＳ１００２：Ｙｅｓ）、野球中継の録画をおこなう（ステップＳ１００３）。そして、代表映像ショットＳＤの決定処理をおこなう（ステップＳ１００４）。この代表映像ショットの決定処理は、図８または図９のフローチャートに示した代表映像ショットＳＤの決定処理であるため、その説明は省略する。
そして、ステップＳ１００４の後、代表映像ショットＳＤが決定された場合（ステップＳ１００５：Ｙｅｓ）、録画開始時刻と放送時間から算出した通常の録画終了時刻を、所定時間Ｔ（たとえば５分）の２倍の時間２Ｔ分延長する（ステップＳ１００６）。そして、通常の録画終了時刻経過後、所定時間Ｔが経過した場合（ステップＳ１００７：Ｙｅｓ）、映像内容認識処理をおこなう（ステップＳ１００８）。この映像内容認識処理については後述する。
そして、延長された時間、すなわち所定時間Ｔ中に連続的に入力された一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像内容と同一内容であると認識された場合（ステップＳ１００９：Ｙｅｓ）、延長後の録画終了時刻を、さらに所定時間Ｔ分延長する（ステップＳ１０１０）。この後、ステップＳ１００７に戻る。
一方、ステップＳ１００９において、代表映像ショットＳＤにかかる映像内容と同一内容であると認識されなかった場合（ステップＳ１００９：Ｎｏ）、延長後の録画終了時刻になると（ステップＳ１０１１：Ｙｅｓ）、野球中継の録画を終了する（ステップＳ１０１２）。これにより、野球中継の放送が延長された場合であっても、野球中継の放送終了まで録画をおこなうことができる。
また、ステップＳ１００５において代表映像ショットＳＤが決定されなかった場合（ステップＳ１００５：Ｎｏ）、実際に放送されている番組は、たとえば雨天中止によって放送されている代替番組である。したがって、この場合は録画を終了する（ステップＳ１０１２）。この場合の録画の終了は、単に録画を停止するだけでもよく、録画する記録媒体がビデオテープの場合は録画開始位置までビデオテープを巻き戻してもよい。また、録画する記録媒体がハードディスクやＤＶＤ＋ＲＷ、ＤＶＤ−ＲＷなどの書換可能な記録媒体１０７の場合は、この録画した映像を消去することとしてもよい。これにより、ユーザの編集作業の効率化を図ることができる。
つぎに、図１０に示した映像内容認識処理（ステップＳ１００８）について説明する。図１１は、図１０に示した映像内容認識処理手順を示すフローチャートである。図１１において、所定時間Ｔ分の連続する一連のフレーム画像列２００が入力された場合（ステップＳ１１０１：Ｙｅｓ）、このフレーム画像列２００からカット点Ｃを検出して映像ショットＳに分割する（ステップＳ１１０２）。つぎに、分割された映像ショットＳごとに、その映像ショットＳの特徴をあらわす特徴情報を生成する（ステップＳ１１０３）。そして、生成された各映像ショットＳの特徴情報をフィルタ処理する（ステップＳ１１０４）。
つぎに、各映像ショットＳの特徴情報を用いて、代表映像ショットＳＤと分割された映像ショットＳとの類似度を算出する（ステップＳ１１０５）。そして、算出された類似度ごとのショット数を検出する（ステップＳ１１０６）。この算出された類似度と、検出された類似度ごとのショット数とから、類似度ごとのショット数の分布をあらわすヒストグラムを生成する（図６および図７を参照）（ステップＳ１１０７）。
そして、生成されたヒストグラムから、所定時間Ｔ中に連続的に入力された一連のフレーム画像列２００によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像内容と同一内容であるかどうかを判定する（ステップＳ１１０８）。なお、この判定結果に関する情報は映像内容の認識結果となる。
この映像内容認識処理によれば、実際に放送された映像内容を代表する代表映像ショットＳＤと、現在放送されている映像の内容とを比較することができる。これにより、野球中継のような同一視点からの繰り返し映像が継続して放送されているか否かを認識できる。
ここで、この録画処理における、経過時間に対する映像ショットＳの出現分布について説明する。図１２は、この録画処理における、経過時間に対する映像ショットの出現分布を示す図表である。一例として、この図表では、放送時間の延長可能性がある野球中継の映像ショットＳをプロットしている。
図１２において、横軸は経過時刻、縦軸は代表映像ショットＳＤとの類似度をあらわしている。また、類似かどうかのしきい値となる類似度は、ここでは、類似度「１４０００」とされている。したがって、類似度「１４０００」以下であれば、出現した映像ショットＳは代表映像ショットＳＤに類似している。
また、野球中継の放送開始時刻が１９：００、放送時間が１１０分とすると、通常の放送終了時刻は、２０：５０である。そして、１９：００から１９：１０までの一連のフレーム画像列から、代表映像ショットＳＤを決定する。ここで決定される代表映像ショットＳＤは、図２の映像ショットＳiに示したような、野球中継のカメラ視点の中で最も多く出現するセンターの位置からの投球ショットである。
この代表映像ショットＳＤが決定された後、すなわち１９：１０以後は、代表映像ショットＳＤに決定された映像ショットＳと、あらたに得られた所定時間（たとえば１０分間隔）分の映像ショットＳとの類似度によって、野球中継が継続されているかを判断することができる。また、この図表では、野球中継が終了する２０：５０以後も類似度「１４０００」以下の映像ショットＳが出現しているため、野球中継が延長されていると判断することができる。そして、２１：１５以後は、類似度「１４０００」以下の映像ショットＳが出現していないため、延長された野球中継の放送が終了したことがわかる。
つぎに、上述した実施の形態にかかる実施例４について説明する。この実施例４では、上述した実施の形態にかかる録画装置３００による他の録画処理手順について説明する。具体的には、録画したい番組より先に放送される番組が、放送時間の延長可能性があり、かつ同一視点からの映像が繰り返される番組である場合の録画処理手順である。図１３は、上述した実施の形態にかかる録画装置３００による他の録画処理手順を示すフローチャートである。また、ここでは、録画したい番組より先に放送される番組として、放送時間の延長可能性がある野球中継を例に挙げて説明する。
まず、録画したい番組の録画情報が入力された場合（ステップＳ１３０１：Ｙｅｓ）、録画したい番組より先に放送される野球中継の番組情報が入力されたか否かを判定する（ステップＳ１３０２）。先に放送される野球中継の番組情報が入力されない場合（ステップＳ１３０２：Ｎｏ）、ステップＳ１３１４に移行する。
先に放送される野球中継の番組情報が入力された場合（ステップＳ１３０２：Ｙｅｓ）、その野球中継の放送開始時刻になると（ステップＳ１３０３：Ｙｅｓ）、野球中継の映像内容をあらわす一連のフレーム画像列を取り込んで、代表映像ショット決定処理をおこなう（ステップＳ１３０４）。この代表映像ショット決定処理は、図８または図９のフローチャートで示した代表映像ショット決定処理と同一処理であるため、その説明を省略する。
そして、ステップＳ１３０４の後、代表映像ショットＳＤが決定された場合（ステップＳ１３０５：Ｙｅｓ）、野球中継の放送終了予定時刻を、所定時間Ｔ（たとえば５分）の２倍の時間２Ｔ分延長する（ステップＳ１３０６）。そして、通常の録画終了予定時刻経過後、所定時間Ｔが経過した場合（ステップＳ１３０７：Ｙｅｓ）、映像内容認識処理をおこなう（ステップＳ１３０８）。この映像内容認識処理は、図１１のフローチャートに示した映像内容認識処理と同一処理であるため、その説明を省略する。
そして、延長された時間、すなわち所定時間Ｔ中に連続的に入力された一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像内容と同一内容であると認識された場合（ステップＳ１３０９：Ｙｅｓ）、延長後の放送終了予定時刻を、さらに所定時間Ｔ分延長する（ステップＳ１３１０）。この後、ステップＳ１３０７に戻る。
一方、ステップＳ１３０９において、代表映像ショットＳＤにかかる映像内容と同一内容であると認識されなかった場合（ステップＳ１３０９：Ｎｏ）、延長後の放送終了予定時刻になると（ステップＳ１３１１：Ｙｅｓ）、野球中継の放送延長時間を算出する（ステップＳ１３１２）。この延長時間の算出は、延長後の放送終了予定時刻と通常の放送終了時刻との差分によって算出することができる。
そして、算出された延長時間を、録画したい番組の録画情報に含まれている録画開始時刻と放送時間に加算することにより、録画情報を変更する（ステップＳ１３１３）。この後、録画情報にかかる録画開始時刻になった場合（ステップＳ１３１４：Ｙｅｓ）、録画情報にかかる番組を録画する（ステップＳ１３１５）。これにより、野球中継が延長された場合でも、実際に放送時間が延長された時間だけ検出でき、その後に放送される録画したい番組の放送開始から放送終了までの映像を正確に録画することができる。
また、ステップＳ１３０５により代表映像ショットＳＤが決定されなかった場合（ステップＳ１３０５：Ｎｏ）、野球中継が雨天などの理由により中止となって同一視点からの映像の繰り返し構造を持たない代替番組が放送されている。したがって、ステップＳ１３０１において入力された録画情報にかかる録画開始時刻になったかを検出して（ステップＳ１３１４）、録画情報にかかる番組を録画することができる。
したがって、この場合も、録画したい番組の放送開始から放送終了までの映像を正確に録画することができる。このように、この実施例４にかかる録画処理によれば、録画したい番組より先に放送される番組が延長可能性がある場合、延長の有無および延長時間にかかわらず、録画したい番組の放送開始から放送終了までの映像を正確に録画することができる。
つぎに、上述した実施の形態にかかる実施例５について説明する。この実施例５では、上述した実施の形態にかかる録画装置３００による他の録画処理手順について説明する。この録画処理は、録画開始時刻を遅らせることにより、実質的な放送開始時刻から映像を録画する処理である。たとえば、図１２の図表に示した野球中継では放送開始から数分間、たとえば２分間は、グラウンド全体、スコアボード、実況および解説者、前回対戦したときの試合内容、放送時間前におこなわれた試合内容のハイライトなど実質的な野球中継以外の映像が映し出される場合が多い。また、投球ショットが映し出されても番組のタイトルなどのテロップが映し出されることとなる。このことを利用して、放送開始時刻１９：００から１９：０２までの２分の間に代表映像ショット（投球ショット）の決定処理（後述するステップＳ１４０３）をおこなう。図１４は、上述した実施の形態にかかる録画装置３００による別の録画処理手順を示すフローチャートである。
図１４において、野球中継に関する録画情報が入力され（ステップＳ１４０１：Ｙｅｓ）、録画開始時刻になった場合（ステップＳ１４０２：Ｙｅｓ）、代表映像ショットＳＤの決定処理をおこなう（ステップＳ１４０３）。この代表映像ショットの決定処理は、図８または図９のフローチャートに示した代表映像ショットＳＤの決定処理であるため、その説明は省略する。そして、代表映像ショットが決定されない場合（ステップＳ１４０４：Ｎｏ）、再度代表映像ショットＳＤの決定処理をおこなう（ステップＳ１４０３）。一方、代表映像ショットが決定された場合（ステップＳ１４０４：Ｙｅｓ）、録画をおこなう（ステップＳ１４０５）。
この実施例によれば、代表映像ショットが決定されるまでの映像は録画されないため、上述した、実質的な野球中継以外の映像の録画をカットすることができる。したがって、映像内容の録画は、実質的な野球中継をあらわす投球ショットから開始することができ、ユーザは、録画した映像内容を頭出しするだけで、投球ショットが開始するまで録画した映像内容を早送りする手間をかけずに、録画した映像（野球中継）を視聴することができる。
以上説明したように、この実施の形態にかかる映像内容認識装置３０２および録画装置３００によれば、あらかじめ映像認識用のデータを用意しておく必要はなく、代表映像ショットＳＤを、認識対象となる映像ショットＳ自身から抽出することができる。したがって、映像認識用のデータ更新は不要となり、メンテナンスの必要性がないという効果を得ることができる。
また、代表映像ショットＳＤを、認識対象となる映像ショットＳ自身から抽出することにより、試合がおこなわれる球場が新しくなった場合、野球チームのユニフォームが変更された場合、野球中継をおこなっている放送局の画面レイアウトが変更された場合などにも対応することができ、検出精度の向上を図ることができる。
なお、本実施の形態で説明した映像内容認識方法および録画方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
この発明の実施の形態にかかる映像内容認識装置および録画装置のハードウェア構成を示す説明図である。 この発明の実施の形態にかかる映像内容認識装置および録画装置に入力される一連のフレーム画像列の一例を示す説明図である。 この発明の実施の形態にかかる映像内容認識装置および録画装置の機能的構成を示すブロック図である。 この発明の実施の形態にかかる特徴情報データベースの記憶内容をあらわす説明図である。 この発明の実施の形態にかかる類似映像ショット抽出部による、より具体的な抽出例を示す説明図である。 この発明の実施の形態にかかる図表生成部によって生成された図表の一例を示す説明図である（その１）。 この発明の実施の形態にかかる図表生成部によって生成された図表の一例を示す説明図である（その２）。 実施例１にかかる代表映像ショット決定処理手順を示すフローチャートである。 実施例２にかかる代表映像ショット決定処理手順を示すフローチャートである。 実施例３にかかる録画処理手順を示すフローチャートである。 図１０に示した映像内容認識処理手順を示すフローチャートである。 実施例３にかかる録画処理における、経過時間に対する映像ショットの出現分布を示す図表である。 実施例４にかかる他の録画処理手順を示すフローチャートである。 実施例５にかかる他の録画処理手順を示すフローチャートである。
符号の説明
３００ 録画装置
３０１ フレーム画像入力部
３０２ 映像内容認識装置
３０３ 録画情報入力部
３０４ 録画部
３０５ 録画制御部
３２０ 分割部
３２４ 類似映像ショット抽出部
３２５ 類似数最多映像ショット抽出部
３２６ 代表映像ショット決定部
３２７ 判定部
３２８ 映像内容認識部

Claims (16)

  1. 連続する一連のフレーム画像列によってあらわされる映像の内容を認識する映像内容認識装置であって、
    前記映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割手段と、
    前記分割手段によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出手段と、
    前記類似映像ショット抽出手段によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出手段と、
    前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出手段によって抽出された映像ショットに決定する代表映像ショット決定手段と、
    を備えることを特徴とする映像内容認識装置。
  2. 前記類似数最多映像ショット抽出手段によって抽出された映像ショットに類似する映像ショットのショット数と、前記分割手段によって分割された映像ショットのショット数とに基づいて、前記類似数最多映像ショット抽出手段によって抽出された映像ショットが、前記代表映像ショット決定手段によって決定された代表映像ショットに相応しいかどうかを判定する判定手段と、
    前記判定手段によって判定された判定結果に基づいて、前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出手段によって抽出された映像ショットに決定する第２の代表映像ショット決定手段と、
    を備えることを特徴とする請求項１に記載の映像内容認識装置。
  3. 前記判定手段は、
    前記分割手段によって分割された映像ショットのショット数における、前記類似数最多映像ショット抽出手段によって抽出された映像ショットに類似する映像ショットのショット数の出現割合を算出する出現割合算出手段と、
    前記出現割合算出手段によって算出された出現割合と所定の出現割合とを比較する出現割合比較手段と、を備え、
    前記出現割合比較手段によって比較された比較結果に基づいて、前記類似数最多映像ショット抽出手段によって抽出された映像ショットが、前記代表映像ショット決定手段によって決定された代表映像ショットに相応しいかどうかを判定することを特徴とする請求項２に記載の映像内容認識装置。
  4. さらに、前記一連のフレーム画像列以外の他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識する映像内容認識手段を備え、
    前記分割手段は、
    前記他の一連のフレーム画像列を、その映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなるあらたな映像ショットに分割し、
    前記映像内容認識手段は、
    前記代表映像ショットに決定された映像ショットと、前記分割手段によって分割されたあらたな映像ショットとに基づいて、前記他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識することを特徴とする請求項１〜３のいずれか一つに記載の映像内容認識装置。
  5. 前記映像内容認識手段は、
    前記代表映像ショットに決定された映像ショットと、前記分割手段によって分割されたあらたな映像ショットとの類似度を算出する類似度算出手段と、
    前記類似度算出手段によって算出された類似度ごとにおける、前記あらたな映像ショットのショット数を検出するショット数検出手段と、を備え、
    前記ショット数検出手段によって検出された検出結果に基づいて、前記他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識することを特徴とする請求項４に記載の映像内容認識装置。
  6. 前記映像内容認識手段は、
    前記ショット数検出手段によって検出された検出結果をあらわす図表を生成する図表生成手段を備え、
    前記図表生成手段によって生成された図表の形状に基づいて、前記他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識することを特徴とする請求項５に記載の映像内容認識装置。
  7. 前記映像内容認識手段は、
    前記図表生成手段によって生成された図表の形状に基づいて、所定の類似度以下の任意の類似度のショット数と所定のショット数とを比較するショット数比較手段を備え、
    前記ショット数比較手段によって比較された比較結果に基づいて、前記他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識することを特徴とする請求項６に記載の映像内容認識装置。
  8. 請求項１〜７のいずれか一つに記載の映像内容認識装置と、
    録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報の入力を受け付ける録画情報入力手段と、
    任意の番組の映像を録画する録画手段と、
    前記録画手段を制御して、前記録画情報入力手段によって入力された録画情報にかかる番組の映像を録画する録画制御手段と、を備え、
    前記映像内容認識装置は、
    前記録画制御手段によって録画された前記録画情報にかかる番組の内容をあらわす一連のフレーム画像列に基づいて、前記録画情報にかかる番組の内容を代表する代表映像ショットを決定し、
    前記録画制御手段は、
    前記映像内容認識装置による前記代表映像ショットの決定結果に基づいて、前記録画情報にかかる録画を終了することを特徴とする録画装置。
  9. 請求項４〜７のいずれか一つに記載の映像内容認識装置と、
    録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報の入力を受け付ける録画情報入力手段と、
    任意の番組の映像を録画する録画手段と、
    前記録画手段を制御して、前記録画情報入力手段によって入力された録画情報にかかる番組を録画する録画制御手段と、を備え、
    前記映像内容認識装置は、
    前記録画制御手段によって録画された前記録画情報にかかる番組の内容をあらわす一連のフレーム画像列に基づいて、前記録画情報にかかる番組の内容を代表する代表映像ショットを決定し、
    前記録画制御手段は、
    前記映像内容認識装置によって、前記録画情報にかかる番組を代表する代表映像ショットが決定された場合、前記録画情報にかかる番組の放送時間経過後所定時間内に入力される前記他の一連のフレーム画像列によってあらわされる映像を録画することを特徴とする録画装置。
  10. 前記映像内容認識装置は、
    前記録画制御手段によって、前記放送時間経過後所定時間内に録画された、前記他の一連のフレーム画像列によってあらわされる映像内容にかかる映像ショットと、前記録画情報にかかる番組を代表する代表映像ショットとに基づいて、前記他の一連のフレーム画像列によってあらわされる映像内容を認識し、
    前記録画制御手段は、
    前記他の一連のフレーム画像列によってあらわされる映像内容の認識結果に基づいて、前記録画情報にかかる番組の録画をさらに所定時間延長することを特徴とする請求項９に記載の録画装置。
  11. 前記録画制御手段は、
    前記他の一連のフレーム画像列によってあらわされる映像内容が、前記代表映像ショットに代表される映像内容と異なる内容である場合、前記録画情報にかかる番組の録画を終了することを特徴とする請求項１０に記載の録画装置。
  12. 請求項１〜７のいずれか一つに記載の映像内容認識装置と、
    録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報の入力を受け付ける録画情報入力手段と、
    任意の番組の映像を録画する録画手段と、
    前記録画手段を制御して、前記録画情報入力手段によって入力された録画情報にかかる番組の映像を録画する録画制御手段と、を備え、
    前記録画情報入力手段は、
    さらに、前記録画したい番組よりも先に放送される番組に関する先の番組情報を受け付け、
    前記映像内容認識装置は、
    前記録画情報入力手段によって入力された先の番組情報にかかる番組の内容をあらわす一連のフレーム画像列に基づいて、前記先の番組情報にかかる番組の内容を代表する代表映像ショットを決定し、
    前記録画制御手段は、
    前記映像内容認識装置による前記代表映像ショットの決定結果に基づいて、前記録画情報を変更することを特徴とする録画装置。
  13. 連続する一連のフレーム画像列によってあらわされる映像の内容を認識する映像内容認識方法であって、
    前記映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割工程と、
    前記分割工程によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出工程と、
    前記類似映像ショット抽出工程によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出工程と、
    前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出工程によって抽出された映像ショットに決定する代表映像ショット決定工程と、
    を含んだことを特徴とする映像内容認識方法。
  14. 連続する一連のフレーム画像列によってあらわされる映像を録画する録画方法であって、
    録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報を入力する録画情報入力工程と、
    前記録画情報入力工程によって入力された録画情報にかかる番組の映像の録画を開始する録画開始工程と、
    前記録画開始工程によって録画が開始された番組にかかる映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割工程と、
    前記分割工程によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出工程と、
    前記類似映像ショット抽出工程によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出工程と、
    前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出工程によって抽出された映像ショットに決定する代表映像ショット決定工程と、
    前記代表映像ショット決定工程によって決定された決定結果に基づいて、前記録画情報にかかる録画を終了する録画終了工程と、
    を含んだことを特徴とする録画方法。
  15. 請求項１３に記載の映像内容認識方法を、コンピュータに実行させることを特徴とする映像内容認識プログラム。
  16. 請求項１４に記載の録画方法を、コンピュータに実行させることを特徴とする録画プログラム。

JP2004012404A 2004-01-20 2004-01-20 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム Expired - Fee Related JP4166707B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004012404A JP4166707B2 (ja) 2004-01-20 2004-01-20 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム
EP05075092A EP1557838A3 (en) 2004-01-20 2005-01-12 Apparatus, method and computer product for recognizing video contents and for video recording
US11/033,972 US7587124B2 (en) 2004-01-20 2005-01-13 Apparatus, method, and computer product for recognizing video contents, and for video recording
CNA2005100024242A CN1645357A (zh) 2004-01-20 2005-01-20 用于识别视频内容和记录视频的装置、方法和计算机产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004012404A JP4166707B2 (ja) 2004-01-20 2004-01-20 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム

Publications (2)

Publication Number Publication Date
JP2005210234A true JP2005210234A (ja) 2005-08-04
JP4166707B2 JP4166707B2 (ja) 2008-10-15

Family

ID=34631891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004012404A Expired - Fee Related JP4166707B2 (ja) 2004-01-20 2004-01-20 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム

Country Status (4)

Country Link
US (1) US7587124B2 (ja)
EP (1) EP1557838A3 (ja)
JP (1) JP4166707B2 (ja)
CN (1) CN1645357A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101146926B1 (ko) * 2006-12-20 2012-05-22 엘지전자 주식회사 이동 단말기에서 비디오의 대표 영상 제공 방법
KR101301040B1 (ko) * 2007-04-09 2013-08-28 엘지전자 주식회사 코드 자동 서치 방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100774178B1 (ko) * 2004-09-14 2007-11-07 엘지전자 주식회사 전자앨범 기능을 갖는 디스플레이 장치 및 그 제어방법
US7526725B2 (en) * 2005-04-08 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Context aware video conversion method and playback system
US20070242880A1 (en) * 2005-05-18 2007-10-18 Stebbings David W System and method for the identification of motional media of widely varying picture content
US8799757B2 (en) 2005-07-01 2014-08-05 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US7941522B2 (en) 2005-07-01 2011-05-10 Microsoft Corporation Application security in an interactive media environment
US20070006238A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Managing application states in an interactive media environment
US8656268B2 (en) * 2005-07-01 2014-02-18 Microsoft Corporation Queueing events in an interactive media environment
US20070006079A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation State-based timing for interactive multimedia presentations
US8305398B2 (en) * 2005-07-01 2012-11-06 Microsoft Corporation Rendering and compositing multiple applications in an interactive media environment
US7721308B2 (en) * 2005-07-01 2010-05-18 Microsoft Corproation Synchronization aspects of interactive multimedia presentation management
US8108787B2 (en) * 2005-07-01 2012-01-31 Microsoft Corporation Distributing input events to multiple applications in an interactive media environment
US8020084B2 (en) * 2005-07-01 2011-09-13 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US20070006078A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Declaratively responding to state changes in an interactive multimedia environment
FR2894692B1 (fr) * 2005-12-08 2008-06-13 Thomson Licensing Sas Procede d'identification d'un document enregistre par affichage et selection d'images clefs, et recepteur associe.
WO2007077713A1 (ja) * 2006-01-05 2007-07-12 Nec Corporation 映像生成装置、映像生成方法および映像生成プログラム
WO2007126937A2 (en) * 2006-03-28 2007-11-08 Stebbings David W System and method for the identification of motional media in players and recorders without internet access
JP4407661B2 (ja) * 2006-04-05 2010-02-03 ソニー株式会社 放送番組予約装置、放送番組予約方法及びそのプログラム
US7956893B2 (en) * 2006-12-11 2011-06-07 Mavs Lab. Inc. Method of indexing last pitching shots in a video of a baseball game
GB2447876B (en) * 2007-03-29 2009-07-08 Sony Uk Ltd Recording apparatus
JP5173287B2 (ja) * 2007-07-06 2013-04-03 キヤノン株式会社 番組記録装置及びその制御方法
US8418194B2 (en) * 2007-08-31 2013-04-09 Centurylink Intellectual Property Llc System and method for dynamic bandwidth allocation
JP5286732B2 (ja) * 2007-10-01 2013-09-11 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US9076045B2 (en) 2009-10-07 2015-07-07 Alon Atsmon Automatic content analysis method and system
US8806341B2 (en) * 2009-12-10 2014-08-12 Hulu, LLC Method and apparatus for navigating a media program via a histogram of popular segments
JP5746765B2 (ja) 2010-07-26 2015-07-08 コーニンクレッカ フィリップス エヌ ヴェ 映像の代表画像の決定
EP2705664A2 (en) 2011-05-03 2014-03-12 Atsmon, Alon Automatic image content analysis method and system
US8913882B2 (en) * 2012-12-31 2014-12-16 Eldon Technology Limited Auto catch-up
US9025016B2 (en) * 2013-03-15 2015-05-05 Orcam Technologies Ltd. Systems and methods for audible facial recognition
USD764507S1 (en) 2014-01-28 2016-08-23 Knotch, Inc. Display screen or portion thereof with animated graphical user interface
USD763284S1 (en) * 2014-03-28 2016-08-09 Jan Magnus Edman Display screen with graphical user interface
US9583149B2 (en) * 2014-04-23 2017-02-28 Daniel Stieglitz Automated video logging methods and systems
US20150348588A1 (en) * 2014-05-27 2015-12-03 Thomson Licensing Method and apparatus for video segment cropping
US10482126B2 (en) * 2016-11-30 2019-11-19 Google Llc Determination of similarity between videos using shot duration correlation
EP3474556A1 (en) * 2017-10-23 2019-04-24 Advanced Digital Broadcast S.A. System and method for automatic adjustment of scheduled recording time
EP3477956A1 (en) * 2017-10-31 2019-05-01 Advanced Digital Broadcast S.A. System and method for automatic categorization of audio/video content
CN108391063B (zh) * 2018-02-11 2021-02-02 北京优聚视微传媒科技有限公司 视频剪辑方法及装置
CN108509931B (zh) * 2018-04-11 2021-06-01 河南工学院 足球精彩视频捕捉方法及系统
CN110971929B (zh) * 2019-10-31 2022-07-29 咪咕互动娱乐有限公司 云游戏视频处理方法、电子设备及存储介质
CN114866839B (zh) * 2022-07-11 2022-10-25 深圳市鼎合丰科技有限公司 基于重复分帧图像归并的视频编辑软件系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69322470T2 (de) * 1992-08-12 1999-07-15 Ibm System und Verfahren zur Lokalisierung von Videosegmentübergängen
JPH06309733A (ja) 1993-04-28 1994-11-04 Mitsubishi Electric Corp 録画予約装置および映像内容認識装置
US6473095B1 (en) * 1998-07-16 2002-10-29 Koninklijke Philips Electronics N.V. Histogram method for characterizing video content
JP4683253B2 (ja) * 2000-07-14 2011-05-18 ソニー株式会社 Ａｖ信号処理装置および方法、プログラム、並びに記録媒体
JP3772117B2 (ja) * 2002-01-18 2006-05-10 ソニー株式会社 情報信号処理装置および情報信号処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101146926B1 (ko) * 2006-12-20 2012-05-22 엘지전자 주식회사 이동 단말기에서 비디오의 대표 영상 제공 방법
US8307399B2 (en) 2006-12-20 2012-11-06 Lg Electronics Inc. Method of providing key frames of video in mobile terminal
US8826343B2 (en) 2006-12-20 2014-09-02 Lg Electronics Inc. Method of providing key frames of video in mobile terminal
KR101301040B1 (ko) * 2007-04-09 2013-08-28 엘지전자 주식회사 코드 자동 서치 방법

Also Published As

Publication number Publication date
EP1557838A3 (en) 2007-06-20
JP4166707B2 (ja) 2008-10-15
EP1557838A2 (en) 2005-07-27
US20050183016A1 (en) 2005-08-18
US7587124B2 (en) 2009-09-08
CN1645357A (zh) 2005-07-27

Similar Documents

Publication Publication Date Title
JP4166707B2 (ja) 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム
US7941031B2 (en) Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program
US7483618B1 (en) Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest
US8195038B2 (en) Brief and high-interest video summary generation
JP4935355B2 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
US20030063130A1 (en) Reproducing apparatus providing a colored slider bar
US20080044085A1 (en) Method and apparatus for playing back video, and computer program product
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
JP2006148932A (ja) スポーツ動映像の要約方法及び装置
KR101440168B1 (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
WO2007029489A1 (ja) コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体
JP2013207529A (ja) 表示制御装置、表示制御方法、及びプログラム
JP2013206104A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5096259B2 (ja) 要約コンテンツ生成装置および要約コンテンツ生成プログラム
WO2010125757A1 (ja) 映像音声再生装置、映像音声記録再生装置、映像音声再生方法、および映像音声記録再生方法
JP4721079B2 (ja) コンテンツ処理装置および方法
JP4835439B2 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP2013207530A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006270233A (ja) 信号処理方法及び信号記録再生装置
JP2010081531A (ja) 映像処理装置及びその方法
JPWO2011161820A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JP4341503B2 (ja) 情報信号処理方法、情報信号処理装置及びプログラム記録媒体
JP4384564B2 (ja) 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム
JP2009020621A (ja) ピッチショット検出システム、参照ピッチショット画像選定装置及び参照ピッチショット画像選定プログラム
KR20110114385A (ko) 동영상내의 객체 수동추적 방법 및 객체 서비스 저작장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080730

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees