JP2003032600A - 画像処理装置、インデックス作成システム、インデックス作成方法、記録媒体及びプログラム - Google Patents

画像処理装置、インデックス作成システム、インデックス作成方法、記録媒体及びプログラム

Info

Publication number
JP2003032600A
JP2003032600A JP2001217749A JP2001217749A JP2003032600A JP 2003032600 A JP2003032600 A JP 2003032600A JP 2001217749 A JP2001217749 A JP 2001217749A JP 2001217749 A JP2001217749 A JP 2001217749A JP 2003032600 A JP2003032600 A JP 2003032600A
Authority
JP
Japan
Prior art keywords
operation information
time interval
video data
index
integrated value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001217749A
Other languages
English (en)
Other versions
JP2003032600A5 (ja
JP4497761B2 (ja
Inventor
Hiroshi Tojo
洋 東條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001217749A priority Critical patent/JP4497761B2/ja
Priority to US10/195,403 priority patent/US7071974B2/en
Priority to EP02255021A priority patent/EP1278135A3/en
Publication of JP2003032600A publication Critical patent/JP2003032600A/ja
Publication of JP2003032600A5 publication Critical patent/JP2003032600A5/ja
Application granted granted Critical
Publication of JP4497761B2 publication Critical patent/JP4497761B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 一つのカメラ操作が発生し、その操作が停止
してから再び同じカメラ操作が行われるまでの期間が所
定の期間よりも長いときに、前回のカメラ操作終了時の
画像データをインデックスのキーフレームとして利用す
る。 【解決手段】 カメラ操作情報統合部４０２０にて、記
憶媒体４０１０より映像データおよびカメラの操作情報
を読み取り、操作内容が同一種として判定されるカメラ
操作情報について、時間的に隣接するものにはカメラ操
作情報により示される操作量の積算値を算出し、キーフ
レーム選択部４０３０が、一連の操作が完了したと見な
される際に、カメラ操作情報統合部４０２０によって算
出された操作量の積算値が所定の条件を満たすフレーム
をキーフレームとして選択し、インデックス化を行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像のブラウジ
ングや検索に必要なインデキシング技術に関するもので
あり、特に、動画像中のフレームを代表画像として取り
出してインデックスとする画像処理装置、インデックス
作成システム、インデックス作成方法、記録媒体及びプ
ログラムに関するものである。
【０００２】
【従来の技術】従来、動画像のブラウジングや検索を行
うために、インデックスを作る方法として次の方法があ
る。動画像中のフレームを取り出して代表画像（以下、
キーフレームと表現）とし、動画像中の位置とセットに
し、これをインデックスとする方法である。
【０００３】動画像はショットと呼ばれる単位に分割す
ることができる。これは、ディジタルカメラで撮った動
画像ならば、撮影開始ボタンを押してから停止させるま
でであり、テレビ放送の動画像ならばカメラのアングル
などが切り替わるまで（一場面）である。そこで、ショ
ット切り替わり（以下、カットと表現）を検出して、各
ショットの先頭フレームをインデックスとする方法がよ
く知られている。
【０００４】
【発明が解決しようとする課題】しかしながら、実際に
はひとつのショット中にも、カメラがパンをして２つ以
上の事象が写った場合、ショットの内容を把握するため
には、先頭のフレームだけをキーフレームとしたのでは
不十分であった。また、ショットの先頭からズームイン
が始まって、ショットの終わりまで、興味の対象がアッ
プされた映像が続く場合などは、先頭のフレームよりも
ズームイン後のフレームをキーフレームとした方が、シ
ョット全体のキーフレームとして相応しい、といったこ
とがあった。
【０００５】このような問題点の解決するものとして、
カメラの操作情報を利用し、例えばズームイン後のフレ
ームをキーフレームとして取り出す方法がある。その一
例として、特開平７−９９６０５号公報では、撮影時に
カメラの操作情報を映像情報と多重化して記憶媒体に書
き込んでおき、この記憶媒体を再生時にカメラの操作情
報から例えばズームイン後といった特定の条件を満足す
るフレームをキーフレームとする技術が開示されてい
る。また、特開平１０−２２４４７３６号公報では、カ
メラの操作情報を画像処理にて判定し、やはりズームイ
ン後等といった特定の条件を満足するフレームをキーフ
レームとする技術が開示されている。
【０００６】また、特にディジタルビデオなどで撮影さ
れるパーソナルコンテンツにおいては、ユーザはカメラ
操作に不慣れなため、円滑な操作を行うことが極めて困
難である。例えば、ズームインを行う際、所望のサイズ
にアップされるまで、何度もズームインを繰り返さなけ
ればならないばかりか、ズームアウトの操作も必要にな
る。これは、所望のサイズでズームインを止めることが
難しいため、補正するため行われるものである。よっ
て、この様なズームイン・ズームアウトは、本来一連の
操作とみなす必要がある。しかしながら、特開平７−９
９６０５号公報では、操作情報が一定のフレーム数以上
連続して増加もしくは減少し、一定のフレーム数の間連
続して変化がなければ操作は検出される。上記のように
ズームインとズームアウトといった、操作量の増加と減
少を繰り返すような操作は一連の操作とみなすことがで
きない。よって、多数の類似した画像や、無意味な画像
がキーフレームとして抽出される、という問題点があっ
た。
【０００７】更には、誤ってズームボタンを操作し、ま
たもとの状態に戻す、といった場合は、ユーザが意図し
た操作ではないので、キーフレームを抽出しても無意味
な画像となってしまう。しかしながら、特開平７−９９
６０５号公報及び特開平１０−２２４４７３６号公報で
は、上記のようなユーザの意図しない、或いは、誤った
操作に対してもキーフレームを抽出してしまう、という
問題点があった。
【０００８】本発明は、上記問題点に鑑みてなされたも
のであり、一つのカメラ操作が発生し、その操作が停止
してから再び同じカメラ操作が行われるまでの期間が所
定の期間よりも長いときに、一連のカメラ操作の終了を
検出し、そのカメラ操作の終了時の画像データをインデ
ックスのキーフレームとして利用することにより、利用
者にとって有用なインデックスを提示することができる
画像処理装置、インデックス作成システム、インデック
ス作成方法、記録媒体及びプログラムを提供することを
目的とする。
【０００９】また、本発明は、例えば、カメラ操作が円
滑でなかった場合に撮影されたコンテンツに対しても、
冗長な画像データをインデックスのキーフレームとして
抽出されることを防止し、利用者に適切なインデックス
のみを提示することができる画像処理装置、インデック
ス作成システム、インデックス作成方法、記録媒体及び
プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】かかる目的を達成するた
めに、請求項１記載の画像処理装置は、撮像手段で撮影
された映像データ及び各映像データの撮影時における前
記撮影手段の操作状況を示す操作情報を取得する取得手
段と、前記取得手段により取得された操作情報に基づき
前記撮像手段の操作内容を判定する判定手段と、前記判
定手段により同一種の操作内容と判定された二つの操作
情報との間における操作時間の時間間隔を算出する時間
間隔算出手段と、前記時間間隔算出手段により算出され
た時間間隔が所定期間より長いか否かを判断する第１の
判断手段と、前記第１の判断手段により時間間隔が前記
所定期間より長いと判断されると、操作時間が早い方の
操作情報に対応するフレームの映像データをインデック
スデータとして選択する選択手段とを有することを特徴
とする。
【００１１】また、請求項２記載の画像処理装置は、撮
像手段で撮影された映像データを取得する取得手段と、
前記取得手段により取得した映像データに基づき操作内
容を判定し、各映像データの撮影時における前記撮像手
段の操作状況に関する操作情報を取得する操作情報作成
手段と、前記操作情報作成手段により作成された同一種
の操作内容の二つの操作情報の間で操作時間の時間間隔
を算出する時間間隔算出手段と、前記時間間隔算出手段
により算出された時間間隔が所定期間より長いか否かを
判断する第１の判断手段と、前記第１の判断手段により
時間間隔が前記所定期間より長いと判断されると、先に
取得された方の操作情報に対応する映像データをインデ
ックスデータとして選択する選択手段とを有することを
特徴とする。
【００１２】また、請求項３記載の画像処理装置は、請
求項１又は２記載の発明において、前記第１の判断手段
により前記時間間隔算出手段により前記操作期間の時間
間隔が前記所定期間より短いと判断されると、一連の操
作の操作情報で示される各操作量の積算値を算出する積
算値算出手段と、前記積算値算出手段により算出された
積算値が所定値以上であるか否かを判断する第２の判断
手段とを有し、前記選択手段は更に、前記第１の判断手
段により時間間隔が前記所定期間より長いと判断され、
且つ、前記第２の判断手段により前記所定値以上である
と判断されると、前記先に取得された方の操作情報に対
応するフレームの映像データを前記インデックスデータ
として選択することを特徴とする。
【００１３】また、請求項４記載の画像処理装置は、請
求項３記載の発明において、前記積算値算出手段は、前
記時間間隔算出手段によりこれまで前記所定期間より時
間間隔が短いと判断されてきた一連の操作の各操作情報
について、所定方向の操作量が示されている場合には前
記操作量を加算し、前記所定方向とは反対方向の操作量
が示されている場合には前記操作量を減算していくこと
により操作量の積算値を算出することを特徴とする。
【００１４】また、請求項５記載の画像処理装置は、請
求項４記載の発明において、前記積算値算出手段は、前
記操作量の積算値を算出する際に、各操作の強さに応じ
た重み付けをした時間間隔を、操作量として用いること
を特徴とする。
【００１５】また、請求項６記載の画像処理装置は、請
求項１記載の発明において、前記取得手段は前記映像デ
ータと共に前記映像データに付加されている前記操作情
報を入力する入力手段と、前記入力手段より入力された
操作情報を検出する検出手段とを有し、前記選択手段は
前記検出手段の出力に応じて前記検出された操作情報に
対応するフレームの映像データを抽出してメモリに記憶
する記憶手段を有することを特徴とする。
【００１６】また、請求項７記載の画像処理装置は、請
求項６記載の発明において、前記操作情報は前記映像デ
ータのフレームを単位として付加されることを特徴とす
る。
【００１７】また、請求項８記載のインデックス作成シ
ステムは、映像データを撮影する撮像装置と、前記撮像
装置に撮影された映像データからインデックスを作成す
る画像処理装置とを含んで構成されるインデックス作成
システムであって、前記撮像装置は、各映像データの撮
影時における前記撮影装置の操作状況を示す操作情報を
生成する操作情報生成手段と、前記操作情報生成手段に
より生成された操作情報と前記操作情報に対応する映像
データとを多重化させて記憶媒体に記憶させる記憶手段
とを有し、前記画像処理装置は、前記記憶媒体から映像
データ及び各映像データに対応する操作情報を取得する
取得手段と、前記取得手段により取得された操作情報に
基づき前記撮像手段の操作内容を判定する判定手段と、
前記判定手段により同一種の操作内容と判定された二つ
の操作情報との間における操作時間の時間間隔を算出す
る時間間隔算出手段と、前記時間間隔算出手段により算
出された時間間隔が所定期間より長いか否かを判断する
第１の判断手段と、前記第１の判断手段により時間間隔
が前記所定期間より長いと判断されると、操作時間が早
い方の操作情報に対応するフレームの映像データをイン
デックスデータとして選択する選択手段とを有すること
を特徴とする。
【００１８】また、請求項９記載のインデックス作成シ
ステムは、請求項８記載の発明において、前記画像処理
装置は更に、前記第１の判断手段により前記時間間隔算
出手段により前記操作期間の時間間隔が前記所定時間よ
り短いと判断されると、一連の操作の操作情報で示され
る各操作量の積算値を算出する積算値算出手段と、前記
積算値算出手段により算出された積算値が所定値以上で
あるか否かを判断する第２の判断手段とを有し、前記選
択手段は更に、前記第１の判断手段により時間間隔が前
記所定期間より長いと判断され、且つ、前記第２の判断
手段により前記所定値以上であると判断されると、前記
先に取得された方の操作情報に対応するフレームの映像
データを前記インデックスデータとして選択することを
特徴とする。
【００１９】また、請求項１０記載のインデックス作成
システムは、請求項８記載の発明において、前記取得手
段は、前記映像データと共に前記映像データに付加され
ている前記操作情報を入力する入力手段と、前記入力手
段により入力された操作情報を検出する検出手段とを有
し、前記選択手段は、前記検出手段の出力に応じて前記
検出された操作情報に対応するフレームの映像データを
抽出してメモリに記憶する記憶手段を有することを特徴
とする。
【００２０】また、請求項１１記載のインデックス作成
システムは、請求項９記載の発明において、前記積算値
算出手段は、前記時間間隔算出手段によりこれまで前記
所定期間より時間間隔が短いと判断されてきた一連の操
作の各操作情報について、所定方向の操作量が示されて
いる場合には前記操作量を加算し、前記所定方向とは反
対方向の操作量が示されている場合には前記操作量を減
算していくことにより操作量の積算値を算出することを
特徴とする。
【００２１】また、請求項１２記載のインデックス作成
方法は、撮像手段で撮影された映像データ及び各映像デ
ータの撮影時における前記撮影手段の操作状況を示す操
作情報を取得する取得ステップと、前記取得ステップに
より取得された操作情報に基づき前記撮像手段の操作内
容を判定する判定ステップと、前記判定ステップにより
同一種の操作内容と判定された二つの操作情報との間に
おける操作時間の時間間隔を算出する時間間隔算出ステ
ップと、前記時間間隔算出ステップにより算出された時
間間隔が所定期間より長いか否かを判断する第１の判断
ステップと、前記第１の判断ステップにより時間間隔が
前記所定期間より長いと判断されると、操作時間が早い
方の操作情報に対応するフレームの映像データをインデ
ックスデータとして選択する選択ステップとを有するこ
とを特徴とする。
【００２２】また、請求項１３記載のインデックス作成
方法は、撮像手段で撮影された映像データを取得する取
得ステップと、前記取得ステップにより取得した映像デ
ータに基づき操作内容を判定し、各映像データの撮影時
における前記撮像手段の操作状況に関する操作情報を取
得する操作情報作成ステップと、前記操作情報作成ステ
ップにより作成された同一種の操作内容の二つの操作情
報の間で操作時間の時間間隔を算出する時間間隔算出ス
テップと、前記時間間隔算出ステップにより算出された
時間間隔が所定期間より長いか否かを判断する第１の判
断ステップと、前記第１の判断ステップにより時間間隔
が前記所定期間より長いと判断されると、先に取得され
た方の操作情報に対応する映像データをインデックスデ
ータとして選択する選択ステップとを有することを特徴
とする。
【００２３】また、請求項１４記載のインデックス作成
方法は、請求項１２又は１３記載の発明において、前記
第１の判断ステップにより前記時間間隔算出ステップに
より前記操作期間の時間間隔が前記所定期間より短いと
判断されると、一連の操作の操作情報で示される各操作
量の積算値を算出する積算値算出ステップと、前記積算
値算出ステップにより算出された積算値が所定値以上で
あるか否かを判断する第２の判断ステップとを有し、前
記選択ステップでは更に、前記第１の判断ステップによ
り時間間隔が前記所定期間より長いと判断され、且つ、
前記第２の判断手段により前記所定値以上であると判断
されると、前記先に取得された方の操作情報に対応する
フレームの映像データを前記インデックスデータとして
選択することを特徴とする。
【００２４】また、請求項１５記載のインデックス作成
方法は、請求項１４記載の発明において、前記積算値算
出ステップでは、前記時間間隔算出ステップによりこれ
まで前記所定期間より時間間隔が短いと判断されてきた
一連の操作の各操作情報について、所定方向の操作量が
示されている場合には前記操作量を加算し、前記所定方
向とは反対方向の操作量が示されている場合には前記操
作量を減算していくことにより操作量の積算値を算出す
ることを特徴とする。
【００２５】また、請求項１６記載のインデックス作成
方法は、請求項１５記載の発明において、前記積算値算
出ステップでは、前記操作量の積算値を算出する際に、
各操作の強さに応じた重み付けをした時間間隔を、操作
量として用いることを特徴とする。
【００２６】また、請求項１７記載のインデックス作成
方法は、請求項１２記載の発明において、前記取得ステ
ップは前記映像データと共に前記映像データに付加され
ている前記操作情報を入力する入力ステップと、前記入
力ステップより入力された操作情報を検出する検出ステ
ップとを有し、前記選択ステップは、前記検出ステップ
による出力に応じて前記検出された操作情報に対応する
フレームの映像データを抽出してメモリに記憶する記憶
ステップを有することを特徴とする。
【００２７】また、請求項１８記載のインデックス作成
方法は、請求項１７記載の発明において、前記操作情報
は前記映像データのフレームを単位として付加されるこ
とを特徴とする。
【００２８】また、請求項１９記載のインデックス作成
方法は、映像データを撮影する撮像装置と、前記撮像装
置に撮影された映像データからインデックスを作成する
画像処理装置とを有するシステム上のインデックス作成
方法であって、前記撮像装置が撮影する各映像データの
撮影時における前記撮影装置の操作状況を示す操作情報
を生成する操作情報生成ステップと、前記操作情報生成
ステップにより生成された操作情報と前記操作情報に対
応する映像データとを多重化させて記憶媒体に記憶させ
る記憶ステップとを有し、前記画像処理装置が前記記憶
媒体から映像データ及び各映像データに対応する操作情
報を取得する取得ステップと、前記取得ステップにより
取得された操作情報に基づき前記撮像手段の操作内容を
判定する判定ステップと、前記判定ステップにより同一
種の操作内容と判定された二つの操作情報との間におけ
る操作時間の時間間隔を算出する時間間隔算出ステップ
と、前記時間間隔算出ステップにより算出された時間間
隔が所定期間より長いか否かを判断する第１の判断ステ
ップと、前記第１の判断ステップにより時間間隔が前記
所定期間より長いと判断されると、操作時間が早い方の
操作情報に対応するフレームの映像データをインデック
スデータとして選択する選択ステップとを有することを
特徴とする。
【００２９】また、請求項２０記載のインデックス作成
方法は、請求項１９記載の発明において、前記画像処理
装置が前記第１の判断ステップにより前記時間間隔算出
ステップにより前記操作期間の時間間隔が前記所定時間
より短いと判断すると、一連の操作の操作情報で示され
る各操作量の積算値を算出する積算値算出ステップと、
前記積算値算出ステップにより算出された積算値が所定
値以上であるか否かを判断する第２の判断ステップとを
有し、前記選択ステップでは更に、前記第１の判断ステ
ップにより時間間隔が前記所定期間より長いと判断さ
れ、且つ、前記第２の判断ステップにより前記所定値以
上であると判断されると、前記先に取得された方の操作
情報に対応するフレームの映像データを前記インデック
スデータとして選択することを特徴とする。
【００３０】また、請求項２１記載のインデックス作成
方法は、請求項１９記載の発明において、前記取得ステ
ップは、前記映像データと共に前記映像データに付加さ
れている前記操作情報を入力する入力ステップと、前記
入力ステップにより入力された操作情報を検出する検出
ステップとを有し、前記選択ステップは、前記検出ステ
ップの出力に応じて前記検出された操作情報に対応する
フレームの映像データを抽出してメモリに記憶する記憶
ステップを有することを特徴とする。
【００３１】また、請求項２２記載のインデックス作成
方法は、請求項２０記載の発明において、前記積算値算
出ステップは、前記時間間隔算出ステップによりこれま
で前記所定期間より時間間隔が短いと判断されてきた一
連の操作の各操作情報について、所定方向の操作量が示
されている場合には前記操作量を加算し、前記所定方向
とは反対方向の操作量が示されている場合には前記操作
量を減算していくことにより操作量の積算値を算出する
ことを特徴とする。
【００３２】また、請求項２３記載の記録媒体は、請求
項１〜７の何れか１項に記載の画像処理装置、又は、請
求項８〜１１の何れか１項に記載のインデックス作成シ
ステムの各手段としてコンピュータを機能させるための
プログラムを記録したことを特徴とする。
【００３３】また、請求項２４記載の記録媒体は、請求
項１２〜２２の何れか１項に記載のインデックス作成方
法の処理ステップをコンピュータに実行させるためのプ
ログラムを記録したことを特徴とする。
【００３４】また、請求項２５記載のプログラムは、請
求項１〜７の何れか１項に記載の画像処理装置、又は、
請求項８〜１１の何れか１項に記載のインデックス作成
システムの各手段としてコンピュータを機能させること
を特徴とする。
【００３５】更に、請求項２６記載のプログラムは、請
求項１２〜２２の何れか１項に記載のインデックス作成
方法の処理ステップをコンピュータに機能させることを
特徴とする。
【００３６】
【発明の実施の形態】以下、添付図面を参照しながら本
発明の好適な一実施形態を詳細に説明する。
【００３７】＜第１の実施形態＞図１は、本発明の第１
の実施形態における画像処理装置の構成図である。１０
１０は、動画像を撮影する撮影部である。１０２０は記
録媒体であり、撮影部１０１０で撮影された動画像を記
録するものである。１０３０はインデキシング部であ
り、記憶媒体１０２０よりキーフレームを抽出し、イン
デックスを作成するものである。
【００３８】図２は、第１の実施形態における撮影部１
０１０の構成図である。２０１０は撮像部であり、レン
ズ、撮像素子、Ａ／Ｄ変換等から構成され、撮像を行う
ものである。２０２０は画像圧縮部であり画像圧縮回路
により撮像部２０１０の映像信号を所定の圧縮方式のア
ルゴリズムに基づいて圧縮符号化処理を行う。例えば、
ディジタルビデオにおけるＤＣＴとＶＬＣを用いた方式
や、ＤＣＴと動き補償予測を用いたＭＰＥＧ−１、ＭＰ
ＥＧ−２といった形式がある。
【００３９】２０３０はカメラ操作部であり、撮影開始
ボタンやズームボタンなどからなり、ユーザの各種のカ
メラ操作を入力するものである。２０４０はセンサ部で
あり、カメラの状態を検知するための各種のセンサから
構成され、絞りの開度、焦点距離などの情報を取得す
る。２０５０は制御部であり、カメラ操作部２０３０か
ら得られたユーザの操作情報や、センサ部２０４０から
得られたセンサ情報をもとに撮像部２０１０などカメラ
を制御するものである。２０６０は記録部であり、映像
データとカメラ操作情報（ユーザによる操作情報とセン
サ情報）をタイミングを取りながら多重化を行って、記
憶媒体に記録するものである。２０７０は、多重化され
た映像データとカメラ操作情報を記憶する記憶媒体であ
り、磁気テープ、光磁気ディスク、ハードディスクなど
から構成される。
【００４０】図３は、第１の実施形態におけるインデキ
シング部１０３０の制御構成を示すブロック図である。
同図において、３０１はＣＰＵであり、本実施形態のイ
ンデキシング部１０３０における各種制御を実行する。
３０２はＲＯＭであり、本装置の立ち上げ時に実行され
るブートプログラムや各種データを格納する。３０３は
ＲＡＭであり、ＣＰＵ３０１が処理するための制御プロ
グラムを格納するとともに、ＣＰＵ３０１が各種制御を
実行する際の作業領域を提供する。３０４はキーボー
ド、３０５はマウスであり、ユーザによる各種入力操作
環境を提供する。
【００４１】３０６は外部記憶装置であり、ハードディ
スクやフレキシブルディスク、ＣＤ−ＲＯＭ等で構成さ
れる。３０７は表示器であり、ディスプレイなどで構成
され、結果等をユーザに対して表示する。３０８はネッ
トワークインタフェースであり、ネットワーク上の各機
器との通信を可能とする。また、３１１は上記の各構成
を接続するバスである。
【００４２】図４は、第１の実施形態におけるインデキ
シング部１０３０の機能構成を示すブロック図である。
同図において、４０２０はカメラ操作情報統合部であ
り、記憶媒体４０１０より映像データおよびカメラの操
作情報を読み取り、カメラ操作情報を時間情報などをも
とに統合処理、即ち、操作内容が同一種として判定され
るカメラ操作情報について、時間的に隣接するものには
カメラ操作情報により示される操作量の積算値を算出す
る処理を実行するものである。４０３０はキーフレーム
選択部であり、一連の操作が完了したと見なされる際
に、カメラ操作情報統合部４０２０によって統合された
カメラ操作情報（操作量の積算値）をもとに条件を満た
すフレームをキーフレームとして選択し、インデックス
化を行うものである。４０４０はインデックス蓄積部で
あり、キーフレーム選択部４０３０が生成したインデッ
クス情報を蓄積するものである。
【００４３】以上のような構成を備えた第１の実施形態
における画像処理装置の動作例を以下に説明する。図５
は、第１の実施形態における撮影部１０１０の手順を示
した図である。まず、ステップＳ８０１０において、ユ
ーザがカメラ操作部２０３０を介してカメラの設定を行
ったかどうかを判定する。カメラの設定とは、例えば、
フォーカスモード（自動／手動）、露光モード（自動、
ゲイン優先、シャッター速度優先、絞り優先、手動）、
ホワイトバランスモード（自動、ホールド、ワンプッシ
ュ、プリセット）などである。
【００４４】カメラの設定が行われたときは、ステップ
Ｓ８０２０において、制御部２０５０はカメラの設定を
変更し、変更したカメラの設定情報をカメラ操作情報と
して記録部２０６０に送る。次にステップＳ８０３０に
おいて、録画ボタンがＯＮされたかどうかをチェックす
る。ＯＮされなければ、待機状態であり、ステップＳ８
０１０へ戻る。
【００４５】ＯＮされたら、制御部２０５０は録画状態
にするとともに、このときの録画開始時刻をカメラ操作
情報として記録部２０６０に送る。次にステップＳ８０
４０において、録画状態となったので、撮像を開始す
る。撮像部２０１０で撮像された映像は画像圧縮部２０
２０で画像圧縮された後に記録部２０６０へ映像データ
として送られる。
【００４６】次に、ステップＳ８０５０において、ユー
ザによってカメラ操作が行われたかをチェックする。カ
メラ操作とは例えば、ズームボタンのＯＮ／ＯＦＦ、パ
ン、チルト、などである。ステップＳ８０６０では、制
御部２０５０がセンサ部２０４０の情報をもとに撮像部
２０１０などを駆動して、カメラを制御する。
【００４７】センサの情報とは例えば、焦点距離、合焦
距離、手ぶれ検出、などである。そして例えばズームさ
れたときは、ズームボタンが押された区間だけ、撮像部
２０１０のレンズを動かしてズームを行い、焦点距離、
合焦距離などのセンサ情報をもとにピントを合わせる。
このとき、ズームボタンのＯＮ／ＯＦＦや焦点距離、合
焦距離などのセンサ情報は、カメラ操作情報として記録
部２０６０に送られる。記録部２０６０では、画像圧縮
部２０２０より送られる映像データとカメラ操作情報を
多重化して、記憶媒体２０７０に記録する。
【００４８】多重化の方法としては、例えばＭＰＥＧ−
２のシステムで規格化されている方法を利用する。カメ
ラ操作情報をＰＥＳパケットにして、映像のＰＥＳパケ
ットと、ＴＳ（Transport Stream）やＰＳ（Program St
ream）の多重ストリームとする。ここで、記録部２０６
０は、画像データ１フレーム毎に対応するカメラ操作情
報を発生し、画像データとは別のＰＥＳパケットとして
画像データと多重化させている。次にステップＳ８０７
０において、録画ボタンがＯＦＦされたかどうかをチェ
ックする。ＯＦＦされていなければ、ステップＳ８０４
０へ戻って撮影状態のままである。ＯＦＦされれば、ス
テップＳ８０１０へ戻って待機状態となる。
【００４９】以上で述べたように、本実施形態において
カメラ操作情報とは、カメラ操作部２０３０から得られ
る情報とセンサ部２０４０から得られる情報とがある。
カメラ操作情報の記述の形式としては、例えば、図６に
挙げたＤＶフォーマットの形式や、図７に挙げた形式な
ど（両方とも一部のみ表記した）がある。
【００５０】図８は、第１の実施形態におけるインデキ
シング部１０３０の手順を示した図である。なお、ここ
では説明を簡単にするために、カメラ操作情報としてズ
ームのみを取り上げるが、他のカメラ操作情報に関して
も同様な手順である。まず、ステップＳ９０１０におい
て、後述するズーム時刻、ＴＬＥＮ、ズームカウンタな
どの各種変数を初期化する。
【００５１】次に、ステップＳ９０２０において記憶媒
体４０１０から読み出しを行う。次に、ステップＳ９０
３０において読み出しが終了したかどうかの判定を行
う。終了していれば、本処理は終了する。終了していな
ければ、次のステップＳ９０４０へ進む。ステップＳ９
０４０においてショットの先頭かどうかの判定をする。
これは、録画開始時刻が存在するかどうかでわかる。録
画開始時刻が存在すれば、録画ボタンがＯＮされたフレ
ームだからである。
【００５２】さて、ショットの先頭であれば、インデッ
クスを作る。ステップＳ９１３０においてフレーム画像
を縮小してサムネール画像を作成する。次に、ステップ
Ｓ９１４０において、このときのタイムコードと共にサ
ムネールをインデックス情報としてインデックス蓄積部
４０４０に記憶する。
【００５３】図９は、インデックス蓄積部４０４０に蓄
積されたインデックス情報の一例である。ここでショッ
トＩＤとは、ショット（録画ボタンをＯＮしてからＯＦ
Ｆするまで）ごとに順に付与したＩＤである。次に、ス
テップＳ９１２０においてＴＬＥＮを０に、そして、ス
テップＳ９１２５においてズームカウンタを０にそれぞ
れ初期化する。そして、ステップＳ９０２０へと戻る。
【００５４】また、ステップＳ９０４０においてショッ
トの先頭でないと判定された場合は、ステップＳ９０５
０へ進む。ステップＳ９０５０において、カメラ操作情
報としてズームが存在したかどうかを判定する。もし、
ズームが存在しなければ、ステップＳ９０２０へ戻る。
また、ズームが存在すれば、ステップＳ９０５１へ進
む。ステップＳ９０５１では、ズーム操作を検出したカ
メラ操作情報に対応する１フレームの画像データを抽出
し、図示しないメモリ上に記憶する。また、このメモリ
上には前回ズーム操作を検出したカメラ操作情報に対応
する画像データも記憶されており、ズーム操作が検出さ
れる度にメモリ上に用意される２フレーム分の領域に交
互に書き込まれる。
【００５５】次に、ステップＳ９０５５において、ズー
ムカウンタをインクリメントする。所望のアップ画像を
得るためには、一般のユーザは操作に不慣れなため、ズ
ーム操作（インとアウト）を何度か繰り返す必要があ
る。ズームカウンタは、この一連のズーム操作の回数を
カウントするものである。
【００５６】次に、ステップＳ９０６０において、ズー
ム後にタイムコードをズーム時刻として記憶する。ズー
ム時刻は、特に図示しないメモリ中に一つ前のズーム時
刻まで保存され、新しいものが記憶されるたびに、上書
きされていく。次に、ステップＳ９０６５おいて、ズー
ムカウンタが１であるかどうかを判定する。ズームカウ
ンタが１であれば（即ち一回目のズームのときは）、ス
テップＳ９０８０からステップＳ９１００のＴＬＥＮの
計算(詳細は後述する)に無条件に進む。
【００５７】次に、ステップＳ９０７０において、ズー
ム時刻から一つ前のズーム時刻を引いたものが所定値Ａ
以下であるかどうかを判定する。所定値Ａとは次のよう
な値である。所望のアップ画像を得るためには、一般の
ユーザは操作に不慣れなため、ズーム操作（インとアウ
ト）を何度か繰り返す必要がある。
【００５８】このときの一連のズーム操作は、短い間隔
でおこり、所望のアップ画像が得られると終了する。所
定値Ａとは、繰り返していると判断できるズーム操作と
ズーム操作の時間間隔の上限を表している。所定値Ａの
値は、実験により求めることができ、特に限定されるも
のではないが、１秒程度の短い時間である。よって、ス
テップＳ９０７０において、所定値Ａ以下と判定された
場合は、ズーム操作を繰り返している場合であり、この
ときはステップＳ９０８０からステップＳ９１００の処
理を行う。
【００５９】ステップＳ９０８０では、カメラ操作情報
からズームインであるかどうかの判定を行う。ズームイ
ンであれば、ステップＳ９０９０へ進み、ズーム量をＴ
ＬＥＮに加える。ＴＬＥＮとは、一連のズーム操作にお
いて、ズームインした正味の量である。ズーム量とは、
ズームした区間の量であり、ズームの強さ(ズーム倍率
の変化率、或いは、ズームレンズの移動速度)で重み付
けされたフレーム数や時間間隔などで表すことができ
る。
【００６０】また、ズームアウトであった場合は、ステ
ップＳ９１００において、ＴＬＥＮよりズーム量を引
く。減じるのは、言うまでもないが、ＴＬＥＮが正味の
ズームインの量を表すからである。ＴＬＥＮが算出され
た後、ステップＳ９０２０へ戻る。
【００６１】また、ステップＳ９０７０において、所定
値Ａより大きいと判定された場合は、一連のズーム操作
が終了した場合であり、このときは、ステップＳ９１１
０へ進む。ステップＳ９１１０において、ズームイン又
はズームアウト（ズーム）の正味の量であるＴＬＥＮの
絶対値が所定値Ｂ以上であるかどうかを判定する。これ
が非常に小さいときは、一連のズーム操作の前後で、ほ
とんどズームされていないことを示す。即ち、結局ユー
ザはズーム操作するのを止めてしまった場合に相当す
る。よって所定値Ｂは、ズームしたと認める量の下限値
を表している。所定値Ｂの値は、実験によって求まるも
のであり特に限定されるものではない。
【００６２】所定値Ｂより小さい場合は、このような位
置のインデックスを作成する必要はないので、ステップ
Ｓ９１３０とステップＳ９１４０はスキップする。ま
た、所定値Ｂ以上であれば、ズームしたと認められる。
このときステップＳ９０５１で記憶された画像データと
併せてメモリ上で記憶されるもう一方の画像データ、即
ち、前回ズーム操作が検出された際に抽出された画像デ
ータは、一連のズーム操作における最終画像データとな
り、インデックスとしてふさわしいアップ画像である。
よって、ステップＳ９１３０に進み、その画像データを
用いてサムネールを作成する。
【００６３】そして、ステップＳ９１４０において、こ
のときのタイムコードと共にサムネールをインデックス
情報としてインデックス蓄積部４０４０に記憶する。次
に、ステップＳ９１２０において、ＴＬＥＮを０に、そ
して、ステップＳ９１２５においてズームカウンタを０
にそれぞれ初期化する。そして、ステップＳ９０２０へ
と戻る。以上が、本発明の第１の実施形態における動画
像インデックス作成システムの処理である。
【００６４】以上説明したように、本実施形態において
は、検出されたズーム時刻の情報を前回検出したズーム
時刻の情報と比較し、これが所定値以上であった場合に
メモリに記憶してあった直前のズーム操作時のフレーム
をインデックスとして抽出することで、一連のズーム操
作の終了時のフレームをインデックスとして抽出するこ
とができる。
【００６５】そのため、慣れないユーザがズーム操作を
繰り返し行うような場合であっても、ユーザの意図する
ショットを代表するインデックスを得ることができる。
【００６６】更に本形態では、一連のズーム操作中の操
作量を積算しておき、一連のズーム操作の終了時にこの
操作量の積算値が所定値以上であった場合にのみインデ
ックスを抽出しているので、一連のズーム操作は行われ
ているものの、ズームインとズームアウトとを繰り返し
ているような場合であっても無駄なインデックスを抽出
することがなく、ユーザの意図したショットを代表する
インデックスを得ることができる。
【００６７】＜第２の実施形態＞図１０は、第２の実施
形態における画像処理装置の制御構成を示すブロック図
である。同図において、５０１はＣＰＵであり、本実施
形態における各種制御を実行する。５０２はＲＯＭであ
り、本装置の立ち上げ時に実行されるブートプログラム
や各種データを格納する。５０３はＲＡＭであり、ＣＰ
Ｕ５０１が処理するための制御プログラムを格納すると
ともに、ＣＰＵ５０１が各種制御を実行する際の作業領
域を提供する。５０４はキーボード、５０５はマウスで
あり、ユーザによる各種入力操作環境を提供する。
【００６８】５０６は外部記憶装置であり、ハードディ
スクやフレキシブルディスク、ＣＤ−ＲＯＭ等で構成さ
れる。５０７は表示器であり、ディスプレイなどで構成
され、結果等をユーザに対して表示する。５０８はネッ
トワークインタフェースであり、ネットワーク上の各機
器との通信を可能とする。５０９はビデオインタフェー
スであり、５１０のビデオカメラや、５１２のＶＴＲか
らの動画の取り込みを可能とする。また、５１１は上記
の各構成を接続するバスである。なお、上記の構成にお
いてビデオカメラ５１０、ＶＴＲ５１２や外部記憶装置
５０６はネットワーク上に配置されたもので代用しても
よい。
【００６９】図１１は、第２の実施形態における画像処
理装置の機能構成を示すブロック図である。同図におい
て、６０１０は動画入力部であり、ビデオＩ／Ｆ５０９
を介してビデオカメラ５１０、ＶＴＲ５１２の動画像、
或は、外部記憶装置５０６や図４に示した記憶媒体４０
１０などから動画像を読み出し、本装置に入力するもの
である。次に、６０２０はフレーム抽出部であり、動画
を構成するフレーム(画像)を順番に抽出するものであ
る。
【００７０】次に、６０３０はカット検出部であり、動
画像中のカット点を検出するものである。６０４０はカ
メラ操作判定部であり、カメラの操作情報を画像処理に
より判定するものである。６０５０はカメラ操作情報統
合部であり、カメラ操作判定部６０４０より判定された
カメラ操作情報を時間情報などをもとに統合、即ち、操
作内容が同一種として判定されるカメラ操作情報につい
て、時間的に隣接するものにはカメラ操作情報により示
される操作量の積算値を算出するものである。６０６０
はキーフレーム選択部であり、一連の操作が完了したと
見なされる際に、カメラ操作情報統合部６０５０によっ
て統合されたカメラ操作情報（操作量の積算値）をもと
に条件を満たすフレームをキーフレームとして選択し、
インデックス化を行うものである。６０７０はインデッ
クス蓄積部であり、カット検出部６０３０、及び、キー
フレーム選択部６０６０が生成したインデックス情報を
蓄積するものである。
【００７１】以上のような構成を備えた第２の実施形態
における画像処理装置の動作例を以下に説明する。図１
２及び図１３は、第２の実施形態における画像処理装置
の手順を示すフローチャートである。まず、ステップS
１００１０において、動画入力部６０１０は記憶媒体４
０１０から読み出しを行う。動画の入力については、前
述した通りビデオＩ／Ｆ５０９を介してビデオカメラ５
１０、ＶＴＲ５１２の動画像を取り込んでもよいが、本
実施形態においては、記憶媒体から読み込む場合で説明
をする。なお、第1の実施形態と違い、この記憶媒体に
は動画像データのみが記憶されているものとする。
【００７２】次に、ステップＳ１００２０において、フ
レーム抽出部６０２０はフレームを順次抽出して、カッ
ト検出部６０３０に送る。次に、ステップＳ１００３０
において、カット検出部６０３０は、隣接フレーム間の
類似度を算出する。
【００７３】ここで、フレーム間の類似度は、フレーム
間類似性距離を算出し、１００％で完全に同じであると
して、百分率で表わしたものを類似度とする。フレーム
間類似性距離計算については、特にそのアルゴリズムを
限定しない。最も簡単な実施例を挙げると、比較対象の
夫々のフレームを図１４に示すように縦横に複数のブロ
ック分割を行ない、それぞれのブロックに関してＲＧＢ
の平均値を算出しておき、比較対象の夫々の対応するブ
ロック同士のＲＧＢ各チャンネルの差の二乗和を求めこ
れをフレーム間類似性距離とし、これが小さいほど類似
しており、大きいほど類似していない、即ちカット点で
ある可能性が大きいと取る方法がある。その計算式の一
例を次の式１に示す。
【００７４】
【数１】
【００７５】但し、 ｉ：処理中のブロックをあらわす Ｐ１iR：直前のフレームにおけるｉ番目のブロックのＲ
チャンネルでの平均値 Ｐ１iG：直前のフレームにおけるｉ番目のブロックのＧ
チャンネルでの平均値 Ｐ１iB：直前のフレームにおけるｉ番目のブロックのＢ
チャンネルでの平均値 Ｐ２iR：現在のフレームにおけるｉ番目のブロックのＲ
チャンネルでの平均値 Ｐ２iG：現在のフレームにおけるｉ番目のブロックのＧ
チャンネルでの平均値 Ｐ２iB：現在のフレームにおけるｉ番目のブロックのＢ
チャンネルでの平均値
【００７６】次に、ステップＳ１００４０において、類
似度が所定値Ｈ以下であるかどうか判定をする。ショッ
トの変わり目（カット点）では、画像が急激に変化する
ため、前後のフレームは類似度が低くなる。即ち、所定
値Ｈは、カット点でないとみなせる類似度の下限値であ
る。この値は実験により求めることができ、特に限定さ
れるものではないが、８０％程度が望ましい。
【００７７】次に、所定値Ｈ以下であった場合は、カッ
ト点であるのでインデックスとして採用するために、ス
テップＳ１００５１において、フレーム画像を縮小して
サムネール画像を作成する。次にステップＳ１００５２
において、このときのタイムコードと共にサムネールを
ショットＩＤを付してインデックス情報としてインデッ
クス蓄積部６０７０に記憶する。ショットＩＤはショッ
トごとに振られるＩＤである。図９は、インデックス蓄
積部６０７０に蓄積されたインデックス情報の一例であ
る。
【００７８】また、ステップＳ１００４０において、所
定値Ｈより大きかった場合は、カット点ではないのでス
テップＳ１００５１とステップＳ１００５２はスキップ
する。次に、ステップＳ１００６０において、読み出し
が終了しているかどうかを判定し、終了していなけれ
ば、ステップＳ１００１０からステップＳ１００５０ま
での処理を繰り返す。以上がカット点の検出である。
【００７９】次に、カメラの操作の判定を行う。ステッ
プＳ１００７０において、Ｎに初期値として１をセット
する。次にステップＳ１００８０において、ショットＮ
に相当するフレーム群を取り出す。次にステップＳ１０
０９０において、カメラ操作判定部６０４０はカメラの
操作を判定する。このための手法としては、ハフ変換を
用いて動きのベクトルの消失点を求め、複数有る消失点
のうちの最大の投票数を得た消失点を背景に対する消失
点とし、カメラ操作情報に関する拘束式を説くなどの手
法がある。カメラ操作情報と消失点との関係やカメラ操
作情報を求める手法は、例えば「金谷健一著、『画像理
解』、森北出版」などに詳しい。
【００８０】カメラ操作情報が判定されると、ステップ
Ｓ１０１００において、第１の実施形態で示した図６及
び図７のような形式などで、画像データ１フレーム毎に
対応するカメラ操作情報を特に図示しないメモリ中に一
時記憶する。次にステップＳ１０１１０において、終了
判定を行い、処理すべきショットが残っていれば、ステ
ップＳ１０１２０へ進み、Ｎをインクリメントし、ステ
ップＳ１００８０からステップＳ１０１００を繰り返
す。以上がカメラ操作判定の処理である。
【００８１】次に、カメラ操作情報の統合、及び、キー
フレーム選択の処理を行う。なお、説明を簡単にするた
めに、以下、カメラ操作情報としてパンのみを取り上げ
るが、他のカメラ操作情報に関しても同様な手順であ
る。ステップＳ１０１３０において、後述するパン時
刻、ＴＬＥＮ、パンカウンタなどの各種変数を初期化す
る。次にステップＳ１０１４０において、カメラ操作判
定部６０４０で判定されたカメラ操作情報を順に取り出
す。次にステップＳ１０１５０において、取り出しが終
了したかどうかの判定を行う。終了していれば、本処理
は終了する。終了していなければ、次のステップＳ１０
１６０へ進む。
【００８２】ステップＳ１０１６０において、カメラ操
作情報としてパンが存在したかどうかを判定する。も
し、パンが存在しなければ、ステップＳ１０１４０へ戻
る。また、パンが存在すれば、ステップＳ１０１６５へ
進む。ステップＳ１０１６５では、パン操作を検出した
カメラ操作情報に対応する１フレームの画像データを抽
出し、図示しないメモリ上に記憶する。また、このメモ
リ上には前回パン操作を検出したカメラ操作情報に対応
する画像データ（１フレーム）を記憶されており、パン
操作が検出される度にメモリ上に用意される２フレーム
分の領域に交互に書き込まれる。
【００８３】次に、ステップＳ１０１７０において、パ
ンカウンタをインクリメントする。パンをして所望の画
像を得るためには、一般のユーザは操作に不慣れなた
め、パン操作（右方向と左方向）を何度か繰り返す必要
がある。パンカウンタは、この一連のパン操作の回数を
カウントするものである。
【００８４】次に、ステップＳ１０１８０において、パ
ン後にタイムコードをパン時刻として記憶する。パン時
刻は、特に図示しないメモリ中に一つ前のパン時刻まで
保存され、新しいものが記憶されるたびに、上書きされ
ていく。次に、ステップＳ１０１９０において、パンカ
ウンタが１であるかどうかを判定する。パンカウンタが
１であれば（即ち一回目のパンのときは）、ステップＳ
１０２１０からステップＳ１０２３０のＴＬＥＮの計算
(詳細は後述する)に無条件に進む。
【００８５】次に、ステップＳ１０２００において、パ
ン時刻から一つ前のパン時刻を引いたものが所定値Ｊ以
下であるかどうかを判定する。所定値Ｊとは次のような
値である。パンをして所望の画像を得るためには、一般
のユーザは操作に不慣れなため、パン操作（右方向と左
方向）を何度か繰り返す必要がある。
【００８６】このときの一連のパン操作は、短い間隔で
おこり、所望の画像が得られると終了する。所定値Ｊと
は、この一連のパン操作とパン操作との時間間隔の上限
を表している。所定値Ｊの値は、実験により求めること
ができ、特に限定されるものではないが、１秒程度の短
い時間である。よって、ステップＳ１０２００におい
て、所定値Ｊ以下と判定された場合は、パン操作を繰り
返している場合であり、このときはステップＳ１０２１
０からステップＳ１０２３０の処理を行う。
【００８７】ステップＳ１０２１０では、カメラの操作
情報から右方向のパンであるかどうかの判定を行う。右
方向パンであれば、ステップＳ１０２２０へ進み、パン
の量をＴＬＥＮに加える。ＴＬＥＮとは、一連のパン操
作において、右方向にパンした正味の量である。パンの
量とは、パンをした区間の量であり、パンの強さ（角加
速度など）で重み付けされたフレーム数や時間間隔など
で表すことができる。また、左方向のパンであった場合
は、ステップＳ１０２３０において、ＴＬＥＮよりパン
の量を引く。減じるのは、言うまでもないが、ＴＬＥＮ
が正味の右方向パンの量を表すからである。
【００８８】ＴＬＥＮが算出された後、ステップＳ１０
１４０へ戻る。また、ステップＳ１０２００において、
所定値Ｊより大きいと判定された場合は、一連のパン操
作が終了した場合であり、このときは、ステップＳ１０
２４０へ進む。ステップＳ１０２４０において、ＴＬＥ
Ｎの絶対値が所定値Ｋ以上であるかどうかを判定する。
【００８９】ＴＬＥＮは先に述べた通り、正味の右方向
パンの量である。よって絶対値をとれば、正味のパンの
量になる。これが非常に小さいときは、一連のパン操作
の前後で、結局画像は変わらずほとんどパンされていな
いことを示す。即ち、結局ユーザはパンするのを止めて
しまった場合に相当する。よって所定値Ｋは、パンをし
たと認める量の下限値を表している。所定値Ｋの値は、
実験によって求まるものであり特に限定されるものでは
ない。
【００９０】所定値Ｋより小さい場合は、このような位
置のインデックスを作成する必要はないので、ステップ
Ｓ１０２５０とステップＳ１０２６０はスキップする。
また、所定値Ｋ以上であれば、パンしたと認められる。
このときステップＳ１０１６５で記憶された画像データ
と併せてメモリ上で記憶されるもう一方の画像データ、
即ち、前回パン操作が検出された際に抽出された画像デ
ータは、一連のパン操作の際における最終画像データと
なり、インデックスとしてふさわしい画像である。よっ
て、ステップＳ１０２５０に進み、フレーム画像を縮小
してサムネールを作成する。
【００９１】そして、ステップＳ１０２６０において、
このときのタイムコードと共にサムネールをインデック
ス情報としてインデックス蓄積部６０７０に記憶する。
次に、ステップＳ１０２７０において、ＴＬＥＮを０
に、そして、ステップＳ１０２８０においてパンカウン
タを０にそれぞれ初期化する。そして、ステップＳ１０
１４０へと戻る。以上が、第２の実施形態における動画
像画像処理装置の処理である。以上説明したように、本
実施形態においては、撮影時のカメラ操作情報が動画像
データと共に記録されていない場合でもカメラ疎さの状
態を画像データより判定し、このように判定したカメラ
操作情報、例えばパンニングの情報を検出して前回検出
したパンニング時刻の情報と比較し、これが所定値以上
であった場合にメモリに記憶してあった直前のズーム操
作時のフレームをインデックスとして抽出することで、
一連のカメラ操作の終了時のフレームをインデックスと
して抽出することができる。そのため、慣れないユーザ
がカメラ操作を繰り返し行うような場合であっても、ユ
ーザの意図するショットを代表するインデックスを得る
ことができる。更に本形態では、一連のカメラ操作中の
操作量を積算しておき、一連のカメラ操作の終了時にこ
の操作量の積算値が所定値以上であった場合にのみイン
デックスを抽出しているので、一連のカメラ操作は行わ
れているものの、右パンと左パンとを繰り返しているよ
うな場合であっても無駄なインデックスを抽出すること
がなく、ユーザの意図したショットを代表するインデッ
クスを得ることができる。
【００９２】なお、上記第１、第２の実施形態におい
て、フレームの位置を示すのにタイムコードを用いた
が、フレームＩＤであってもよく、動画中でそのフレー
ムを特定できれば何であっても構わない。
【００９３】また、上記第１の実施形態において、図1
の撮像部１０１０とインデキシング部１０３０はそれぞ
れ別の装置で実現する例をあげたが、ひとつの装置で実
現しても、もちろん構わない。また、撮像装置１０１０
とインデキシング部１０３０は記憶媒体１０２０を介し
てデータのやりとりを行ったが、IEEE1394などの通信手
段を介して、データのやりとりを行うように構成して
も、もちろん構わない。
【００９４】また、上記第１の実施形態において、図５
で示した撮像部１０１０の手順は一例を示したものであ
り、これに限定されるものではない。例えば、画像撮像
中にカメラの設定を変更可能にしても構わない。また、
上記第１、第２の実施形態において、カメラ操作情報か
らインデックスを作成する処理において、１種類のカメ
ラ操作情報について述べたが、他のカメラ操作情報につ
いても同様な手順でインデックスの作成が可能である。
【００９５】また、上記第１、第２の実施形態におい
て、インデックス情報はインデックス蓄積部（４０４
０、または、６０７０）に記憶されているが、これを記
憶媒体４０１０の所定の領域に書き込んでおいても良
い。また、ネットワークを介して出力してもよく、この
ようにすれば、他の装置でインデックス情報を活用する
ことが可能となる。
【００９６】また、上記第１、第２の実施形態におい
て、インデックス情報は図９に示した形式で格納される
としたが、一例に過ぎず、これに限定されるものではな
い。例えば、ショット単位の区別が必要なければ、ショ
ットIDは省略可能である。或いは、カメラ操作情報の区
間（例えばズームの開始点と終了点）を加えても良い。
また、上記第１、第２の実施形態において、代表画像と
して一連のカメラ操作後のフレームを採用するとしてい
る。
【００９７】しかし、例えば十分に長いパンであったと
きは、パンの途中のフレームも代表画像したほうが、ユ
ーザが内容を理解しやすく、インデックスとして適切で
ある場合がある。これを可能とするために、上記第２の
実施形態で説明すれば、図１２及び図１３において、ス
テップＳ１０２００の判定で、一連のパン操作であると
判定された後、正味のパンの量（ＴＬＥＮの絶対値）が
所定の長さよりも長いかどうかを判定する手段を設け
る。所定の長さより長ければ、ステップＳ１０２５０か
らステップＳ１０２６０でサムネールを作成し、ステッ
プＳ１０２７０、ステップＳ１０２８０を経てステップ
Ｓ１０１４０に戻る。また、パンの正味の量（ＴＬＥＮ
の絶対値）が所定の長さより短ければ、ステップＳ１０
２１０へ進むようにすればよい。所定の長さは内容を理
解しやすい長さを実験によって求めればよい。
【００９８】また、上記第１、第２の実施形態におい
て、代表画像としてフレーム画像の縮小画像を用いた
が、代表画像を一覧表示させるときの効率のためであ
る。もし、この効率化を犠牲にしてよければ、フレーム
画像そのものを代表画像として良い。このときは、イン
デックス情報には、画像そのものは格納しなくとも、タ
イムコードを参照して、記憶媒体からフレームを順次読
み出していってもよい。
【００９９】なお、上記第１、第２の実施形態におい
て、カメラ操作情報の形式として図６、図７を挙げた
が、これに限定されるものではなく、カメラ操作情報の
種類、存在した区間、方向、及び、必要に応じて、強
さ、が表記されていればどのような形式であっても構わ
ない。
【０１００】なお、本発明は、例えばホストコンピュー
タ、インターフェース機器、リーダ、プリンタなどの複
数の機器から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。また、本発明の目的は、前述
した実施形態の機能を実現するソフトウェアのプログラ
ムコードを記憶した記憶媒体を、システムあるいは装置
に供給し、そのシステムあるいは装置のコンピュータ
（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプロ
グラムコードを読み出し実行することによっても、達成
されることは言うまでもない。
【０１０１】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フレキシブル
ディスク、ハードディスク、光ディスク、光磁気ディス
ク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生の
メモリカード、ＲＯＭなどを用いることができる。
【０１０２】また、コンピュータが読み出したプログラ
ムを実行することにより、前述した実施形態の機能が実
現されるだけでなく、そのプログラムコードの指示に基
づき、コンピュータ上で稼動しているＯＳ（オペレーテ
ィングシステム）などが実際の処理の一部または全部を
行い、その処理によって前述した実施形態の機能が実現
される場合も含まれることは言うまでもない。
【０１０３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によって前述した実施形態の機能が実現さ
れる場合も含まれることは言うまでもない。
【０１０４】
【発明の効果】以上の説明から明らかなように、本発明
によれば、一つのカメラ操作が発生し、その操作が停止
してから再び同じカメラ操作が行われるまでの期間が所
定の期間よりも長いときに、前回のカメラ操作終了時の
画像データをインデックスのキーフレームとして利用す
ることにより、利用者にとって有用なインデックスを提
示することができる。
【０１０５】また、本発明によれば、例えば、カメラ操
作が円滑でなかった場合に撮影されたコンテンツに対し
ても、冗長な画像データをインデックスのキーフレーム
として抽出されることを防止し、利用者に適切なインデ
ックスのみを提示することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における動画像インデ
ックス作成システムのシステム構成を示したブロック図
である。
【図２】本発明の第１の実施形態における撮影部の機能
構成を示したブロック図である。
【図３】本発明の第１の実施形態におけるインデキシン
グ部の制御構成を示したブロック図である。
【図４】本発明の第１の実施形態におけるインデキシン
グ部の機能構成を示したブロック図である。
【図５】本発明の第１の実施形態における撮像部の処理
手順の流れを示したフローチャートである。
【図６】本発明に適用可能なＤＶフォーマットにおける
カメラ操作情報の形式を一例を示した図である。
【図７】本発明の適用可能なカメラ操作情報の形式の一
例を示した図である。
【図８】本発明の第１の実施形態におけるインデキシン
グ部の処理手順の流れを示したフローチャートである。
【図９】本発明に適用可能なインデックス情報の一例を
示した図である。
【図１０】本発明の第２の実施形態における動画像画像
処理装置の制御構成を示したブロック図である。
【図１１】本発明の第２の実施形態における動画像画像
処理装置の機能構成を示したブロック図である。
【図１２】本発明の第２の実施形態における動画像画像
処理装置の処理手順の流れを示したフローチャートであ
る。
【図１３】本発明の第２の実施形態における動画像画像
処理装置の処理手順の流れを示したフローチャートであ
る。
【図１４】本発明に適用可能なフレーム間類似性距離計
算の一例を説明するための図である。
【符号の説明】
１０１０、２０１０ 撮影部 １０２０、４０１０ 記憶媒体 １０３０ インデキシング部 ２０２０ 画像圧縮部 ２０３０ カメラ操作部 ２０４０ センサ部 ２０５０ 制御部 ２０６０ 記録部 ２０７０ 記憶媒体 ３０１、５０１ ＣＰＵ ３０２、ＲＯＭ ＲＯＭ ３０３、５０３ ＲＡＭ ３０４、５０４ キーボード ３０５、５０５ マウス ３０６、５０６ 外部記憶装置 ３０７、５０７ 表示装置 ３０８、５０８ ＮＩＣ ５０９ ビデオＩ／Ｆ ５１０ ビデオカメラ ５１２ ＶＴＲ ４０２０、６０５０ カメラ操作情報統合部 ４０３０、６０６０ キーフレーム選択部 ４０４０、６０７０ インデックス蓄積部 ６０１０ 動画入力 ６０２０ フレーム抽出部 ６０３０ カット検出部 ６０４０ カメラ操作判定部
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｈ０４Ｎ 5/91 Ｌ // Ｇ０６Ｔ 7/20 Ｚ Ｆターム(参考） 5B075 ND12 NK02 NK21 PQ02 PQ48 PQ49 PR03 5C022 AC11 5C052 AB02 AC08 CC01 DD04 EE02 5C053 FA14 HA29 LA01 LA11 5L096 AA06 CA02 CA27 DA01 HA02 JA03

Claims (26)

    【特許請求の範囲】
  1. 【請求項１】 撮像手段で撮影された映像データ及び各
    映像データの撮影時における前記撮影手段の操作状況を
    示す操作情報を取得する取得手段と、 前記取得手段により取得された操作情報に基づき前記撮
    像手段の操作内容を判定する判定手段と、 前記判定手段により同一種の操作内容と判定された二つ
    の操作情報との間における操作時間の時間間隔を算出す
    る時間間隔算出手段と、 前記時間間隔算出手段により算出された時間間隔が所定
    期間より長いか否かを判断する第１の判断手段と、 前記第１の判断手段により時間間隔が前記所定期間より
    長いと判断されると、操作時間が早い方の操作情報に対
    応するフレームの映像データをインデックスデータとし
    て選択する選択手段とを有することを特徴とする画像処
    理装置。
  2. 【請求項２】 撮像手段で撮影された映像データを取得
    する取得手段と、 前記取得手段により取得した映像データに基づき操作内
    容を判定し、各映像データの撮影時における前記撮像手
    段の操作状況に関する操作情報を取得する操作情報作成
    手段と、 前記操作情報作成手段により作成された同一種の操作内
    容の二つの操作情報の間で操作時間の時間間隔を算出す
    る時間間隔算出手段と、 前記時間間隔算出手段により算出された時間間隔が所定
    期間より長いか否かを判断する第１の判断手段と、 前記第１の判断手段により時間間隔が前記所定期間より
    長いと判断されると、先に取得された方の操作情報に対
    応する映像データをインデックスデータとして選択する
    選択手段とを有することを特徴とする画像処理装置。
  3. 【請求項３】 前記第１の判断手段により前記時間間隔
    算出手段により前記操作期間の時間間隔が前記所定期間
    より短いと判断されると、一連の操作の操作情報で示さ
    れる各操作量の積算値を算出する積算値算出手段と、 前記積算値算出手段により算出された積算値が所定値以
    上であるか否かを判断する第２の判断手段とを有し、 前記選択手段は更に、前記第１の判断手段により時間間
    隔が前記所定期間より長いと判断され、且つ、前記第２
    の判断手段により前記所定値以上であると判断される
    と、前記先に取得された方の操作情報に対応するフレー
    ムの映像データを前記インデックスデータとして選択す
    ることを特徴とする請求項１又は２記載の画像処理装
    置。
  4. 【請求項４】 前記積算値算出手段は、前記時間間隔算
    出手段によりこれまで前記所定期間より時間間隔が短い
    と判断されてきた一連の操作の各操作情報について、所
    定方向の操作量が示されている場合には前記操作量を加
    算し、前記所定方向とは反対方向の操作量が示されてい
    る場合には前記操作量を減算していくことにより操作量
    の積算値を算出することを特徴とする請求項３記載の画
    像処理装置。
  5. 【請求項５】 前記積算値算出手段は、前記操作量の積
    算値を算出する際に、各操作の強さに応じた重み付けを
    した時間間隔を、操作量として用いることを特徴とする
    請求項４記載の画像処理装置。
  6. 【請求項６】 前記取得手段は前記映像データと共に前
    記映像データに付加されている前記操作情報を入力する
    入力手段と、前記入力手段より入力された操作情報を検
    出する検出手段とを有し、 前記選択手段は前記検出手段の出力に応じて前記検出さ
    れた操作情報に対応するフレームの映像データを抽出し
    てメモリに記憶する記憶手段を有することを特徴とする
    請求項１記載の画像処理装置。
  7. 【請求項７】 前記操作情報は前記映像データのフレー
    ムを単位として付加されることを特徴とする請求項６記
    載の画像処理装置。
  8. 【請求項８】 映像データを撮影する撮像装置と、前記
    撮像装置に撮影された映像データからインデックスを作
    成する画像処理装置とを含んで構成されるインデックス
    作成システムであって、 前記撮像装置は、 各映像データの撮影時における前記撮影装置の操作状況
    を示す操作情報を生成する操作情報生成手段と、 前記操作情報生成手段により生成された操作情報と前記
    操作情報に対応する映像データとを多重化させて記憶媒
    体に記憶させる記憶手段とを有し、 前記画像処理装置は、 前記記憶媒体から映像データ及び各映像データに対応す
    る操作情報を取得する取得手段と、 前記取得手段により取得された操作情報に基づき前記撮
    像手段の操作内容を判定する判定手段と、 前記判定手段により同一種の操作内容と判定された二つ
    の操作情報との間における操作時間の時間間隔を算出す
    る時間間隔算出手段と、 前記時間間隔算出手段により算出された時間間隔が所定
    期間より長いか否かを判断する第１の判断手段と、 前記第１の判断手段により時間間隔が前記所定期間より
    長いと判断されると、操作時間が早い方の操作情報に対
    応するフレームの映像データをインデックスデータとし
    て選択する選択手段とを有することを特徴とするインデ
    ックス作成システム。
  9. 【請求項９】 前記画像処理装置は更に、 前記第１の判断手段により前記時間間隔算出手段により
    前記操作期間の時間間隔が前記所定時間より短いと判断
    されると、一連の操作の操作情報で示される各操作量の
    積算値を算出する積算値算出手段と、 前記積算値算出手段により算出された積算値が所定値以
    上であるか否かを判断する第２の判断手段とを有し、 前記選択手段は更に、前記第１の判断手段により時間間
    隔が前記所定期間より長いと判断され、且つ、前記第２
    の判断手段により前記所定値以上であると判断される
    と、前記先に取得された方の操作情報に対応するフレー
    ムの映像データを前記インデックスデータとして選択す
    ることを特徴とする請求項８記載のインデックス作成シ
    ステム。
  10. 【請求項１０】 前記取得手段は、前記映像データと共
    に前記映像データに付加されている前記操作情報を入力
    する入力手段と、前記入力手段により入力された操作情
    報を検出する検出手段とを有し、 前記選択手段は、前記検出手段の出力に応じて前記検出
    された操作情報に対応するフレームの映像データを抽出
    してメモリに記憶する記憶手段を有することを特徴とす
    る請求項８記載のインデックス作成システム。
  11. 【請求項１１】 前記積算値算出手段は、前記時間間隔
    算出手段によりこれまで前記所定期間より時間間隔が短
    いと判断されてきた一連の操作の各操作情報について、
    所定方向の操作量が示されている場合には前記操作量を
    加算し、前記所定方向とは反対方向の操作量が示されて
    いる場合には前記操作量を減算していくことにより操作
    量の積算値を算出することを特徴とする請求項９記載の
    インデックス作成システム。
  12. 【請求項１２】 撮像手段で撮影された映像データ及び
    各映像データの撮影時における前記撮影手段の操作状況
    を示す操作情報を取得する取得ステップと、 前記取得ステップにより取得された操作情報に基づき前
    記撮像手段の操作内容を判定する判定ステップと、 前記判定ステップにより同一種の操作内容と判定された
    二つの操作情報との間における操作時間の時間間隔を算
    出する時間間隔算出ステップと、 前記時間間隔算出ステップにより算出された時間間隔が
    所定期間より長いか否かを判断する第１の判断ステップ
    と、 前記第１の判断ステップにより時間間隔が前記所定期間
    より長いと判断されると、操作時間が早い方の操作情報
    に対応するフレームの映像データをインデックスデータ
    として選択する選択ステップとを有することを特徴とす
    るインデックス作成方法。
  13. 【請求項１３】 撮像手段で撮影された映像データを取
    得する取得ステップと、 前記取得ステップにより取得した映像データに基づき操
    作内容を判定し、各映像データの撮影時における前記撮
    像手段の操作状況に関する操作情報を取得する操作情報
    作成ステップと、 前記操作情報作成ステップにより作成された同一種の操
    作内容の二つの操作情報の間で操作時間の時間間隔を算
    出する時間間隔算出ステップと、 前記時間間隔算出ステップにより算出された時間間隔が
    所定期間より長いか否かを判断する第１の判断ステップ
    と、 前記第１の判断ステップにより時間間隔が前記所定期間
    より長いと判断されると、先に取得された方の操作情報
    に対応する映像データをインデックスデータとして選択
    する選択ステップとを有することを特徴とするインデッ
    クス作成方法。
  14. 【請求項１４】 前記第１の判断ステップにより前記時
    間間隔算出ステップにより前記操作期間の時間間隔が前
    記所定期間より短いと判断されると、一連の操作の操作
    情報で示される各操作量の積算値を算出する積算値算出
    ステップと、前記積算値算出ステップにより算出された
    積算値が所定値以上であるか否かを判断する第２の判断
    ステップとを有し、 前記選択ステップでは更に、前記第１の判断ステップに
    より時間間隔が前記所定期間より長いと判断され、且
    つ、前記第２の判断手段により前記所定値以上であると
    判断されると、前記先に取得された方の操作情報に対応
    するフレームの映像データを前記インデックスデータと
    して選択することを特徴とする請求項１２又は１３記載
    のインデックス作成方法。
  15. 【請求項１５】 前記積算値算出ステップでは、前記時
    間間隔算出ステップによりこれまで前記所定期間より時
    間間隔が短いと判断されてきた一連の操作の各操作情報
    について、所定方向の操作量が示されている場合には前
    記操作量を加算し、前記所定方向とは反対方向の操作量
    が示されている場合には前記操作量を減算していくこと
    により操作量の積算値を算出することを特徴とする請求
    項１４記載のインデックス作成方法。
  16. 【請求項１６】 前記積算値算出ステップでは、前記操
    作量の積算値を算出する際に、各操作の強さに応じた重
    み付けをした時間間隔を、操作量として用いることを特
    徴とする請求項１５記載のインデックス作成方法。
  17. 【請求項１７】 前記取得ステップは前記映像データと
    共に前記映像データに付加されている前記操作情報を入
    力する入力ステップと、前記入力ステップより入力され
    た操作情報を検出する検出ステップとを有し、 前記選択ステップは、前記検出ステップによる出力に応
    じて前記検出された操作情報に対応するフレームの映像
    データを抽出してメモリに記憶する記憶ステップを有す
    ることを特徴とする請求項１２記載のインデックス作成
    方法。
  18. 【請求項１８】 前記操作情報は前記映像データのフレ
    ームを単位として付加されることを特徴とする請求項１
    ７記載のインデックス作成方法。
  19. 【請求項１９】 映像データを撮影する撮像装置と、前
    記撮像装置に撮影された映像データからインデックスを
    作成する画像処理装置とを有するシステム上のインデッ
    クス作成方法であって、 前記撮像装置が撮影する各映像データの撮影時における
    前記撮影装置の操作状況を示す操作情報を生成する操作
    情報生成ステップと、 前記操作情報生成ステップにより生成された操作情報と
    前記操作情報に対応する映像データとを多重化させて記
    憶媒体に記憶させる記憶ステップとを有し、 前記画像処理装置が前記記憶媒体から映像データ及び各
    映像データに対応する操作情報を取得する取得ステップ
    と、 前記取得ステップにより取得された操作情報に基づき前
    記撮像手段の操作内容を判定する判定ステップと、 前記判定ステップにより同一種の操作内容と判定された
    二つの操作情報との間における操作時間の時間間隔を算
    出する時間間隔算出ステップと、 前記時間間隔算出ステップにより算出された時間間隔が
    所定期間より長いか否かを判断する第１の判断ステップ
    と、 前記第１の判断ステップにより時間間隔が前記所定期間
    より長いと判断されると、操作時間が早い方の操作情報
    に対応するフレームの映像データをインデックスデータ
    として選択する選択ステップとを有することを特徴とす
    るインデックス作成方法。
  20. 【請求項２０】 前記画像処理装置が前記第１の判断ス
    テップにより前記時間間隔算出ステップにより前記操作
    期間の時間間隔が前記所定時間より短いと判断すると、
    一連の操作の操作情報で示される各操作量の積算値を算
    出する積算値算出ステップと、 前記積算値算出ステップにより算出された積算値が所定
    値以上であるか否かを判断する第２の判断ステップとを
    有し、 前記選択ステップでは更に、前記第１の判断ステップに
    より時間間隔が前記所定期間より長いと判断され、且
    つ、前記第２の判断ステップにより前記所定値以上であ
    ると判断されると、前記先に取得された方の操作情報に
    対応するフレームの映像データを前記インデックスデー
    タとして選択することを特徴とする請求項１９記載のイ
    ンデックス作成方法。
  21. 【請求項２１】 前記取得ステップは、前記映像データ
    と共に前記映像データに付加されている前記操作情報を
    入力する入力ステップと、前記入力ステップにより入力
    された操作情報を検出する検出ステップとを有し、 前記選択ステップは、前記検出ステップの出力に応じて
    前記検出された操作情報に対応するフレームの映像デー
    タを抽出してメモリに記憶する記憶ステップを有するこ
    とを特徴とする請求項１９記載のインデックス作成方
    法。
  22. 【請求項２２】 前記積算値算出ステップは、前記時間
    間隔算出ステップによりこれまで前記所定期間より時間
    間隔が短いと判断されてきた一連の操作の各操作情報に
    ついて、所定方向の操作量が示されている場合には前記
    操作量を加算し、前記所定方向とは反対方向の操作量が
    示されている場合には前記操作量を減算していくことに
    より操作量の積算値を算出することを特徴とする請求項
    ２０記載のインデックス作成方法。
  23. 【請求項２３】 請求項１〜７の何れか１項に記載の画
    像処理装置、又は、請求項８〜１１の何れか１項に記載
    のインデックス作成システムの各手段としてコンピュー
    タを機能させるためのプログラムを記録したことを特徴
    とするコンピュータ読み取り可能な記録媒体。
  24. 【請求項２４】 請求項１２〜２２の何れか１項に記載
    のインデックス作成方法の処理ステップをコンピュータ
    に実行させるためのプログラムを記録したことを特徴と
    するコンピュータ読み取り可能な記録媒体。
  25. 【請求項２５】 請求項１〜７の何れか１項に記載の画
    像処理装置、又は、請求項８〜１１の何れか１項に記載
    のインデックス作成システムの各手段としてコンピュー
    タを機能させるためのプログラム。
  26. 【請求項２６】 請求項１２〜２２の何れか１項に記載
    のインデックス作成方法の処理ステップをコンピュータ
    に機能させるためのプログラム。
JP2001217749A 2001-07-18 2001-07-18 画像処理装置及びインデックス作成方法 Expired - Fee Related JP4497761B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001217749A JP4497761B2 (ja) 2001-07-18 2001-07-18 画像処理装置及びインデックス作成方法
US10/195,403 US7071974B2 (en) 2001-07-18 2002-07-16 Image processing apparatus
EP02255021A EP1278135A3 (en) 2001-07-18 2002-07-17 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001217749A JP4497761B2 (ja) 2001-07-18 2001-07-18 画像処理装置及びインデックス作成方法

Publications (3)

Publication Number Publication Date
JP2003032600A true JP2003032600A (ja) 2003-01-31
JP2003032600A5 JP2003032600A5 (ja) 2008-08-28
JP4497761B2 JP4497761B2 (ja) 2010-07-07

Family

ID=19052019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001217749A Expired - Fee Related JP4497761B2 (ja) 2001-07-18 2001-07-18 画像処理装置及びインデックス作成方法

Country Status (3)

Country Link
US (1) US7071974B2 (ja)
EP (1) EP1278135A3 (ja)
JP (1) JP4497761B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206142A (ja) * 2017-06-06 2018-12-27 日本放送協会 カメラワーク判定装置及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4507392B2 (ja) * 2000-11-15 2010-07-21 株式会社ニコン 電子カメラ
JP4335492B2 (ja) * 2002-03-05 2009-09-30 キヤノン株式会社 動画像管理方法及び装置
JP2004056397A (ja) * 2002-07-18 2004-02-19 Canon Inc 画像処理装置および方法
JP4525558B2 (ja) * 2005-11-08 2010-08-18 ソニー株式会社 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
US20100026848A1 (en) * 2006-11-28 2010-02-04 Sakiko Kakehi Moving picture imaging apparatus with zoom function, image processing and display method and program
JP2010226557A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP5570176B2 (ja) * 2009-10-19 2014-08-13 キヤノン株式会社 画像処理システム及び情報処理方法
US10178406B2 (en) 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
JP5763965B2 (ja) 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165107A (ja) * 1992-11-26 1994-06-10 Matsushita Electric Ind Co Ltd 動画像ダイジェスト自動表示装置
JPH0799605A (ja) * 1993-08-04 1995-04-11 Matsushita Electric Ind Co Ltd ビデオカメラシステム
JPH07236115A (ja) * 1994-02-24 1995-09-05 Matsushita Electric Ind Co Ltd ショット検出方法および代表画像記録・表示装置
JPH089314A (ja) * 1994-06-22 1996-01-12 Matsushita Electric Ind Co Ltd 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
JPH1028250A (ja) * 1996-07-10 1998-01-27 Hitachi Ltd インテリジェントビデオカメラ及びインテリジェントスチルカメラ
JPH10112835A (ja) * 1996-10-04 1998-04-28 Matsushita Electric Ind Co Ltd 映像要約方法および映像表示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215586B1 (ko) 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
JP3108585B2 (ja) * 1993-07-28 2000-11-13 日本電信電話株式会社 ビデオ画像プリントアクセス方法およびシステム
US5581362A (en) * 1993-08-04 1996-12-03 Matsushita Electric Industrial Co., Ltd. Video camera system which multiplexes internal, external, and sensing parameters onto the video signal in order to identify individual segments
US6211912B1 (en) 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes
US5485611A (en) * 1994-12-30 1996-01-16 Intel Corporation Video database indexing and method of presenting video database index to a user
JP3312105B2 (ja) 1997-02-05 2002-08-05 株式会社東芝 動画像インデックス生成方法および生成装置
JP3192663B2 (ja) * 1997-07-11 2001-07-30 三菱電機株式会社 動画収集装置
US6298145B1 (en) * 1999-01-19 2001-10-02 Hewlett-Packard Company Extracting image frames suitable for printing and visual presentation from the compressed image data
US6731789B1 (en) 1999-01-29 2004-05-04 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium
JP3897476B2 (ja) * 1999-02-15 2007-03-22 キヤノン株式会社 画像処理装置及びその方法、コンピュータ可読メモリ
JP3809305B2 (ja) * 1999-07-27 2006-08-16 キヤノン株式会社 画像検索装置及び画像検索方法及びコンピュータ読み取り可能な記憶媒体
US6711587B1 (en) * 2000-09-05 2004-03-23 Hewlett-Packard Development Company, L.P. Keyframe selection to represent a video
US6731189B2 (en) * 2002-06-27 2004-05-04 Raytheon Company Multilayer stripline radio frequency circuits and interconnection methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165107A (ja) * 1992-11-26 1994-06-10 Matsushita Electric Ind Co Ltd 動画像ダイジェスト自動表示装置
JPH0799605A (ja) * 1993-08-04 1995-04-11 Matsushita Electric Ind Co Ltd ビデオカメラシステム
JPH07236115A (ja) * 1994-02-24 1995-09-05 Matsushita Electric Ind Co Ltd ショット検出方法および代表画像記録・表示装置
JPH089314A (ja) * 1994-06-22 1996-01-12 Matsushita Electric Ind Co Ltd 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
JPH1028250A (ja) * 1996-07-10 1998-01-27 Hitachi Ltd インテリジェントビデオカメラ及びインテリジェントスチルカメラ
JPH10112835A (ja) * 1996-10-04 1998-04-28 Matsushita Electric Ind Co Ltd 映像要約方法および映像表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206142A (ja) * 2017-06-06 2018-12-27 日本放送協会 カメラワーク判定装置及びプログラム
JP6990998B2 (ja) 2017-06-06 2022-02-03 日本放送協会 カメラワーク判定装置及びプログラム

Also Published As

Publication number Publication date
US20030016291A1 (en) 2003-01-23
EP1278135A3 (en) 2006-03-08
JP4497761B2 (ja) 2010-07-07
EP1278135A2 (en) 2003-01-22
US7071974B2 (en) 2006-07-04

Similar Documents

Publication Publication Date Title
JP4577252B2 (ja) カメラ、ベストショット撮影方法、プログラム
JPH11252428A (ja) 超解像カメラ
JPH114398A (ja) デジタルワイドカメラ
JP4497761B2 (ja) 画像処理装置及びインデックス作成方法
JP2015053741A (ja) 画像再生装置
JP2010087722A (ja) 撮影装置及び動画像編集方法
US8538247B2 (en) Image processing apparatus and image processing method
JP3893416B2 (ja) 電子スチルカメラおよびその画像データ記録再生方法
JP2011087257A (ja) 半導体集積回路及び撮像装置
JP5168320B2 (ja) カメラ、ベストショット撮影方法、プログラム
JP5402242B2 (ja) 画像再生装置、撮像装置、画像再生方法、画像再生プログラム
JP5402166B2 (ja) 画像合成装置及びプログラム
JP5369776B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP2003304492A (ja) 画像処理装置
JP4665826B2 (ja) 撮像装置および画像処理プログラム
JP2010237911A (ja) 電子機器
JP7444604B2 (ja) 画像処理装置及び方法、及び撮像装置
JP3667065B2 (ja) 撮像記録装置及びその制御方法
JP2011119934A (ja) 画像撮影装置及び画像撮影方法
JP6512208B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2013065642A1 (ja) 画像処理装置
JP2003069947A (ja) 動画像処理装置、動画像処理方法および記憶媒体
JP2001094919A (ja) 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP5041050B2 (ja) 撮像装置および画像処理プログラム
JP5915009B2 (ja) 画像処理装置、電子カメラ、画像処理方法、及びプログラム、並びに記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080715

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees