JP2001101205A - 映像構造化装置、映像構造化方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像検索のための情報を自動的に付加するこ
とによって映像を構造化し、画像の編集、加工にかかる
処理がより容易な映像構造化装置を提供する。 【解決手段】 映像記録装置１１と、画像の特徴量を抽
出する画像特徴量抽出装置１２と、抽出された特徴量を
ディジタル画像と共に記録する構造記録媒体１５とを設
けて映像構造化装置を構成する。また、記録された画像
は、カット・ショット変化点記録装置１３によってセグ
メントとされ、代表フレーム抽出装置１６、カメラ情報
記録装置１７、環境情報記録装置１８で取得された情報
を情報付加装置１９によって付加され、構造生成装置１
４で生成された構造によって管理される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像構造化装置、
映像構造化方法およびその方法をコンピュータに実行さ
せるプログラムを記録したコンピュータ読み取り可能な
記録媒体にかかり、特に映像に情報を付加すると共に、
付加された情報に基づいて映像を検索できる映像構造化
装置、映像構造化方法およびその方法をコンピュータに
実行させるプログラムを記録したコンピュータ読み取り
可能な記録媒体に関する。

【０００２】

【従来の技術】現在、撮影した映像をディジタル画像と
して記録できるディジタル画像記録装置が普及してい
る。ディジタル画像記録装置で記録された画像は、撮影
後に編集、加工されることが多く、この編集、加工を容
易にするために記録されたディジタル画像をよりブラウ
ズし易くする技術が鋭意検討されている。

【０００３】このような技術の公知例としては、例え
ば、特開平６−２３１２５１号公報、特開平８−３３９
３７９号公報、特開平１０−１３７７３号公報に記載さ
れたものが挙げられる。以上の公報のうち、特開平６−
２３１２５１号公報には、映像を構成する画像のうち、
所定の時間間隔を隔てて存在する画像間で差分を測定
し、所望の変化量突出点以外の変化量突出点を取り除い
て所望の変化量突出点を検出している。

【０００４】このとき、特開平６−２３１２５１号公報
に記載された発明によって検出、除去できる変化量突出
点は、差分測定における所定の時間によって調整でき
る。また、特開平８−３３９３７９号公報、特開平１０
−１３７７３号公報には、画像全体から所望の画像を検
索する際に有利なインデクスを作成することが記載され
ている。

【０００５】

【発明が解決しようとする課題】しかしながら、特開平
６−２３１２５１号公報には、除去したい変化量突出点
（カット、フラッシュ）に合わせて差分測定における所
定の時間を自動的に決定することは記載されていない。
また、特開平８−３３９３７９号公報、特開平１０−１
３７７３号公報では、インデクスの作成に当たって操作
者が情報を付加あるいは入力することが記載されてい
る。したがって、これらの公知例は、いずれも画像検索
を自動的に行うものではなく、検索すべき画像の量が増
すにつれ、操作者にかかる負荷が大きくなる虞がある。

【０００６】本発明は、このような点に鑑みてなされた
ものであり、画像検索のための情報を自動的に付加する
ことによって映像を構造化し、画像の編集、加工にかか
る処理がより容易な映像構造化装置、映像構造化方法お
よびその方法をコンピュータに実行させるプログラムを
記録したコンピュータ読み取り可能な記録媒体を提供す
ることを目的とする。

【０００７】

【課題を解決するための手段】以上の課題は、以下の手
段によって解決できる。すなわち、請求項１記載の発明
は、動画像、あるいは静止画像をディジタル画像として
記録できる映像構造化装置であって、記録されたディジ
タル画像から得られる動画像を分割したフレーム画像、
あるいは静止画像から画像の特徴を表す特徴量を抽出す
る特徴量抽出手段と、前記特徴量抽出手段によって抽出
された特徴量を、記録されたディジタル画像と共に記録
する特徴量記録手段とを有することを特徴とするもので
ある。

【０００８】このように構成することにより、画像の記
録と記録された画像の特徴量の抽出とを一体的な構成に
よって行うことができる。このため、記録した画像が自
動的に構造化できるようになる。また、ディジタル画像
に抽出した特徴量を付して記憶しておくことにより、後
のディジタル画像を検索する処理を容易にすることがで
きる。

【０００９】請求項２記載の発明は、前記特徴量抽出手
段が抽出した特徴量を、フレーム画像間、あるいは静止
画像間で比較し、特徴量の差異が所定の閾値よりも大き
いフレーム画像間、あるいは静止画像間にカット・ショ
ット変化点を設定する共に、当該カット・ショット変化
点を記録するカット・ショット変化点記録装置をさらに
有することを特徴とするものである。

【００１０】このように構成することにより、特徴量の
差異が閾値よりも大きいフレーム画像間、あるいは静止
画像間にカット・ショット変化点を設けることができる
ようになる。このため、類似したフレーム画像、あるい
は静止画像をひとまとまりにすることができる。

【００１１】請求項３記載の発明は、前記カット・ショ
ット変化点記録装置は、フレーム画像間、あるいは静止
画像間での特徴量の比較に際し、フレーム画像、あるい
は静止画像を一定のサンプリングレートで抽出し、抽出
されたフレーム画像間、あるいは静止画像間で特徴量の
差異が所定の閾値よりも大きい場合には、前記サンプリ
ングレートを一定の割合で小さくすると共に、前記サン
プリングレートが所定の値に達したことに基づいてカッ
ト・ショット変化点を設定することを特徴とするもので
ある。

【００１２】このように構成することにより、カット・
ショット変化点が存在する可能性が高い部位だけをサン
プリングすることができる。また、人手による処理を一
切行うことなく自動的にカット・ショット変化点を設定
することができる。

【００１３】請求項４記載の発明は、フレーム画像、あ
るいは静止画像を、前記カット・ショット変化点間にあ
るフレーム画像、あるいは静止画像を単位とするカット
・ショットセグメントごとに管理すると共に、当該カッ
ト・ショットセグメントに関する情報をノードとして保
持し、記録された動画像、あるいは静止画像に関する情
報を管理する階層的な木構造を生成する構造情報生成装
置をさらに有することを特徴とするものである。

【００１４】このように構成することにより、フレーム
画像、あるいは静止画像をカット・ショットセグメント
ごとに検索、加工、編集することができるようになる。
また、カット・ショットセグメントを木構造で管理する
ことにより、映像の検索範囲の限定や編集処理が容易に
なる。

【００１５】請求項５記載の発明は、前記カット・ショ
ット変化点記録装置が、記録開始から起算される記録時
間、あるいは画像記録数に基づいてフレーム画像、ある
いは静止画像の全記録画像における位置を特定すること
を特徴とするものである。

【００１６】このように構成することにより、映像の流
れに沿って配列されたフレーム画像、あるいは静止画像
に対してカット・ショット変化点を設けることができ
る。このため、カット・ショットセグメントを、単に特
徴量が類似するフレーム画像、あるいは静止画像のまと
まりでなく、意味のあるまとまりとすることができる。

【００１７】請求項６記載の発明は、前記カット・ショ
ットセグメントに含まれるフレーム画像、あるいは静止
画像の中から代表画像を抽出すると共にその特徴量を記
録する代表画像抽出装置をさらに有することを特徴とす
るものである。

【００１８】このように構成することにより、カット・
ショットセグメントに含まれるフレーム画像、あるいは
静止画像のおおよその印象を簡単に知ることができる。
また、所望の印象の画像をカット・ショットセグメント
を検索することもできる。

【００１９】請求項７記載の発明は、動画像あるいは静
止画像を記録した際の焦点距離、絞り値、ピント距離、
シャッタースピードのうちの少なくとも一つをカメラ情
報とし、動画像あるいは静止画像を記録した日時、記録
場所、高度、気温、湿度のうちの少なくとも一つを環境
情報とし、当該カメラ情報あるいは前記環境情報の少な
くとも一方を、該当するフレーム画像、あるいは静止画
像のセグメントに付加して記録する情報付加装置をさら
に有することを特徴とするものである。

【００２０】このように構成することにより、フレーム
画像、あるいは静止画像のセグメントにカメラ情報、環
境情報の少なくとも一方が付加でき、カット・ショット
セグメントに含まれるフレーム画像、あるいは静止画像
に関する情報を簡単に知ることができる。また、カメラ
情報、環境情報の少なくとも一方を検索の条件として画
像を検索することができる。

【００２１】請求項８記載の発明は、前記情報付加装置
によって付加されたカメラ情報あるいは環境情報の少な
くとも一方を用い、前記カット・ショットセグメントに
含まれる映像を検索する検索装置をさらに有することを
特徴とするものである。

【００２２】このように構成することにより、映像検索
の処理をも自動的に行うことができる。また、検索装置
を組み込んだ映像構造化装置を構成することができる。

【００２３】請求項９記載の発明は、動画像あるいは静
止画像を記録した際の焦点距離、絞り値、ピント距離、
シャッタースピードのうちの少なくとも一つをカメラ情
報として記録するカメラ情報記録装置をさらに有するこ
とを特徴とするものである。

【００２４】このように構成することにより、動画像あ
るいは静止画像を記録すると同時にカメラ情報を自動的
に取得し、記録することができる。

【００２５】請求項１０記載の発明は、動画像あるいは
静止画像を記録した日時、記録場所、高度、気温、湿度
のうちの少なくとも一つを環境情報として記録する環境
情報記録装置をさらに有することを特徴とするものであ
る。

【００２６】このように構成することにより、動画像あ
るいは静止画像を記録すると同時に環境情報を自動的に
取得し、記録することができる。

【００２７】請求項１１記載の発明は、ディジタル画像
として記録された動画像、あるいは静止画像を構造化す
る映像構造化方法であって、記録されたディジタル画像
から得られる動画像を分割したフレーム画像、あるいは
静止画像から画像の特徴を表す特徴量を抽出する特徴量
抽出工程と、前記特徴量抽出工程によって抽出された特
徴量を、記録されたディジタル画像と共に記録する特徴
量記録工程とを含むことを特徴とするものである。

【００２８】このように構成することにより、抽出した
特徴量をディジタル画像に付して記憶し、後のディジタ
ル画像を検索する処理を容易にすることができる。

【００２９】請求項１２記載の発明は、前記特徴量抽出
工程によって抽出された特徴量を、フレーム画像間、あ
るいは静止画像間で比較し、特徴量の差異が所定の閾値
よりも大きいフレーム画像間、あるいは静止画像間にカ
ット・ショット変化点を設定する共に、当該カット・シ
ョット変化点を記録するカット・ショット変化点記録工
程をさらに含むことを特徴とするものである。

【００３０】このように構成することにより、特徴量の
差異が閾値よりも大きいフレーム画像間、あるいは静止
画像間にカット・ショット変化点を設けることができる
ようになる。このため、類似したフレーム画像、あるい
は静止画像をひとまとまりにすることができる。

【００３１】請求項１３記載の発明は、前記カット・シ
ョット変化点記録工程は、フレーム画像間、あるいは静
止画像間での特徴量の比較に際し、フレーム画像、ある
いは静止画像を一定のサンプリングレートで抽出し、抽
出されたフレーム画像間、あるいは静止画像間で特徴量
の差異が所定の閾値よりも大きい場合には、前記サンプ
リングレートを一定の割合で小さくすると共に、前記サ
ンプリングレートが所定の値に達したことに基づいてカ
ット・ショット変化点を設定することを特徴とするもの
である。

【００３２】このように構成することにより、カット・
ショット変化点が存在する可能性が高い部位だけをサン
プリングすることができる。また、人手による処理を一
切行うことなく自動的にカット・ショット変化点を設定
することができる。

【００３３】請求項１４記載の発明は、フレーム画像、
あるいは静止画像を、前記カット・ショット変化点間に
あるフレーム画像、あるいは静止画像を単位とするカッ
ト・ショットセグメントごとに管理すると共に、当該カ
ット・ショットセグメントに関する情報をノードとして
保持し、記録された動画像、あるいは静止画像に関する
情報を管理する階層的な木構造を生成する構造情報生成
工程をさらに有することを特徴とするものである。

【００３４】このように構成することにより、フレーム
画像、あるいは静止画像をカット・ショットセグメント
ごとに検索、加工、編集することができるようになる。
また、カット・ショットセグメントを木構造で管理する
ことにより、映像の検索範囲の限定や編集処理が容易に
なる。

【００３５】請求項１５記載の発明は、前記カット・シ
ョット変化点記録工程が、記録開始から起算される記録
時間、あるいは画像記録数に基づいてフレーム画像、あ
るいは静止画像の全記録画像における位置を特定するこ
とを特徴とするものである。

【００３６】このように構成することにより、映像の流
れに沿って配列されたフレーム画像、あるいは静止画像
に対してカット・ショット変化点を設けることができ
る。このため、カット・ショットセグメントを、単に特
徴量が類似するフレーム画像、あるいは静止画像のまと
まりでなく、意味のあるまとまりとすることができる。

【００３７】請求項１６記載の発明は、前記カット・シ
ョットセグメントに含まれるフレーム画像、あるいは静
止画像の中から代表画像を抽出すると共に記録する代表
画像抽出工程をさらに含むことを特徴とするものであ
る。

【００３８】このように構成することにより、カット・
ショットセグメントに含まれるフレーム画像、あるいは
静止画像のおおよその印象を簡単に知ることができる。

【００３９】請求項１７記載の発明は、前記構造情報生
成工程は、動画像あるいは静止画像を記録した際の焦点
距離、絞り値、ピント距離、シャッタースピードのうち
の少なくとも一つをカメラ情報とし、動画像あるいは静
止画像を記録した日時、記録場所、高度、気温、湿度の
うちの少なくとも一つを環境情報とし、当該カメラ情報
あるいは前記環境情報の少なくとも一方を、該当するセ
グメントに付加して記録する情報付加工程をさらに含む
ことを特徴とするものである。

【００４０】このように構成することにより、フレーム
画像、あるいは静止画像のセグメントにカメラ情報、環
境情報の少なくとも一方が付加でき、カット・ショット
セグメントに含まれるフレーム画像、あるいは静止画像
に関する情報を簡単に知ることができる。また、カメラ
情報、環境情報の少なくとも一方を検索の条件として画
像を検索することができる。

【００４１】請求項１８記載の発明は、前記情報付加工
程によって付加されたカメラ情報あるいは環境情報の少
なくとも一方を用い、前記カット・ショットセグメント
に含まれる映像を検索する検索工程をさらに含むことを
特徴とするものである。

【００４２】このように構成することにより、映像検索
の処理をも自動的に行うことができる。

【００４３】また、請求項１９記載の発明は、前記請求
項１１〜１８のいずれか一つに記載の映像構造化方法に
含まれる各工程をコンピュータに実行させるプログラム
をコンピュータ読み取り可能な記録媒体に記録したこと
を特徴とするものである。

【００４４】このように構成することにより、前記請求
項１１〜１８のいずれか一つに記載の映像構造化方法に
含まれる各工程をコンピュータに実行させるプログラム
を記録することができる。このため、そのプログラムが
コンピュータで読み取り可能となり、請求項１１〜１８
でなされる工程をコンピュータによって実行することが
できる。

【００４５】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて説明する。図１は、本発明の映像構造化装置を説明
するためのブロック図である。図示した構成は、動画
像、あるいは静止画像をディジタル画像として記録でき
る映像記録装置１１を有する映像構造化装置である。そ
して、記録されたディジタル画像から得られる動画像を
分割したフレーム画像、あるいは静止画像から画像の特
徴を表す特徴量を抽出する特徴量抽出手段である画像特
徴量抽出装置１２を有している。画像特徴量抽出装置１
２によって抽出された特徴量は、映像記録装置１１によ
って記録されたディジタル画像と共に特徴量記録手段で
ある構造記録媒体１５に記録される。

【００４６】また、図１に示した構成は、画像特徴量抽
出装置１２が抽出した特徴量を、フレーム画像間、ある
いは静止画像間で比較し、特徴量の差異が所定の閾値よ
りも大きいフレーム画像間、あるいは静止画像間にカッ
ト・ショット変化点を設定すると共に、このカット・シ
ョット変化点を記録するカット・ショット変化点記録装
置１３を有している。なお、本実施の形態のカット・シ
ョット変化点は、記録開始から起算される記録時間、あ
るいは画像記録数に基づいて配列されたフレーム画像、
あるいは静止画像において、隣り合って配列され、かつ
特徴量の差が所定の閾値よりも大きいフレーム画像、あ
るいは静止画像間に設けられるものとする。

【００４７】また、図１に示した構成は、フレーム画
像、あるいは静止画像を、カット・ショット変化点間に
あるフレーム画像、あるいは静止画像を単位とするカッ
ト・ショットセグメントごとに管理すると共に、このカ
ット・ショットセグメントに関する情報をノードとして
保持し、記録された動画像、あるいは静止画像に関する
情報を管理する階層的な木構造を生成する構造情報生成
装置である構造生成装置１４と、カット・ショットセグ
メントに含まれるフレーム画像、あるいは静止画像の中
から代表画像を抽出すると共にその特徴量を記録する代
表画像抽出装置である代表フレーム抽出装置１６とを有
している。

【００４８】また、図１に示した構成は、動画像あるい
は静止画像を記録した際の焦点距離、絞り値、ピント距
離、シャッタースピードのうちの少なくとも一つをカメ
ラ情報として記録するカメラ情報記録装置１７と、動画
像あるいは静止画像を記録した日時、記録場所、高度、
気温、湿度のうちの少なくとも一つを環境情報として記
録する環境情報記録装置１８とを有している。そして、
カメラ情報、環境情報の少なくとも一方を、該当するセ
グメント（フレーム画像のまとまり）に付加して記録す
る情報付加装置１９と、情報付加装置１９によって付加
されたカメラ情報あるいは環境情報の少なくとも一方を
用い、カット・ショットセグメントに含まれる映像を検
索する検索装置２０をさらに有している。

【００４９】上記した構成は、以下のように動作する。
なお、本発明の実施の形態では、動画像を分割したフレ
ーム画像についての処理を説明するものとする。ただ
し、静止画像を処理する場合についても、撮影順序で時
系列に並べられた各静止画像を以下に述べる処理と同様
に処理することでフレーム画像と同様に構造化すること
ができる。

【００５０】映像記録装置１１は、画像を記録（すなわ
ち、映像を撮影）し、記録された画像をフレーム画像と
して記録する。なお、本実施の形態のフレーム画像は、
映像（動画像）を所定の時間間隔で分割することによっ
て作成された静止画像である。画像特徴量抽出装置１２
は、このようなフレーム画像の各々について静止画とし
ての特徴量を抽出する。この特徴量とは、各フレーム画
像についての、例えば、以下に示す項目の特性を表す情
報である。

【００５１】・カラーヒストグラム ・空間色分布 ・空間エッジ分布 ・空間テクスチャ分布 ・オブジェクト形状 フレーム画像は、その一つ一つが上記した全項目につい
ての情報を抽出される。本実施の形態では、このような
情報をまとめて、各フレーム画像についてのフレーム情
報ともいう。

【００５２】ところで、カット・ショット変化点を設定
すべき箇所は、全画像中に不規則な間隔で存在してい
る。図２は、フレーム画像を配列して構成された画像全
体におけるカット・ショット変化点を設定すべき位置を
Ｃとして表した図である。このようなカット・ショット
変化点を探査するために画像を構成するフレーム画像の
すべてについて隣り合うフレーム画像との特徴量の差を
算出した場合には、画像構造化にかかる処理時間が長く
なる。

【００５３】このため、カット・ショット変化点記録装
置１３は、画像特徴量抽出装置１２で抽出された特徴量
の比較に際し、フレーム画像を一定のサンプリングレー
トで抽出し、抽出されたフレーム画像間で特徴量の差異
が所定の閾値よりも大きい場合には、サンプリングレー
トを一定の割合で小さくすると共に、サンプリングレー
トが所定の値（本実施の形態では１）に達したことに基
づいてカット・ショット変化点を設定する。

【００５４】以下、カット・ショット変化点の設定につ
いて、より具体的に説明する。図３（ａ）、（ｂ）、
（ｃ）、（ｄ）は、カット・ショット変化点を設定する
処理を説明するための図である。なお、図中、３で示す
フレーム画像群３は、画像の記録開始から起算される記
録時間、あるいは画像記録数に基づいて配列されてい
て、この順序によって全記録画像における位置が特定さ
れている。

【００５５】このようなフレーム画像群３に対し、本実
施の形態では、先ず、フレーム画像１８０枚ごとに（サ
ンプリングレート１８０で）特徴量の比較を開始する。
なお、本実施の形態では、１秒間で撮影された画像から
６０枚のフレーム画像を記録していることから、サンプ
リングレート１８０で行われる比較は、３秒間に撮影さ
れた映像ごとに特徴量を比較することになる。なお、特
徴量の比較は、フレーム画像間の特徴量の距離（フレー
ム情報に含まれる各項目の情報を総合して決められる特
徴量の差分値）を算出することによって行われる。

【００５６】つまり、サンプリングレート１８０でフレ
ーム画像をフレーム画像群３から抽出し、連続して抽出
されたフレーム画像間の距離を求める。そして、この距
離と予め設定されている閾値とを比較し、距離が閾値よ
りも小さい場合には、サンプリングレート１８０でフレ
ーム画像間の距離を求める処理を続ける。また、距離が
閾値よりも大きい箇所があった場合には、以降のサンプ
リングレートを一定の割合で下げてフレーム画像間の距
離を求める処理を続ける。

【００５７】例えば、図３（ａ）に示したように、サン
プリングレートが２４であるときには、サンプリングの
開始フレーム（探査開始フレーム）３１と、探査開始フ
レーム３１を含む２４番目に位置するフレーム画像（サ
ンプリングレート２４における最終比較フレーム）３３
ａとの距離を求める。そして、この距離が閾値よりも大
きかった場合には、図３（ｂ）のようにサンプリングレ
ートを７まで下げ、探査開始フレーム３１を含む７番目
に位置するフレーム画像３５（定間隔比較フレーム）と
探査開始フレーム３１との距離、フレーム画像３５を含
む７番目に位置するフレーム画像３６（定間隔比較フレ
ーム）とフレーム画像３５との距離、さらにフレーム画
像３６を含む７番目に位置するフレーム画像３３ｂ（サ
ンプリングレート７における最終比較フレーム）とフレ
ーム画像３６との距離を求める。求められた距離は、す
べて閾値と比較される。

【００５８】この比較の結果、フレーム画像３６とフレ
ーム画像３３ｂとの距離が閾値よりも大きかった場合に
は、図３（ｃ）のようにサンプリングレートを２まで下
げ、フレーム画像３６を含む２番目に位置するフレーム
画像３７とフレーム画像３６との距離、フレーム画像３
７を含む２番目に位置するフレーム画像３８とフレーム
画像３７との距離、フレーム画像３８を含む２番目に位
置するフレーム画像３３ｃ（サンプリングレート２にお
ける最終比較フレーム）とフレーム画像３８との距離を
求める。求められた距離は、すべて閾値と比較される。

【００５９】この比較の結果、フレーム画像３８とフレ
ーム画像３３ｃとの距離が閾値よりも大きかった場合に
は、図３（ｄ）のようにサンプリングレートを１まで下
げる。そして、サンプリングレートが１になった時点
で、例えばフレーム画像３８とフレーム画像３３ｃとの
間に位置するフレーム画像３３ｄをカット・ショット変
化点として設定する。

【００６０】以上のように構成することにより、本実施
の形態は、カット・ショット変化点が存在する可能性の
ある範囲についてのみ低いサンプリングレートでカット
・ショット変化点を探査できる。このため、カット・シ
ョット探査を効率化し、カット・ショットの探査精度を
低下させることなくカット・ショット変化点探査にかか
る時間を短縮することができる。

【００６１】カット・ショット変化点が設定された画像
は、カット・ショット変化点間にあるフレーム画像を単
位とするカット・ショットセグメントを作成する。そし
て、このカット・ショットセグメントを代表するフレー
ム画像である代表フレームを、セグメントに含まれるフ
レーム画像から抽出する。このとき、同一のカット・シ
ョットセグメントに含まれるフレーム画像は比較的似て
いるものと考えられることから、代表フレームには、カ
ット・ショットセグメントに含まれる任意のフレーム画
像を選んでも良い。また、特に指定がない場合には、カ
ット・ショットセグメントを構成するフレーム群の中央
に位置するフレーム画像を代表フレームとしても良い。

【００６２】図４は、本実施の形態の構造生成装置１４
が生成する階層的な木構造として構成された映像管理デ
ータを説明するための図である。図示した木構造は、映
像記録装置１１で管理される記録メディアに対して１つ
のルート・ディレクトリ４１を持つ映像管理データを表
すものである。なお、図中、Ｘは環境情報を示し、Ｙは
カメラ情報を表し、Ｚは代表フレームの静止画特徴量を
それぞれ表すものとする。

【００６３】また、ルート・ディレクトリ４１の直下に
位置するカット・ショット統括情報４２Ａ、カット・シ
ョット情報４３Ａは、映像記録装置１１の記録メディア
で記録された画像すべてに共通の情報である。さらに、
カット・ショット統括情報４２Ｂは、カット・ショット
情報４３Ａによって管理されるセグメントの一つのカッ
ト・ショット変化点に関する情報である。

【００６４】本実施の形態の映像構造化装置は、映像記
録装置１１が撮影を進めるにつれて所定の単位の撮影ご
とに１つのセグメントを作成する。図４に示した木構造
中には、この撮影ごとのセグメントが２つあって、この
各セグメントにカット・ショット情報４３Ｂ、４３Ｃ
と、カメラ情報Ｘとが付加されている。なお、カット・
ショット情報とは、例えば、セグメントに含まれるフレ
ーム画像群３中に設けられたカット・ショット変化点に
共通の情報を指していうものとする。

【００６５】一方、カメラ情報Ｘとは、そのセグメント
に含まれるフレーム画像を撮影したときの焦点距離、絞
り値、シャッタースピード、ピント合焦距離といった情
報を含んでいる。このような情報のうち、焦点距離に関
する情報からは、フレーム画像の撮影対象物が風景か、
あるいは人物や物といったオブジェクトか、広角撮影
か、あるいは望遠撮影かといった点ついて推測すること
ができる。また、絞り値に関する情報からは、撮影対象
物が風景か、あるいはオブジェクトかといった判断に加
えて、撮影場所の明暗についても推測することができ
る。

【００６６】また、シャッタースピードに関する情報か
らは、撮影対象物が静止したものか、あるいは移動して
いるものかについて、さらに撮影場所の明暗について推
測することができる。そして、ピント合焦距離に関する
情報からは、映像記録装置１１のカメラ部分と撮影対象
物との距離がおおよそ推測できる。上記した情報を複合
的に解釈することにより、例えば、シャッタースピード
に関わらず絞り値が低く、合焦距離が近くて焦点距離が
遠い場合には、オブジェクトを撮影した可能性が高いと
いうような推測ができるようになる。

【００６７】さらに、カット・ショット情報４３Ｂが付
加されたセグメントの下位には、このセグメントに含ま
れるカット・ショットセグメントが複数（４個）配置さ
れている。そして、この各カット・ショットセグメント
には、各カット・ショットセグメントに含まれるフレー
ム画像で共通のカット・ショット情報４３Ｄ、４３Ｅ、
４３Ｆ、４３Ｇが配置されている。一方、カット・ショ
ット情報４３Ｃが付加されたセグメントの下位には、こ
のセグメントに含まれるカット・ショットセグメントが
複数（４個）配置されている。そして、この各カット・
ショットセグメントには、各カット・ショットセグメン
トに含まれるフレーム画像で共通のカット・ショット情
報４３Ｈ、４３Ｌ、４３Ｊ、４３Ｋが配置されている。

【００６８】カット・ショット情報４３Ｄ、４３Ｅ、４
３Ｆ、４３Ｇ、４３Ｈ、４３Ｌ、４３Ｊ、４３Ｋには、
それぞれ環境情報Ｙが付加されている。環境情報Ｙと
は、撮影時の外部環境に関する情報であって、日時、位
置（緯度および経度）、高度、気温、湿度に関する情報
を含んでいる。なお、本実施の形態の映像構造化装置に
は、このような情報を取得するための時計（ＧＭＴ時間
を標準とする）、ＧＰＳ（Global Positioning Syste
m）、気圧センサ、温度センサ、湿度センサが備えられ
ている。

【００６９】さらに、カット・ショット情報４３Ｄ、４
３Ｅ、４３Ｆ、４３Ｇ、４３Ｈ、４３Ｉ、４３Ｊ、４３
Ｋには、前述した代表フレームに関する情報である代表
フレーム情報がそれぞれ付加されている。そして、この
代表フレーム情報には、代表フレームとして抽出された
フレーム画像の静止画像としての特徴量である静止画特
徴量Ｚが付加されている。なお、この静止画特徴量に
は、例えば、代表フレームについてのフレーム情報を用
いても良い。

【００７０】以上のようにして木構造として生成された
映像管理データは、構造記録媒体１５に記録される。検
索装置２０は、構造記録媒体１５に記憶された映像管理
データを検索し、所望の画像を検出する。この際、検索
装置２０は、環境情報Ｘ、カメラ情報Ｙ、代表フレーム
の静止画特徴量Ｚから各セグメントに含まれる画像のお
およその内容について判断ができる。したがって、本実
施の形態は、映像のうち、所望の画像が存在する可能性
の高い箇所についてのみ検索することができるようにな
り、映像を効率よくブラウズすることができる。

【００７１】次に、図５に示したフローチャートを用
い、本実施の形態の映像構造化方法について説明する。
図示したフローチャートでは、映像記録装置１１によっ
て撮影を行い（Ｓ１）、この撮影が終了したか否か判断
する（Ｓ２）。撮影が終了したと判断された場合には
（Ｓ２：Ｙｅｓ）、環境情報記録装置１８によって時計
や温度センサなどで記録された環境情報が抽出される
（Ｓ３）。また、カメラ情報記録装置１７によってシャ
ッタースピードや焦点距離といったカメラ情報が抽出さ
れる（Ｓ４）。さらに、画像特徴量抽出装置１２から
は、撮影された画像から作成された各フレーム画像の特
徴量が抽出される（Ｓ５）。

【００７２】次に、カット・ショット変化点記録装置１
３は、フレーム画像を先ずサンプリングレート１８０で
サンプリングし、サンプリングされたフレーム画像間の
特徴量の差（距離）を予め設定されている閾値と比較す
る。そして、距離が閾値よりも大きいフレーム画像が発
生する度にサンプリングレートを下げ、サンプリングレ
ートが１となったところでカット・ショット変化点を設
定する（Ｓ６）。次に、ステップＳ６で設定されたカッ
ト・ショット変化点に基づいて複数のカット・ショット
セグメントを作成する。そして、各カット・ショットセ
グメントから代表フレームとなるフレーム画像を抽出す
る（Ｓ７）。

【００７３】構造生成装置１４は、以上のようにして作
成されたカット・ショットセグメント単位でフレーム画
像を管理する木構造の映像管理データを作成する（Ｓ
８）。この際、情報付加装置１９は、撮影ごとに作成さ
れたセグメントにはステップＳ４で抽出されたカメラ情
報を付加し、また、カット・ショットセグメントにはス
テップＳ３で抽出された環境情報を付加する。そして、
カット・ショットセグメントに付加されたカット・ショ
ット情報には、ステップＳ５で抽出された特徴量のうち
代表フレームについての特徴量を付加する。

【００７４】ステップＳ７で生成された木構造の映像管
理データは、構造記録媒体１５に記録される（Ｓ９）。
以上の処理終了後、図５に示したフローチャートは、す
べての処理を終了する。なお、構造記録媒体１５に記録
された映像管理データから所望の映像を検索する場合、
検索装置２０は、ステップＳ８で付加されたカメラ情報
あるいは環境情報の少なくとも一方を用い、カット・シ
ョットセグメントに含まれる映像を検索する。

【００７５】なお、本実施の形態で説明した情報構造化
方法は、予め用意されたプログラムをパーソナルコンピ
ュータ等のコンピュータで実行することにより実現され
る。このプログラムは、ハードディスク、フロッピーデ
ィスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータ
で読み取り可能な記録媒体に記録され、コンピュータに
よって記録媒体から読み出されることによって実行され
る。またこのプログラムは、上記記録媒体を介して、ま
た伝送媒体として、インターネット等のネットワークを
介して配布することができる。

【００７６】

【発明の効果】請求項１および請求項１１記載の発明
は、撮影した映像が自動的に構造化できるようになり、
映像の構造化にかかる作業者の負荷を軽減することがで
きる。また、後のディジタル画像を検索する処理を容易
にし、映像のブラウズを簡易にすることができる。

【００７７】請求項２および請求項１２記載の発明は、
類似したフレーム画像、あるいは静止画像をひとまとま
りにすることができる。このため、類似したフレーム画
像、あるいは静止画像ごとに付加された情報を用いて映
像をブラウズすることができ、より簡易に映像をブラウ
ズすることができる。

【００７８】請求項３および請求項１３記載の発明は、
カット・ショット変化点が存在する可能性が高い部位だ
けをサンプリングすることができ、カット・ショット変
化点の設定をより短時間で行うことができる。また、人
手による処理を一切行うことなく自動的にカット・ショ
ット変化点を設定することができ、ブラウズにかかる作
業者の負荷をいっそう軽減することができる。

【００７９】請求項４および１４記載の発明は、フレー
ム画像、あるいは静止画像をカット・ショットセグメン
トごとに検索、加工、編集することができるようにな
り、検索、加工、編集の処理をより短時間で行うことが
できる。また、カット・ショットセグメントを木構造で
管理することによって映像の検索範囲の限定や編集処理
が容易になり、検索、加工、編集にかかる作業者の負荷
をいっそう軽減することができる。

【００８０】請求項５および１５記載の発明は、カット
・ショットセグメントを意味のあるまとまりとすること
ができ、検索、加工、編集にかかる作業者の負荷をいっ
そう軽減することができる。

【００８１】請求項６および１６記載の発明は、フレー
ム画像、あるいは静止画像のおおよその印象を簡単に知
ること、また、所望の印象の画像からカット・ショット
セグメントを検索できる。このため、画像の検索、加
工、編集時間をより短縮し、しかも作業者の負荷を軽減
することができる。

【００８２】請求項７および１７記載の発明は、カット
・ショットセグメントに含まれるフレーム画像、あるい
は静止画像に関する情報を簡単に知ること、カメラ情
報、環境情報の少なくとも一方を検索の条件として画像
を検索することができる。このため、画像の検索、加
工、編集時間を短縮し、しかも作業者の負荷を軽減する
ことができる。

【００８３】請求項８および１８記載の発明は、映像検
索の処理をも自動的に行うことができ、映像の検索にか
かる作業者の負荷を軽減することができる。

【００８４】請求項９記載の発明は、動画像あるいは静
止画像を記録すると同時にカメラ情報を自動的に取得
し、記録することができる。このため、カメラ情報を改
めて記録する処理を省き、作業者にかかる負荷を軽減す
ることができる。

【００８５】請求項１０記載の発明は、動画像あるいは
静止画像を記録すると同時に環境情報を自動的に取得
し、記録することができる。このため、環境情報を改め
て記録する処理を省き、作業者にかかる負荷を軽減する
ことができる。

【００８６】このように構成することにより、動画像あ
るいは静止画像を記録すると同時に環境情報を自動的に
取得し、記録することができる。

【００８７】請求項１９記載の発明は、請求項１１〜１
８でなされる工程をコンピュータによって実行すること
ができる。このため、請求項１１〜１８に記載した各工
程を汎用的なコンピュータによって実行できるようにな
り、請求項１１〜１８に記載した映像構造化方法を簡易
に実行することができる。

【００８８】したがって、以上述べた請求項１ないし請
求項１９に記載した発明は、画像検索のための情報を自
動的に付加することによって映像を構造化し、画像の編
集、加工にかかる処理がより容易な映像構造化装置、映
像構造化方法およびその方法をコンピュータに実行させ
るプログラムを記録したコンピュータ読み取り可能な記
録媒体を提供することができるものといえる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の映像構造化装置を説明
するためのブロック図である。

【図２】フレーム画像を配列して構成された画像全体に
おけるカット・ショット変化点を設定すべき位置をＣと
して表した図である。

【図３】本発明の一実施の形態のカット・ショット変化
点を設定する処理を説明するための図である。

【図４】本発明の一実施の形態の映像管理データを説明
するための図である。

【図５】本発明の一実施の形態の映像構造化方法につい
て説明するためのフローチャートである。

【符号の説明】

１１ 映像記録装置 １２ 画像特徴量抽出装置 １３ カット・ショット変化点記録装置 １４ 構造生成装置 １５ 構造記録媒体 １６ 代表フレーム抽出装置 １７ カメラ情報記録装置 １８ 環境情報記録装置 １９ 情報付加装置 ２０ 検索装置

フロントページの続き Ｆターム(参考） 5B075 ND12 NK06 NR05 PR06 5C052 AA00 AB04 AC08 CC01 CC11 DD04 5L096 BA08 CA04 GA06 HA01 HA02 9A001 BB02 BB03 BB04 CC02 DD09 DD13 EE01 FF03 HH23 HH30 JJ03 JJ25 JJ26 JJ78 KK43 KK56

Claims (19)

【特許請求の範囲】
1. 【請求項１】 動画像、あるいは静止画像をディジタル
   画像として記録できる映像構造化装置であって、 記録されたディジタル画像から得られる動画像を分割し
   たフレーム画像、あるいは静止画像から画像の特徴を表
   す特徴量を抽出する特徴量抽出手段と、 前記特徴量抽出手段によって抽出された特徴量を、記録
   されたディジタル画像と共に記録する特徴量記録手段と
   を有することを特徴とする映像構造化装置。
2. 【請求項２】 前記特徴量抽出手段が抽出した特徴量
   を、フレーム画像間、あるいは静止画像間で比較し、特
   徴量の差異が所定の閾値よりも大きいフレーム画像間、
   あるいは静止画像間にカット・ショット変化点を設定す
   る共に、当該カット・ショット変化点を記録するカット
   ・ショット変化点記録装置をさらに有することを特徴と
   する請求項１に記載の映像構造化装置。
3. 【請求項３】 前記カット・ショット変化点記録装置
   は、フレーム画像間、あるいは静止画像間での特徴量の
   比較に際し、フレーム画像、あるいは静止画像を一定の
   サンプリングレートで抽出し、抽出されたフレーム画像
   間、あるいは静止画像間で特徴量の差異が所定の閾値よ
   りも大きい場合には、前記サンプリングレートを一定の
   割合で小さくすると共に、前記サンプリングレートが所
   定の値に達したことに基づいてカット・ショット変化点
   を設定することを特徴とする請求項２に記載の映像構造
   化装置。
4. 【請求項４】 フレーム画像、あるいは静止画像を、前
   記カット・ショット変化点間にあるフレーム画像、ある
   いは静止画像を単位とするカット・ショットセグメント
   ごとに管理すると共に、当該カット・ショットセグメン
   トに関する情報をノードとして保持し、記録された動画
   像、あるいは静止画像に関する情報を管理する階層的な
   木構造を生成する構造情報生成装置をさらに有すること
   を特徴とする請求項２または３に記載の映像構造化装
   置。
5. 【請求項５】 前記カット・ショット変化点記録装置
   は、記録開始から起算される記録時間、あるいは画像記
   録数に基づいてフレーム画像、あるいは静止画像の全記
   録画像における位置を特定することを特徴とする請求項
   ２〜４のいずれか一つに記載の映像構造化装置。
6. 【請求項６】 前記カット・ショットセグメントに含ま
   れるフレーム画像、あるいは静止画像の中から代表画像
   を抽出すると共にその特徴量を記録する代表画像抽出装
   置をさらに有することを特徴とする請求項４または５に
   記載の映像構造化装置。
7. 【請求項７】 動画像あるいは静止画像を記録した際の
   焦点距離、絞り値、ピント距離、シャッタースピードの
   うちの少なくとも一つをカメラ情報とし、動画像あるい
   は静止画像を記録した日時、記録場所、高度、気温、湿
   度のうちの少なくとも一つを環境情報とし、当該カメラ
   情報あるいは前記環境情報の少なくとも一方を、該当す
   るフレーム画像、あるいは静止画像のセグメントに付加
   して記録する情報付加装置をさらに有することを特徴と
   する請求項５または６に記載の映像構造化装置。
8. 【請求項８】 前記情報付加装置によって付加されたカ
   メラ情報あるいは環境情報の少なくとも一方を用い、前
   記カット・ショットセグメントに含まれる映像を検索す
   る検索装置をさらに有することを特徴とする請求項７に
   記載の映像構造化装置。
9. 【請求項９】 動画像あるいは静止画像を記録した際の
   焦点距離、絞り値、ピント距離、シャッタースピードの
   うちの少なくとも一つをカメラ情報として記録するカメ
   ラ情報記録装置をさらに有することを特徴とする請求項
   １〜８のいずれか一つに記載の映像構造化装置。
10. 【請求項１０】 動画像あるいは静止画像を記録した日
    時、記録場所、高度、気温、湿度のうちの少なくとも一
    つを環境情報として記録する環境情報記録装置をさらに
    有することを特徴とする請求項１〜９のいずれか一つに
    記載の映像構造化装置。
11. 【請求項１１】 ディジタル画像として記録された動画
    像、あるいは静止画像を構造化する映像構造化方法であ
    って、 記録されたディジタル画像から得られる動画像を分割し
    たフレーム画像、あるいは静止画像から画像の特徴を表
    す特徴量を抽出する特徴量抽出工程と、 前記特徴量抽出工程によって抽出された特徴量を、記録
    されたディジタル画像と共に記録する特徴量記録工程と
    を含むことを特徴とする映像構造化方法。
12. 【請求項１２】 前記特徴量抽出工程によって抽出され
    た特徴量を、フレーム画像間、あるいは静止画像間で比
    較し、特徴量の差異が所定の閾値よりも大きいフレーム
    画像間、あるいは静止画像間にカット・ショット変化点
    を設定する共に、当該カット・ショット変化点を記録す
    るカット・ショット変化点記録工程をさらに含むことを
    特徴とする請求項１１に記載の映像構造化方法。
13. 【請求項１３】 前記カット・ショット変化点記録工程
    は、フレーム画像間、あるいは静止画像間での特徴量の
    比較に際し、フレーム画像、あるいは静止画像を一定の
    サンプリングレートで抽出し、抽出されたフレーム画像
    間、あるいは静止画像間で特徴量の差異が所定の閾値よ
    りも大きい場合には、前記サンプリングレートを一定の
    割合で小さくすると共に、前記サンプリングレートが所
    定の値に達したことに基づいてカット・ショット変化点
    を設定することを特徴とする請求項１２に記載の映像構
    造化方法。
14. 【請求項１４】 フレーム画像、あるいは静止画像を、
    前記カット・ショット変化点間にあるフレーム画像、あ
    るいは静止画像を単位とするカット・ショットセグメン
    トごとに管理すると共に、当該カット・ショットセグメ
    ントに関する情報をノードとして保持し、記録された動
    画像、あるいは静止画像に関する情報を管理する階層的
    な木構造を生成する構造情報生成工程をさらに有するこ
    とを特徴とする請求項１２または１３に記載の映像構造
    化方法。
15. 【請求項１５】 前記カット・ショット変化点記録工程
    は、記録開始から起算される記録時間、あるいは画像記
    録数に基づいてフレーム画像、あるいは静止画像の全記
    録画像における位置を特定することを特徴とする請求項
    １２〜１４のいずれか一つに記載の映像構造化方法。
16. 【請求項１６】 前記カット・ショットセグメントに含
    まれるフレーム画像、あるいは静止画像の中から代表画
    像を抽出すると共にその特徴量を記録する代表画像抽出
    工程をさらに含むことを特徴とする請求項１４または１
    ５に記載の映像構造化方法。
17. 【請求項１７】 動画像あるいは静止画像を記録した際
    の焦点距離、絞り値、ピント距離、シャッタースピード
    のうちの少なくとも一つをカメラ情報とし、動画像ある
    いは静止画像を記録した日時、記録場所、高度、気温、
    湿度のうちの少なくとも一つを環境情報とし、当該カメ
    ラ情報あるいは前記環境情報の少なくとも一方を、該当
    するセグメントに付加して記録する情報付加工程をさら
    に含むことを特徴とする請求項１５または１６に記載の
    映像構造化方法。
18. 【請求項１８】 前記情報付加工程によって付加された
    カメラ情報あるいは環境情報の少なくとも一方を用い、
    前記カット・ショットセグメントに含まれる映像を検索
    する検索工程をさらに含むことを特徴とする請求項１７
    に記載の映像構造化方法。
19. 【請求項１９】 前記請求項１１〜１８のいずれか一つ
    に記載の映像構造化方法に含まれる各工程をコンピュー
    タに実行させるプログラムを記録したことを特徴とする
    コンピュータ読み取り可能な記録媒体。