JP2003333509A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来から考案されていた動画像の特徴的な場
面を編集し、縮小画像による一覧を作成するという技術
を拡張し、動画像が持つ音声データをテキストに変換し
て、画像データと共にテキストの印刷も行うことを目的
とする。 【解決手段】 音声データをテキストデータに変換する
手段と、音声データの音の特徴を特徴別に分類する手段
と、音声データが発生した時刻と、その特徴を元にテキ
スト文を作成するテキスト文作成手段と、印刷画像デー
タの時刻と音声時刻とを元に画像に属するテキストを作
成する画像テキスト作成手段を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画撮影された画
像データ、および音声データにおいて、画像情報と音声
情報の両方、もしくは一方のみを一覧印刷することが可
能な情報処理装置に関する。

【０００２】

【従来の技術】近年、動画像もしくは音声データを印刷
したいという要求は高まってきている。たとえば動画像
においては、一般家庭内においてビデオやPCを使ったテ
レビ番組の録画や編集、ビデオカメラを使った撮影など
を行うことで簡単に作成されるが、その画像データの中
身を確認するためには、その動画像データの時間分、再
生装置によって再生し、自分の目で見て確認することし
か出来なかった。

【０００３】

【発明が解決しようとする課題】従来の技術には動画像
の特徴的な場面を編集し、縮小画像による一覧を作成
し、その一覧を印刷することで、再生装置が無くてもあ
る程度、動画像の内容を確認することが出来る一覧資料
作りの技術が考案されている。しかしながら、この方法
は動画像に記録されている画像の概要を掴むには良い技
術ではあるが、動画像が本来持っていた場面場面の状況
が、音声情報が加味されていないために分かりづらかっ
た。

【０００４】本発明は、上記問題点に鑑みてなされたも
のであり、一覧資料作りにおいて音声データを付加し、
動画像が本来持っていた場面場面の状況を把握しやすく
する情報処理装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】かかる目的を達成するた
めに、本発明の請求項１に記載の情報処理装置は、音声
データの1つ1つを、テキストデータ、特徴データ、時刻
データに変換し、音声情報として取得する音声情報取得
手段と、音声情報の特徴を人、犬、風、車などのように
分類する音声分類手段と、音声情報の分類データ別に音
声特徴を保持する登場音声保持手段と、音声情報の時刻
と特徴によって、テキストデータを編集しテキスト文を
作成するテキスト文作成手段と、音声情報を特徴別にテ
キスト文データを保持する音声テキスト文データ保持手
段とを備え、音声データを前記音声情報取得手段を用い
て、1つ1つの音に対してテキストデータ、特徴データ、
時刻データに変換された音声情報を取得し、音声情報か
ら前記音声分類手段を用いて特徴を分類し、分類した音
声情報の特徴情報が前記登場音声保持手段で既に登録さ
れているかいないかを比較し、登録されていたら登録せ
ず、未登録なら特徴データを登録し、さらに時刻データ
と特徴データ別にテキスト文を作成する前記テキスト文
作成手段とを用い、前記音声テキスト文データ保持手段
を用いて音声特徴別にテキスト文を保持することを特徴
とする。

【０００６】また、本発明の請求項２に記載の情報処理
装置は、請求項１に記載の発明において、音声テキスト
文の先頭テキストの時刻がもっとも古いものを取得する
テキスト文取得手段と、音声特徴データの分類別と特徴
名を印刷する分類特徴名印刷手段と、音声テキスト文印
刷手段とを備え、前記編集された音声テキスト文データ
のうち、テキスト文を構成するテキストデータの先頭の
時刻がもっとも古いものをテキスト文取得手段を用いて
取得し、前記取得したテキスト文の音声特徴データを元
に前記分類特徴名印刷手段を用いて、音声特徴データの
分類特徴名を印刷し、続けてテキスト文を印刷し、上記
一連の作業を前記編集された音声テキスト文データが無
くなるまで行うことを特徴とする。

【０００７】また、本発明の請求項３に記載の情報処理
装置は、請求項２に記載の発明において、音声特徴デー
タから人、犬、雑音など分類情報を取得する分類情報取
得手段と、さらに印刷すべき音声特徴を分類別に選択す
る分類別印刷選択手段とを備え、印刷するテキスト文デ
ータとその音声特徴データから、前記分類情報取得手段
を用いて分類情報を取得し、前記分類別印刷選択手段に
よって選択されていなかったらこのテキスト文データと
音声特徴データは印刷しないことを特徴とする。

【０００８】また、本発明の請求項４に記載の情報処理
装置は、画像フレーム間の比較を行う画像フレーム比較
手段と、画像フレームの時刻を取得する画像フレーム時
刻取得手段と、画像フレームと、画像フレーム時刻を１
レコードとして保存する画像情報保存手段とを備え、動
画像データにおいて、画像フレーム比較手段を用いて、
動画像の内容が大きく変化する部分を特定し、前記画像
フレーム時刻取得手段を用いてその時の画像フレームの
時刻を取得し、前記画像情報保存手段を用いて、その時
の画像フレームデータと画像時刻を保存し、順次動画像
データが終わるまで繰り返すことで、前後間の画像フレ
ームデータが大きく異なるものをリストアップした画像
情報リストを作成することを特徴とする。

【０００９】また、本発明の請求項５に記載の情報処理
装置は、請求項３又は４に記載の発明において、画像情
報リスト中の画像情報の時刻と、編集された音声テキス
ト文データ中の中から最も古いテキストの時刻を持つテ
キスト文を取得するテキスト文取得手段と、画像データ
とテキスト文データを１つの情報として保存する画像音
声情報保存手段とを備え、画像情報リスト中の先頭の画
像と、時刻比較手段を用いて画像情報リスト中の次の画
像データの時刻と、編集された音声テキスト文データ中
のテキスト時刻を順次比較し、画像情報の時刻までに発
生したテキストについては先頭画像に属するテキストと
して、前記画像音声情報保存手段を用いて画像情報とテ
キスト情報を保存し、これら一連の操作を画像情報リス
トと音声情報リストの全てについて繰り返し行うこと
で、画像音声情報リストを作成することを特徴とする。

【００１０】さらに、本発明の請求項６に記載の情報処
理装置は、請求項５に記載の発明において、画像データ
の縮小画像を印刷する画像印刷手段と、音声データの音
声特徴名を適当に印刷する音声特徴名印刷手段と、音声
データのテキスト文を印刷するテキスト文印刷手段とを
備え、前記画像印刷手段と前記音声特徴名手段、前記テ
キスト文印刷手段を用いて、順次印刷を行い画像の一覧
に音声テキストを加えた一覧を作成することを特徴とす
る。

【００１１】

【発明の実施の形態】以下、本発明による音声、動画像
データの編集処理を利用した印刷システムについて説明
する。図1は本発明の一実施形態に係る印刷システムを
示した図である。この印刷システムは中央処理装置（CP
U）10、メモリ200、データ記憶装置30（例えば磁気ディ
スク、CD-ROM）、画像、音声デコード装置40、操作部5
0、印刷制御部60、ＲＡＭ70、動画像、音声入力装置100
をシステムバス110により統合してなる。

【００１２】画像、音声入力装置100は、図3に示される
ように、動画像、音声ソースであるＤＶＤプレーヤー12
0、ビデオカメラ130、ＶＨＳ再生装置150、音声ソース
であるデジタルカメラより動画像データ、音声データを
受け取る画像、音声受信部160を含む。

【００１３】メモリ200は、図2に示されるように、個別
のフレーム画像とその時刻のリストデータ210と、音声
データをテキスト形式に変換したデータと、その音声の
特徴別、かつ時間間隔別に格納された音声テキスト文デ
ータとその時刻のリストデータ220、特徴データを人、
犬、車などの特徴分類別にリストした特徴分類リストを
記録する。

【００１４】画像、音声受信部160はＤＶＤ120、ビデオ
カメラ130、デジタルカメラ140、ＶＨＳ150から動画像
の画像データ、もしくは音声データを受け取り、そのデ
ータをシステムバス110を介して画像、音声デコード装
置40に送り、受信した画像データは個々の画像フレーム
データ、そのフレームの時刻データに変換し、また音声
データは一つ一つを音声の特徴データと、テキストデー
タ、そのデータの時刻データに変換し、システムバス11
0を介してＲＡＭ70上のメモリに与える。

【００１５】図４において、画像、音声デコード装置40
によりＲＡＭ70上に転送された音声デコードデータ410
は、ＣＰＵ10と、音の分類別特徴データテーブル420を
用いて、登場音分類別リスト420、特徴別分類音声テキ
スト文データリスト440に順次展開する。

【００１６】図6は、この時の展開処理の流れを示すフ
ローチャートである。601でデコードされた図4の410-音
声情テキスト、その音声特徴、時刻を受け取り、602で
図４の分類別特徴データテーブル440から取得した音声
特徴データに合致する分類情報を取り出し、例えば、人
間の声と合致すれば“人”という分類情報を取得するこ
とができ、430の登場音分類別リストに分類情報と音声
特徴データに応じて登録作業を行う。この時、603にお
いて既に430の登場音分類別リストにその410-音声特徴
データが登録されていたら、登録作業は行わない。も
し、登録されていなかったら604で新規に603の登場音分
類別リストに登録する。

【００１７】さらに、605において図4の440の特徴別分
類音声テキスト文データにその410-音声特徴が登録され
ているか判断し、登録されていなかったら606で440-特
徴別分類音声テキスト文データリストに410-音声特徴情
報を新規登録し、その410-音声特徴に属する音声テキス
ト文データを新規に作成し、608で410-音声テキストデ
ータを新規登録し、またその音声テキストが持つ時刻情
報を開始音声テキストの時刻と終了音声テキストの時刻
の両方に登録する。

【００１８】605で440の特徴別分類音声テキスト文デー
タに既に登録済みだと判断された時は、607において終
了音声テキスト時刻との時刻の差分を取り、時間間隔が
短い時は、そのまま音声テキスト文データに新しい音声
テキストを追加し、その音声テキストの時刻を終了音声
テキスト時刻に登録する。607において、時間間隔が長
い時には、その音声特徴に属する音声テキスト文データ
を新規に作成し、410-音声テキストデータを登録し、ま
たその音声テキストが持つ時刻情報を開始音声テキスト
の時刻と終了音声テキストの時刻の両方に登録する。ま
た、610において、410の音声テキスト情報が終わりに達
したかどうかを判断し、まだ残っている時には601に戻
り上記処理を繰り返す。もし、610において音声テキス
ト情報が残っていなかったら、430の登場音分類別リス
トと、440の特徴別分類音声テキスト文データの作成を
終了する。

【００１９】また、画像デコードデータ450は、そのま
ま画像データフレームリスト460に順次展開する。図5は
この時の展開処理の流れを示すフローチャートである。
501で図4の450-画像フレームを取得し、502で前回取得
した画像フレームとの一致度合いをみて比較し、前回と
あまり差がないようなら今回取得した画像フレームは破
棄し、次のフレームを取得して、501で画像フレームの
比較を行う。501において、画像フレームに大きな差が
あると判断されたら、今回取得したフレームデータとそ
の時刻を460の画像データフレームリストに保存し、次
に取得するフレームデータとの比較対照フレームに設定
する。また、505において今回取得したフレームが最後
かどうかを判断し、まだフレームが残っていたら501の
処理に戻って、上記操作を繰り返す。505でもし最後の
フレームだと判断されたら上記処理を終了する。

【００２０】ＲＡＭ70上に展開された画像データフレー
ムリスト460、登場音分類別テーブル420、特徴別分類音
声テキスト文データ440は、図1のシステムバス110を介
してメモリ200に格納することも可能であり、メモリ200
もしくはRAM70上に展開された画像フレーム460、登場音
分類別テーブル420、特徴別分類音声テキスト文データ4
40をシステムバス110を介して印刷制御部60によって印
刷を行う。この時、操作部50によって、あらかじめ印刷
する音声特徴分類を選択することが可能であり、人の声
だけを選択する、もしくは人と車の音だけを選択するこ
ともできる。

【００２１】図７に、この時の印刷処理の流れを示すフ
ローチャートを示す。701で画像データフレームリスト4
60にデータがあるかどうか判断し、なければ710で特徴
別分類音声テキスト文データ440の中にデータがあるか
判断する。なければ終了し、あれば711でもっとも古い
音声テキスト開始時刻を持つテキスト文とその音声特徴
データを特徴別分類音声テキスト文データから取得し、
712の処理によって印刷するべきデータかどうか判断さ
れる。

【００２２】712では操作部50で、選択された音声分類
情報を元に、人が選択されていたら、711で取得したテ
キスト文の属する特徴データから、登場音分類別テーブ
ル420の人で分類され登録されている特徴データの中
に、一致する音声特徴データがあるか検索し、なかった
ら印刷せず、710の処理に戻る。あったら、713で登場音
分類別テーブル420に分類されているカテゴリを意識し
た任意の名前を算出し、もし分類が人で特徴データが分
類の1番目にリストアップされていたら“Aさん”、特徴
データが2番目なら“Bさん”などのように名前を決定
し、“Aさん>>”というように印刷する。また、714で71
3で印刷した後に続けて音声テキスト文を印刷し、710の
処理に戻る。

【００２３】一方、701で画像フレームがある場合に
は、702で460-画像フレームリストから画像情報と時刻
を取得し、703で時刻と画像データの縮小画像を印刷す
る。705で画像データの時刻までの時刻に発生した音声
テキスト文を440-特徴別分類音声テキスト文データか
ら、音声テキスト開始時刻を元に最も古い音声テキスト
文を検索し、あれば706で音声テキスト文と、その音声
特徴データを取得し、707では操作部50で、選択された
音声分類情報を元に、人が選択されていたら、706で取
得したテキスト文の属する特徴データから、登場音分類
別テーブル420の人で分類され登録されている特徴デー
タの中に、一致する音声特徴データがあるか検索し、な
かったら印刷せず、705の処理に戻る。あったら、708で
登場音分類別テーブル420に分類されているカテゴリを
意識した任意の名前を算出し、もし分類が人で特徴デー
タが分類の1番目にリストアップされていたら“Aさ
ん”、特徴データが2番目なら“Bさん”などのように名
前を決定し、“Aさん>>”というように印刷する。ま
た、709で７08で印刷した後に続けて音声テキスト文を
印刷し、705の処理に戻る。

【００２４】以上の処理を行うことで、図8に示すよう
な音声付動画データを図9のような形に変換され、図10
のような出力結果として印刷される。また、上記実施形
態は本発明を説明するためのものであって、本発明の限
定を意図したものではない。

【００２５】以上に詳細に説明した如く、本実施形態に
よれば、例えばテレビと直接、本発明を適用した印刷装
置に接続し、テレビから画像データを印刷装置に送って
印刷することで、ビデオテープに記録することなく内容
を確認することができ、画像だけでなく音声データも要
所ごとに印刷されるので、テレビの内容をその時点で見
ていなくても印刷物をみれば確認することができるよう
になる。さらに、またテレビに限らず会議の議事録とし
て記録されている音声データや、デジカメに音声を記録
されたデータなどを会話形式のテキスト印刷として、そ
の音声データを印刷することができるようになるなど数
多くの効果を得られる。

【００２６】

【発明の効果】以上の説明から明らかなように、本発明
によれば、音声情報を時刻データと特徴データ別に保持
することを可能としたので、例えば一覧資料作りにおい
て音声情報を付加し、動画像が本来持っていた場面場面
の状況を把握しやすくする。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る印刷システムを示す
ブロック図である。

【図２】動画像データの画像フレーム、音声テキストを
格納するメモリの説明図である。

【図３】動画像データ、音声データをバスへ転送するた
めの動画像、音声入力装置を示すブロック図である。

【図４】デコード処理後の動画、および音声データ処理
の説明図である。

【図５】デコード後の画像フレームデータ処理のフロー
チャートである。

【図６】デコード後の音声データ処理のフローチャート
である。

【図７】画像、音声情報の印刷処理のフローチャートで
ある。

【図８】一例とする音声付動画像データを示す図であ
る。

【図９】図8の音声動画像データを処理した結果を示す
図である。

【図１０】音声動画データを本発明によって処理した時
の結果を示す図である。

【符号の説明】

１０ 中央処理装置（CPU） ２００ メモリ ３０ データ記憶装置 ４０ 画像、音声デコード装置 ５０ 操作部 ６０ 印刷制御部 ７０ ＲＡＭ １００ 動画像、音声入力装置 １１０ システムバス １２０ DVD １３０ ビデオカメラ １４０ デジタルカメラ １５０ VHS ２１０ 個別のフレーム画像とその時刻のリストデータ ２２０ 音声の特徴別の、音声テキスト文データとその
時刻のリストデータ ２３０ 特徴データを人、犬、車などの特徴分類別にリ
ストした特徴分類リスト ４１０ 音声デコードデータ ４２０ 登場音分類別テーブル ４３０ 登場音分類別リスト ４４０ 特徴別分類音声テキスト文データ ４５０ 画像デコードデータ ４６０ 画像データフレームリスト

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C052 AA01 AA11 AB02 CC01 DD02 DD06 FA02 FA03 FA05 FB01 FB08 FC06 FD06 FE01 5C053 FA04 FA08 FA14 FA21 FA23 GB11 GB21 JA03 JA05 JA16 KA03 KA24 KA26 LA01 LA03 5D015 KK02 LL00

Claims (6)

【特許請求の範囲】
1. 【請求項１】 音声データの1つ1つを、テキストデー
   タ、特徴データ、時刻データに変換し、音声情報として
   取得する音声情報取得手段と、 音声情報の特徴を人、犬、風、車などのように分類する
   音声分類手段と、 音声情報の分類データ別に音声特徴を保持する登場音声
   保持手段と、 音声情報の時刻と特徴によって、テキストデータを編集
   しテキスト文を作成するテキスト文作成手段と、 音声情報を特徴別にテキスト文データを保持する音声テ
   キスト文データ保持手段とを備え、 音声データを前記音声情報取得手段を用いて、1つ1つの
   音に対してテキストデータ、特徴データ、時刻データに
   変換された音声情報を取得し、音声情報から前記音声分
   類手段を用いて特徴を分類し、分類した音声情報の特徴
   情報が前記登場音声保持手段で既に登録されているかい
   ないかを比較し、登録されていたら登録せず、未登録な
   ら特徴データを登録し、さらに時刻データと特徴データ
   別にテキスト文を作成する前記テキスト文作成手段とを
   用い、前記音声テキスト文データ保持手段を用いて音声
   特徴別にテキスト文を保持することを特徴とする情報処
   理装置。
2. 【請求項２】 音声テキスト文の先頭テキストの時刻が
   もっとも古いものを取得するテキスト文取得手段と、 音声特徴データの分類別と特徴名を印刷する分類特徴名
   印刷手段と、 音声テキスト文印刷手段とを備え、前記編集された音声
   テキスト文データのうち、テキスト文を構成するテキス
   トデータの先頭の時刻がもっとも古いものをテキスト文
   取得手段を用いて取得し、前記取得したテキスト文の音
   声特徴データを元に前記分類特徴名印刷手段を用いて、
   音声特徴データの分類特徴名を印刷し、続けてテキスト
   文を印刷し、上記一連の作業を前記編集された音声テキ
   スト文データが無くなるまで行うことを特徴とする請求
   項１に記載の情報処理装置。
3. 【請求項３】 音声特徴データから人、犬、雑音など分
   類情報を取得する分類情報取得手段と、 さらに印刷すべき音声特徴を分類別に選択する分類別印
   刷選択手段とを備え、印刷するテキスト文データとその
   音声特徴データから、前記分類情報取得手段を用いて分
   類情報を取得し、前記分類別印刷選択手段によって選択
   されていなかったらこのテキスト文データと音声特徴デ
   ータは印刷しないことを特徴とする請求項２に記載の情
   報処理装置。
4. 【請求項４】 画像フレーム間の比較を行う画像フレー
   ム比較手段と、 画像フレームの時刻を取得する画像フレーム時刻取得手
   段と、 画像フレームと、画像フレーム時刻を１レコードとして
   保存する画像情報保存手段とを備え、 動画像データにおいて、画像フレーム比較手段を用い
   て、動画像の内容が大きく変化する部分を特定し、前記
   画像フレーム時刻取得手段を用いてその時の画像フレー
   ムの時刻を取得し、前記画像情報保存手段を用いて、そ
   の時の画像フレームデータと画像時刻を保存し、順次動
   画像データが終わるまで繰り返すことで、前後間の画像
   フレームデータが大きく異なるものをリストアップした
   画像情報リストを作成することを特徴とする情報処理装
   置。
5. 【請求項５】 画像情報リスト中の画像情報の時刻と、
   編集された音声テキスト文データ中の中から最も古いテ
   キストの時刻を持つテキスト文を取得するテキスト文取
   得手段と、 画像データとテキスト文データを１つの情報として保存
   する画像音声情報保存手段とを備え、 画像情報リスト中の先頭の画像と、時刻比較手段を用い
   て画像情報リスト中の次の画像データの時刻と、編集さ
   れた音声テキスト文データ中のテキスト時刻を順次比較
   し、画像情報の時刻までに発生したテキストについては
   先頭画像に属するテキストとして、前記画像音声情報保
   存手段を用いて画像情報とテキスト情報を保存し、これ
   ら一連の操作を画像情報リストと音声情報リストの全て
   について繰り返し行うことで、画像音声情報リストを作
   成することを特徴とする請求項３又は４に記載の情報処
   理装置。
6. 【請求項６】 画像データの縮小画像を印刷する画像印
   刷手段と、 音声データの音声特徴名を適当に印刷する音声特徴名印
   刷手段と、 音声データのテキスト文を印刷するテキスト文印刷手段
   とを備え、前記画像印刷手段と前記音声特徴名手段、前
   記テキスト文印刷手段を用いて、順次印刷を行い画像の
   一覧に音声テキストを加えた一覧を作成することを特徴
   とする請求項５に記載の情報処理装置。