JP2002084505A - 映像閲覧時間短縮装置及び方法 - Google Patents
映像閲覧時間短縮装置及び方法Info
- Publication number
- JP2002084505A JP2002084505A JP2000271283A JP2000271283A JP2002084505A JP 2002084505 A JP2002084505 A JP 2002084505A JP 2000271283 A JP2000271283 A JP 2000271283A JP 2000271283 A JP2000271283 A JP 2000271283A JP 2002084505 A JP2002084505 A JP 2002084505A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- video
- information
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 視聴者が見て理解し易く、重要なシーンを見
逃す可能性が少ないように映像情報を高速化して再生す
る映像閲覧時間短縮装置と方法を提供する。 【解決手段】 まず音・画像分離手段1でそれらを分離
する。次に、音認識手段2で音から人間の声を含む部分
を抜き出す。また、画像認識手段3で画像からシーンの
移り変わり部分を検出する。次に、映像制御手段4によ
り音認識手段2で抜き出した音が含まれる画像部分と画
像認識手段3で検出した画像部分の冒頭部分の両方をま
とめ、映像部分内の再生に必要な画像部分を決定する。
その後、音は高速化手段5でピッチを変更せずに速度を
速める。最後に、音・画像同期手段6において、高速化
した音と再生に必要な画像部分の同期をとり、映像とし
て再生し出力する。
逃す可能性が少ないように映像情報を高速化して再生す
る映像閲覧時間短縮装置と方法を提供する。 【解決手段】 まず音・画像分離手段1でそれらを分離
する。次に、音認識手段2で音から人間の声を含む部分
を抜き出す。また、画像認識手段3で画像からシーンの
移り変わり部分を検出する。次に、映像制御手段4によ
り音認識手段2で抜き出した音が含まれる画像部分と画
像認識手段3で検出した画像部分の冒頭部分の両方をま
とめ、映像部分内の再生に必要な画像部分を決定する。
その後、音は高速化手段5でピッチを変更せずに速度を
速める。最後に、音・画像同期手段6において、高速化
した音と再生に必要な画像部分の同期をとり、映像とし
て再生し出力する。
Description
【0001】
【発明の属する技術分野】本発明は、視聴者が見て理解
しやすく、かつ重要部分を逃す可能性が少なく、映像情
報の閲覧時間を短縮する計算機構を備えて映像情報を再
生する映像閲覧時間短縮装置とその方法に関する。
しやすく、かつ重要部分を逃す可能性が少なく、映像情
報の閲覧時間を短縮する計算機構を備えて映像情報を再
生する映像閲覧時間短縮装置とその方法に関する。
【0002】
【従来の技術】従来のビデオデッキや映像再生ツールで
は、高速再生や早送り再生時には映像は速度固定で再生
される。その速度は標準速度の2倍速度〜20倍速度で
ある。その際、音は全く再生されない場合が多く、再生
される場合は音の一部だけを途切れ途切れに再生するも
のがある。また、SANYO社製ビデオテープレコーダ
の時短機能では、映像は一定速度で高速再生し、音は無
音区間を除いた部分を高速化して再生できない音ができ
るだけ少なくなるようにしている。この他、映像を要約
する研究なども行われている。例えば、[Michae
l A.Smith and Takeo Kanad
e,Video Skimming and Char
acterization through the
Combination of Image and
Language Understanding Te
chniques,Proceedings of C
omputer Vision and Patter
n Recognition,pp.775−781,
June 1997]などがある。
は、高速再生や早送り再生時には映像は速度固定で再生
される。その速度は標準速度の2倍速度〜20倍速度で
ある。その際、音は全く再生されない場合が多く、再生
される場合は音の一部だけを途切れ途切れに再生するも
のがある。また、SANYO社製ビデオテープレコーダ
の時短機能では、映像は一定速度で高速再生し、音は無
音区間を除いた部分を高速化して再生できない音ができ
るだけ少なくなるようにしている。この他、映像を要約
する研究なども行われている。例えば、[Michae
l A.Smith and Takeo Kanad
e,Video Skimming and Char
acterization through the
Combination of Image and
Language Understanding Te
chniques,Proceedings of C
omputer Vision and Patter
n Recognition,pp.775−781,
June 1997]などがある。
【0003】また、音声の認識などの研究も古くからな
されており、例えば[音声研究の現状と課題、粕谷
他、日本音響学会誌Vol.51 No.8,199
5]などに見ることができ、笑い声に反応してシャッタ
ーを押すカメラといったものが過去に製品化されてい
る。
されており、例えば[音声研究の現状と課題、粕谷
他、日本音響学会誌Vol.51 No.8,199
5]などに見ることができ、笑い声に反応してシャッタ
ーを押すカメラといったものが過去に製品化されてい
る。
【0004】
【発明が解決しようとする課題】従来のシステムにおけ
る高速再生は映像を重視しており、映像を常に一定速度
で高速再生し、音声はそれに応じて早回し再生させた
り、無音部分をとばして再生させたりしていた。音声の
早回し再生を用いた場合では、人間が聞き取れる早回し
再生というのはせいぜい2倍速程度であり、元の音声に
よっては聞き取れないことも多かった。また、無音部分
を飛ばす方式の場合には、画像部分は常に一定速度で高
速再生され、音は画像と同期をとらずに再生されるた
め、音声と画像が一致せず視聴者の理解を妨げる要因と
なっていた。
る高速再生は映像を重視しており、映像を常に一定速度
で高速再生し、音声はそれに応じて早回し再生させた
り、無音部分をとばして再生させたりしていた。音声の
早回し再生を用いた場合では、人間が聞き取れる早回し
再生というのはせいぜい2倍速程度であり、元の音声に
よっては聞き取れないことも多かった。また、無音部分
を飛ばす方式の場合には、画像部分は常に一定速度で高
速再生され、音は画像と同期をとらずに再生されるた
め、音声と画像が一致せず視聴者の理解を妨げる要因と
なっていた。
【0005】そこで本発明は、視聴者が見て理解しやす
く、かつ重要なシーンを見逃す可能性が少なくなるよう
に映像情報を高速化して再生する映像閲覧時間短縮装置
とその方法を提供することを課題とする。
く、かつ重要なシーンを見逃す可能性が少なくなるよう
に映像情報を高速化して再生する映像閲覧時間短縮装置
とその方法を提供することを課題とする。
【0006】
【課題を解決するための手段】上記の課題を解決するた
め、本発明による映像閲覧短縮装置は、映像情報を音情
報と画像情報に分離する手段と、前記分離した音情報の
中から音を認識する手段と、前記認識した音を音の高さ
を変更せずに高速化する手段と、前記分離した画像情報
の中からシーンの移り変わり部分を認識する手段と、前
記認識した音を含む画像部分及び前記認識したシーンの
移り変わり部分の冒頭部分を必要な画像部分として決定
する手段と、前記高速化した音と前記必要な画像部分の
同期をとり映像として再生する手段とを有することを特
徴とする。
め、本発明による映像閲覧短縮装置は、映像情報を音情
報と画像情報に分離する手段と、前記分離した音情報の
中から音を認識する手段と、前記認識した音を音の高さ
を変更せずに高速化する手段と、前記分離した画像情報
の中からシーンの移り変わり部分を認識する手段と、前
記認識した音を含む画像部分及び前記認識したシーンの
移り変わり部分の冒頭部分を必要な画像部分として決定
する手段と、前記高速化した音と前記必要な画像部分の
同期をとり映像として再生する手段とを有することを特
徴とする。
【0007】同じく、本発明による映像閲覧短縮方法で
は、映像情報を音情報と画像情報に分離する段階と、前
記分離した音情報の中から音を認識する段階と、前記認
識した音を音の高さを変更せずに高速化する段階と、前
記分離した画像情報の中からシーンの移り変わり部分を
認識する段階と、前記認識した音を含む画像部分及び前
記認識したシーンの移り変わり部分の冒頭部分を必要な
画像部分として決定する段階と、前記高速化した音と前
記必要な画像部分の同期をとり映像として再生する段階
とを有することを特徴とする。
は、映像情報を音情報と画像情報に分離する段階と、前
記分離した音情報の中から音を認識する段階と、前記認
識した音を音の高さを変更せずに高速化する段階と、前
記分離した画像情報の中からシーンの移り変わり部分を
認識する段階と、前記認識した音を含む画像部分及び前
記認識したシーンの移り変わり部分の冒頭部分を必要な
画像部分として決定する段階と、前記高速化した音と前
記必要な画像部分の同期をとり映像として再生する段階
とを有することを特徴とする。
【0008】なお、本発明では、説明の都合上、映像は
音(音声)と画像(音を含まない)から成ると定義す
る。
音(音声)と画像(音を含まない)から成ると定義す
る。
【0009】本発明の高速再生では音(音声)を重視す
る。まず、音情報のうちから人の声が入っているの部分
を抽出する。人の声が発せられている部分は重要である
ことが多く、またその声が発せられている部分の映像も
また重要であることが多い。次に、画像情報からシーン
の移り変わりが生じた場所を抽出する。画像情報におけ
るシーンの移り変わり部分では映像内容がかわるため、
移り変わり直後の映像情報は視聴者の映像理解のための
も重要である。人の声が含まれている部分と画像情報に
おけるシーンの移り変わりの部分の情報を得て、再生に
必要な映像部分を決定する。ただし、音声が多く含まれ
る映像の場合、ほとんどすべてを再生することになるた
め、このままでは高速化が期待できない。そこで、音声
部分は音のピッチ(高さ)を変更せずに高速再生を行
う。ただし、音の高速化再生に伴い画像部分も高速化し
なければならないので、音と画像の同期を取って映像を
構成し再生を行う。
る。まず、音情報のうちから人の声が入っているの部分
を抽出する。人の声が発せられている部分は重要である
ことが多く、またその声が発せられている部分の映像も
また重要であることが多い。次に、画像情報からシーン
の移り変わりが生じた場所を抽出する。画像情報におけ
るシーンの移り変わり部分では映像内容がかわるため、
移り変わり直後の映像情報は視聴者の映像理解のための
も重要である。人の声が含まれている部分と画像情報に
おけるシーンの移り変わりの部分の情報を得て、再生に
必要な映像部分を決定する。ただし、音声が多く含まれ
る映像の場合、ほとんどすべてを再生することになるた
め、このままでは高速化が期待できない。そこで、音声
部分は音のピッチ(高さ)を変更せずに高速再生を行
う。ただし、音の高速化再生に伴い画像部分も高速化し
なければならないので、音と画像の同期を取って映像を
構成し再生を行う。
【0010】これにより本発明では、比較的重要と思わ
れる音声を含んだ映像部分はすべて再生される。またそ
の際、音と画像の同期が常に保たれるため、会話などの
シーンでも不自然さが目立たない再生が可能である。さ
らに、音声部分を少し高速再生させることにより、通常
よりは早い時間で見ることが可能である。また、音のな
い映像の場合でもシーンの移り変わりの冒頭部分を再生
することにより、視聴者が重要なシーンを見逃す可能性
が少なくなる。
れる音声を含んだ映像部分はすべて再生される。またそ
の際、音と画像の同期が常に保たれるため、会話などの
シーンでも不自然さが目立たない再生が可能である。さ
らに、音声部分を少し高速再生させることにより、通常
よりは早い時間で見ることが可能である。また、音のな
い映像の場合でもシーンの移り変わりの冒頭部分を再生
することにより、視聴者が重要なシーンを見逃す可能性
が少なくなる。
【0011】
【発明の実施の形態】以下、この発明の実施の形態を図
面により説明する。
面により説明する。
【0012】図1は、本発明の一実施形態例の装置構成
を示すブロック図である。図1において、1は音・画像
分離手段、2は音認識手段、3は画像認識手段、4は映
像制御手段、5は音高速化手段、6は音・画像同期手段
である。
を示すブロック図である。図1において、1は音・画像
分離手段、2は音認識手段、3は画像認識手段、4は映
像制御手段、5は音高速化手段、6は音・画像同期手段
である。
【0013】図1の構成の構成の動作例は以下のとおり
である。
である。
【0014】まず、普通の映像情報(映像データ)には
音と画像情報が混ざっているので、音・画像分離手段1
においてそれらを分離する。
音と画像情報が混ざっているので、音・画像分離手段1
においてそれらを分離する。
【0015】次に、音については音認識手段2において
人間の声を含む部分を抜き出す。また、分離した画像に
ついては画像認識手段3においてシーンの移り変わり部
分を検出する。
人間の声を含む部分を抜き出す。また、分離した画像に
ついては画像認識手段3においてシーンの移り変わり部
分を検出する。
【0016】次に、映像制御手段4において、音認識手
段2で抽出した音(音声)と、画像認識手段3で検出し
た画像の両方の情報をまとめ、映像部分内の再生に必要
な画像部分を決定する。再生に必要な画像部分として
は、検出されたシーンの移り変わりの冒頭部分と、その
抽出された音が発せられている部分の画像である。
段2で抽出した音(音声)と、画像認識手段3で検出し
た画像の両方の情報をまとめ、映像部分内の再生に必要
な画像部分を決定する。再生に必要な画像部分として
は、検出されたシーンの移り変わりの冒頭部分と、その
抽出された音が発せられている部分の画像である。
【0017】その後、音については高速化手段5を通し
て、ピッチ(音の高さ)を変更せずに速度を速める。
て、ピッチ(音の高さ)を変更せずに速度を速める。
【0018】最後に、音・画像同期手段6において、高
速化した音と再生に必要な画像部分の同期をとり、映像
出力する。音と必要な画像部分の同期をとる方法の例と
しては、元の映像情報の初めからの当該音の時刻と当該
画像部分の時刻が合致するように、再生画像を構成す
る。
速化した音と再生に必要な画像部分の同期をとり、映像
出力する。音と必要な画像部分の同期をとる方法の例と
しては、元の映像情報の初めからの当該音の時刻と当該
画像部分の時刻が合致するように、再生画像を構成す
る。
【0019】図2は、本発明の方法の一実施形態例であ
るアルゴリズムを示すフローチャートである。そのアル
ゴリズムは次のようになる。
るアルゴリズムを示すフローチャートである。そのアル
ゴリズムは次のようになる。
【0020】1.映像情報の中から音情報と画像情報を
分離する。
分離する。
【0021】2.分離した音情報と画像情報、それぞれ
に対して次のような処理を行う。 (a)音情報:音情報の中から音声部分を検出する。 (b)画像情報:シーンチェンジを検出する。
に対して次のような処理を行う。 (a)音情報:音情報の中から音声部分を検出する。 (b)画像情報:シーンチェンジを検出する。
【0022】3.検出したそれぞれの情報から、再生に
使う映像を決定する。再生されるのは、 (1)音声が含まれる映像 (2)シーンチェンジ直後ある一定時間内(時間はユー
ザ設定可能)の映像である。(1)か(2)のどちらか
一方だけでも成り立つ部分の映像(音及び画像)は再生
することになる。
使う映像を決定する。再生されるのは、 (1)音声が含まれる映像 (2)シーンチェンジ直後ある一定時間内(時間はユー
ザ設定可能)の映像である。(1)か(2)のどちらか
一方だけでも成り立つ部分の映像(音及び画像)は再生
することになる。
【0023】4.話速変換をする場合には再生すべき音
情報に対して話速変換処理を行う。
情報に対して話速変換処理を行う。
【0024】5.音と画像の同期をとりながら再生す
る。
る。
【0025】
【発明の効果】本発明により、再生される映像の音と画
像は常に一致して再生されるため、高速再生していても
理解しやすい映像を見ることが可能である。また、音が
ない部分でも映像のシーンの移り変わりを検出するの
で、新たなシーンの始まりといった重要部分を再生する
ために映像の見逃しが少ない。
像は常に一致して再生されるため、高速再生していても
理解しやすい映像を見ることが可能である。また、音が
ない部分でも映像のシーンの移り変わりを検出するの
で、新たなシーンの始まりといった重要部分を再生する
ために映像の見逃しが少ない。
【図1】本発明の一実施形態例の装置構成を示すブロッ
ク図である。
ク図である。
【図2】本発明の方法の一実施形態例のアルゴリズムを
示すフローチャートである。
示すフローチャートである。
1…音・画像分離手段 2…音認識手段 3…画像認識手段 4…映像制御手段 5…音高速化手段 6…音・画像同期手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 孝治 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 菅原 俊治 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5C023 AA34 BA01 BA09 CA01 CA04 EA15 5C053 FA14 HA24 HA40 JA01 JA12 5D045 BA02
Claims (2)
- 【請求項1】 映像情報を音情報と画像情報に分離する
手段と、 前記分離した音情報の中から音を認識する手段と、 前記認識した音を音の高さを変更せずに高速化する手段
と、 前記分離した画像情報の中からシーンの移り変わり部分
を認識する手段と、 前記認識した音を含む画像部分及び前記認識したシーン
の移り変わり部分の冒頭部分を必要な画像部分として決
定する手段と、 前記高速化した音と前記必要な画像部分の同期をとり映
像として再生する手段とを有することを特徴とする映像
閲覧時間短縮装置。 - 【請求項2】 映像情報を音情報と画像情報に分離する
段階と、 前記分離した音情報の中から音を認識する段階と、 前記認識した音を音の高さを変更せずに高速化する段階
と、 前記分離した画像情報の中からシーンの移り変わり部分
を認識する段階と、 前記認識した音を含む画像部分及び前記認識したシーン
の移り変わり部分の冒頭部分を必要な画像部分として決
定する段階と、 前記高速化した音と前記必要な画像部分の同期をとり映
像として再生する段階とを有することを特徴とする映像
閲覧時間短縮方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000271283A JP2002084505A (ja) | 2000-09-07 | 2000-09-07 | 映像閲覧時間短縮装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000271283A JP2002084505A (ja) | 2000-09-07 | 2000-09-07 | 映像閲覧時間短縮装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002084505A true JP2002084505A (ja) | 2002-03-22 |
Family
ID=18757594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000271283A Pending JP2002084505A (ja) | 2000-09-07 | 2000-09-07 | 映像閲覧時間短縮装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002084505A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100763899B1 (ko) | 2004-02-20 | 2007-10-05 | 삼성전자주식회사 | 앵커 샷 검출 방법 및 장치 |
US7630021B2 (en) | 2004-03-17 | 2009-12-08 | Seiko Epson Corporation | Image processing device and image processing method |
JP2010093614A (ja) * | 2008-10-09 | 2010-04-22 | Mitsubishi Electric Corp | 映像信号再生装置 |
JP2010206279A (ja) * | 2009-02-27 | 2010-09-16 | Toshiba Corp | 映像音声再生装置および映像音声再生方法 |
WO2016125362A1 (ja) * | 2015-02-03 | 2016-08-11 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
CN110554647A (zh) * | 2019-09-10 | 2019-12-10 | 广州安衡电子科技有限公司 | 一种移动图像与声像同步的处理方法及系统 |
-
2000
- 2000-09-07 JP JP2000271283A patent/JP2002084505A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100763899B1 (ko) | 2004-02-20 | 2007-10-05 | 삼성전자주식회사 | 앵커 샷 검출 방법 및 장치 |
US7630021B2 (en) | 2004-03-17 | 2009-12-08 | Seiko Epson Corporation | Image processing device and image processing method |
JP2010093614A (ja) * | 2008-10-09 | 2010-04-22 | Mitsubishi Electric Corp | 映像信号再生装置 |
JP2010206279A (ja) * | 2009-02-27 | 2010-09-16 | Toshiba Corp | 映像音声再生装置および映像音声再生方法 |
JP4679647B2 (ja) * | 2009-02-27 | 2011-04-27 | 株式会社東芝 | 映像音声再生装置および映像音声再生方法 |
US8116608B2 (en) | 2009-02-27 | 2012-02-14 | Kabushiki Kaisha Toshiba | Method and apparatus for reproducing video and audio |
WO2016125362A1 (ja) * | 2015-02-03 | 2016-08-11 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US10504554B2 (en) | 2015-02-03 | 2019-12-10 | Sony Corporation | Information processing device, information processing system, and information processing method |
CN110554647A (zh) * | 2019-09-10 | 2019-12-10 | 广州安衡电子科技有限公司 | 一种移动图像与声像同步的处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4297010B2 (ja) | 情報処理装置および情報処理方法、並びに、プログラム | |
JP3615195B2 (ja) | コンテンツ記録再生装置およびコンテンツ編集方法 | |
JP4919993B2 (ja) | 情報記録装置 | |
JP4331217B2 (ja) | 映像再生装置および方法 | |
JP2000350159A (ja) | 視覚画像編集システム | |
JP2003510626A (ja) | 字幕情報表示機能を有する字幕mp3プレーヤー、字幕mp3情報構造及び字幕mp3情報再生方法 | |
JP2007027990A (ja) | 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体 | |
US20010046096A1 (en) | Redactable recording apparatus | |
JP2002374494A (ja) | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 | |
JP2007101945A (ja) | 音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラム | |
JP3877371B2 (ja) | 映像再生装置 | |
JP3325239B2 (ja) | 字幕素材作成システム、字幕素材作成方法及び字幕素材作成プログラムを記憶した記録媒体 | |
JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
JP3642019B2 (ja) | Avコンテンツ自動要約システム及びavコンテンツ自動要約方法 | |
JP2006339817A (ja) | 情報処理装置およびその表示方法 | |
JP3848144B2 (ja) | 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 | |
JP3688214B2 (ja) | 視聴者映像記録再生装置 | |
JP2005352330A (ja) | 音声分割記録装置 | |
KR101709053B1 (ko) | 음원의 음성 정보와 자막을 음절 단위로 동기화하기 위한 자막 파일 구조 및 자막 재생 장치 | |
KR100357242B1 (ko) | 디지탈데이터 맵핑방법 및 이것을 이용한 반복재생방법 | |
JP2003023607A (ja) | 再生装置 | |
JP2003230094A (ja) | チャプター作成装置及びデータ再生装置及びその方法並びにプログラム | |
JP3970080B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
JP2005341138A (ja) | 映像要約方法及びプログラム及びそのプログラムを格納した記憶媒体 | |
JP2003224807A (ja) | 字幕番組編集支援システムおよび半自動型字幕番組制作システム |