JP2011077883A - 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 - Google Patents
画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 Download PDFInfo
- Publication number
- JP2011077883A JP2011077883A JP2009227975A JP2009227975A JP2011077883A JP 2011077883 A JP2011077883 A JP 2011077883A JP 2009227975 A JP2009227975 A JP 2009227975A JP 2009227975 A JP2009227975 A JP 2009227975A JP 2011077883 A JP2011077883 A JP 2011077883A
- Authority
- JP
- Japan
- Prior art keywords
- image file
- still image
- sound
- moving image
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 45
- 238000010191 image analysis Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 abstract 10
- 239000000284 extract Substances 0.000 description 4
- 241000282376 Panthera tigris Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010195 expression analysis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【解決手段】動画像ファイルから音声付き静止画像ファイルを生成するための画像ファイル生成方法であって、動画像ファイルから選択された静止画像を抽出して静止画像ファイルを生成し、生成された静止画像ファイルを解析して音声モード情報を生成し、音声モード情報によって動画像ファイルの解析方法を変更して動画像ファイルを解析し、音声モード情報および動画像ファイルの解析結果から、生成された静止画像ファイルに最適な音声の抽出タイミングを決定し動画像ファイルから最適な音声を抽出し、生成された静止画像ファイルと最適な音声を関連付けて音声付き静止画像ファイルを生成することにより、上記課題を解決する。
【選択図】図5
Description
さらに、前記人物の検出は、顔検出によって検出するのが好ましい。
さらに、前記人物の大きさは、前記顔検出によって検出された顔の大きさ、および位置のうち1以上から求めるのが好ましい。
さらに、前記抽出タイミングは、音量の急な変化が発生したタイミングであるのが好ましい。
また、前記抽出タイミングは、ズームが行われたタイミングであるのが好ましい。
また、前記抽出タイミングは、前記生成された静止画像ファイルと同一のイベント内であり、前記顔検出により検出された前記顔の表情を判定し、笑顔かつ音量の大きいタイミングであるのが好ましい。
また、前記抽出タイミングは、前記生成された静止画像ファイルと同一のシーン内であるのが好ましい。
また、上記課題を解決するために、本発明は、上記に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
図5に示す画像ファイル生成装置10は、動画像読込手段12、静止画像生成手段14、静止画像解析手段16、動画像解析手段18、および音声付き静止画像生成手段20を有する。
なお、静止画像ファイルに対する顔検出技術は既存の技術を適用することができる。
なお、ここで、笑顔が検出できない場合は、例えば、びっくりした顔等、表情に何らかの変化があった場面が抽出タイミングとされてもよいし、音量の変化する場面が検出されて抽出タイミングとされてもよい。
動画像解析手段18からは、上記のそれぞれの抽出タイミングのうち、いずれかの抽出タイミングで音声抽出が行われ、抽出音声が出力される。
例えば、図7(a)に示す静止画像が選択された場合、動画像ファイルが解析され、口を大きく開けている場面(図7(b))が検出される。図7(b)の場面は、子供が何か喋っているため(人物の拡大図;図7(c)参照)、音量が大きいタイミングでもあり、図7(b)のタイミングが抽出タイミングとされる。
笑顔でない場合には(ステップS118で“N”)、音声解析が行われ(ステップS122)、音量の変化する場面が検出されて抽出タイミングとされる(ステップS128)。
例えば、動画像において、図7(d)から図7(e)へとズームが行われた場合、ズームが行われた直後を抽出タイミングとすることができる。
例えば、図8(a)に示す静止画像を含む同一イベント内の動画像ファイルには、列車がまだ来ていない状態から、列車が近づいてきて通り過ぎるまでが収録されているとすると、音量の変化が大きい場面である、列車が近づいてきて通り過ぎるまでの音が抽出されるように、抽出タイミングが決定される。
例えば、図9(a)に示す静止画像には滝が撮影されているが、滝の音は常に一定の音が流れていて、音量の急な変化がない。このような場合には、当該静止画像を含む同一イベント内の動画像ファイルから、最も大きな音声を含む所定の範囲が抽出されるように、抽出タイミングが決定される。これにより、例えば、図9(a)に示す静止画像に対して、滝の音を関連付けることができる。
例えば、図9(b)に示す静止画像には花が撮影されているが、通常、関連する音はほとんどないと考えられる。このような場合は、図9(a)の例と同様に、当該静止画像を含む同一イベント内の動画像ファイルから、最も大きな音声を含む所定の範囲が抽出されるように、抽出タイミングが決定されてもよいし、予め決定された音声を関連付けてもよいし、あるいは、音声を関連付けないと決定されてもよい。
例えば、図10(a)に示すように、音声付き静止画像ファイルがコピーされたメモリーカードをフォトフレームに装着することで、音声付き静止画像を観賞することができる。また、フォトフレームに限られず、PC(Personal Computer)、携帯電話、テレビ等の音声付き静止画像ファイルを再生することができるものであれば、いずれでも音声付き静止画像を観賞することができる。
また、本発明を、上述した画像ファイル生成プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
12 動画像読込手段
14 静止画像生成手段
16 静止画像解析手段
18 動画像解析手段
20 音声付き静止画像生成手段
Claims (13)
- 動画像ファイルから音声付き静止画像ファイルを生成するための画像ファイル生成方法であって、
動画像ファイルを読み込むステップと、
読み込まれた前記動画像ファイルから選択された静止画像を抽出して静止画像ファイルを生成するステップと、
前記生成された静止画像ファイルを解析し、音声モード情報を生成するステップと、
前記音声モード情報によって前記動画像ファイルの解析方法を変更し、変更された前記解析方法により前記動画像ファイルを解析するステップと、
前記音声モード情報、および前記動画像ファイルの解析結果から、前記生成された静止画像ファイルに最適な音声の抽出タイミングを決定するステップと、
前記抽出タイミングで前記動画像ファイルから前記最適な音声を抽出するステップと、
前記生成された静止画像ファイルと前記最適な音声を関連付けて音声付き静止画像ファイルを生成するステップと、を有することを特徴とする画像ファイル生成方法。 - 前記生成された静止画像ファイルの解析は、
前記生成された静止画像ファイルに人物が撮影されているか検出するステップと、
前記人物の大きさを検出し、所定の値以上であれば、前記人物の音声を重視して前記動画像ファイルを解析するステップと、を有することを特徴とする請求項1に記載の画像ファイル生成方法。 - 前記人物の検出は、顔検出によって検出することを特徴とする請求項2に記載の画像ファイル生成方法。
- 前記人物の大きさは、前記顔検出によって検出された顔の大きさ、および位置のうち1以上から求めることを特徴とする請求項3に記載の画像ファイル生成方法。
- 前記抽出タイミングは、前記生成された静止画像ファイルと同一のイベント内であることを特徴とする請求項1〜4のいずれかに記載の画像生成方法。
- 前記抽出タイミングは、音量の急な変化が発生したタイミングであることを特徴とする請求項5に記載の画像ファイル生成方法。
- 前記抽出タイミングは、ズームが行われたタイミングであることを特徴とする請求項5に記載の画像ファイル生成方法。
- 前記抽出タイミングは、前記生成された静止画像ファイルと同一のイベント内であり、前記顔検出により検出された前記顔の口の形状を解析し、口を大きく開け、かつ音量の大きいタイミングであることを特徴とする請求項3または4に記載の画像ファイル生成方法。
- 前記抽出タイミングは、前記生成された静止画像ファイルと同一のイベント内であり、前記顔検出により検出された前記顔の表情を判定し、笑顔かつ音量の大きいタイミングであることを特徴とする請求項3または4に記載の画像ファイル生成方法。
- 前記抽出タイミングは、前記生成された静止画像ファイルと同一のシーン内であることを特徴とする請求項1〜4のいずれかに記載の画像ファイル生成方法。
- 請求項1〜10のいずれかに記載の画像ファイル生成方法の各工程を手順としてコンピュータに実行させるためのプログラム。
- 請求項11に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
- 動画像ファイルから音声付き静止画像ファイルを生成するための画像ファイル生成装置であって、
動画像ファイルを読み込む動画像読込手段と、
読み込まれた前記動画像ファイルから選択された静止画像を抽出して静止画像ファイルを生成する静止画像生成手段と、
前記生成された静止画像ファイルを解析し、音声モード情報を生成する静止画像解析手段と、
前記音声モード情報によって前記動画像ファイルの解析方法を変更し、変更された前記解析方法により前記動画像ファイルを解析し、前記音声モード情報、および前記動画像ファイルの解析結果から、前記生成された静止画像ファイルに最適な音声の抽出タイミングを決定し、前記抽出タイミングで前記動画像ファイルから前記最適な音声を抽出する動画像解析手段と、
前記生成された静止画像ファイルと前記最適な音声を関連付けて音声付き静止画像ファイルを生成する音声付き静止画像生成手段と、を有することを特徴とする画像ファイル生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009227975A JP5389594B2 (ja) | 2009-09-30 | 2009-09-30 | 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009227975A JP5389594B2 (ja) | 2009-09-30 | 2009-09-30 | 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011077883A true JP2011077883A (ja) | 2011-04-14 |
JP5389594B2 JP5389594B2 (ja) | 2014-01-15 |
Family
ID=44021366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009227975A Active JP5389594B2 (ja) | 2009-09-30 | 2009-09-30 | 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5389594B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110149548A (zh) * | 2018-09-26 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 视频配音方法、电子装置和可读存储介质 |
JP2020166602A (ja) * | 2019-03-29 | 2020-10-08 | 東京瓦斯株式会社 | 記録システムおよびプログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10214270A (ja) * | 1997-01-29 | 1998-08-11 | Fuji Xerox Co Ltd | 情報蓄積装置および情報蓄積再生装置 |
JP2000350124A (ja) * | 1999-06-07 | 2000-12-15 | Sony Corp | 動画像記録再生装置および方法、並びに媒体 |
JP2002165153A (ja) * | 2000-11-27 | 2002-06-07 | Asaka Co Ltd | 映像/音声ずれ補正方法及び装置 |
JP2003085572A (ja) * | 2001-09-11 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 漫画生成装置及び漫画生成プログラム |
JP2007336283A (ja) * | 2006-06-15 | 2007-12-27 | Toshiba Corp | 情報処理装置、情報処理方法および情報処理プログラム |
JP2008022246A (ja) * | 2006-07-12 | 2008-01-31 | Nikon Corp | デジタルカメラ |
JP2008165700A (ja) * | 2007-01-05 | 2008-07-17 | Seiko Epson Corp | 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム |
JP2008205846A (ja) * | 2007-02-20 | 2008-09-04 | Canon Inc | 画像処理装置、方法、及びコンピュータプログラム |
WO2008146616A1 (ja) * | 2007-05-25 | 2008-12-04 | Nec Corporation | 画像音響区間群対応付け装置と方法およびプログラム |
JP2009278202A (ja) * | 2008-05-12 | 2009-11-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体 |
-
2009
- 2009-09-30 JP JP2009227975A patent/JP5389594B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10214270A (ja) * | 1997-01-29 | 1998-08-11 | Fuji Xerox Co Ltd | 情報蓄積装置および情報蓄積再生装置 |
JP2000350124A (ja) * | 1999-06-07 | 2000-12-15 | Sony Corp | 動画像記録再生装置および方法、並びに媒体 |
JP2002165153A (ja) * | 2000-11-27 | 2002-06-07 | Asaka Co Ltd | 映像/音声ずれ補正方法及び装置 |
JP2003085572A (ja) * | 2001-09-11 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 漫画生成装置及び漫画生成プログラム |
JP2007336283A (ja) * | 2006-06-15 | 2007-12-27 | Toshiba Corp | 情報処理装置、情報処理方法および情報処理プログラム |
JP2008022246A (ja) * | 2006-07-12 | 2008-01-31 | Nikon Corp | デジタルカメラ |
JP2008165700A (ja) * | 2007-01-05 | 2008-07-17 | Seiko Epson Corp | 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム |
JP2008205846A (ja) * | 2007-02-20 | 2008-09-04 | Canon Inc | 画像処理装置、方法、及びコンピュータプログラム |
WO2008146616A1 (ja) * | 2007-05-25 | 2008-12-04 | Nec Corporation | 画像音響区間群対応付け装置と方法およびプログラム |
JP2009278202A (ja) * | 2008-05-12 | 2009-11-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110149548A (zh) * | 2018-09-26 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 视频配音方法、电子装置和可读存储介质 |
JP2020166602A (ja) * | 2019-03-29 | 2020-10-08 | 東京瓦斯株式会社 | 記録システムおよびプログラム |
JP7353057B2 (ja) | 2019-03-29 | 2023-09-29 | 東京瓦斯株式会社 | 記録システムおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5389594B2 (ja) | 2014-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4896838B2 (ja) | 撮像装置、画像検出装置及びプログラム | |
JP5144424B2 (ja) | 撮像装置及び情報処理方法 | |
CN104580888B (zh) | 一种图像处理方法及终端 | |
WO2009075754A1 (en) | Recording audio metadata for stored images | |
JP2010536239A (ja) | 捕捉画像用音声メタデータの記録 | |
KR20070118038A (ko) | 정보처리 장치 및 정보처리 방법과 컴퓨터·프로그램 | |
JP2016189158A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2009141555A (ja) | 音声入力機能付き撮像装置及びその音声記録方法 | |
JP2010237761A (ja) | 電子機器 | |
JP2016118991A (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP4968346B2 (ja) | 撮像装置、画像検出装置及びプログラム | |
JP5320913B2 (ja) | 撮像装置およびキーワード作成プログラム | |
JP5389594B2 (ja) | 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 | |
JP4429081B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2009239348A (ja) | 撮影装置 | |
JP6081788B2 (ja) | 動画像処理装置及び動画像処理方法 | |
JP2010200079A (ja) | 撮影制御装置 | |
JP2009239349A (ja) | 撮影装置 | |
JP2005175839A (ja) | 画像表示装置、画像表示方法、プログラムおよび記憶媒体 | |
JP6166070B2 (ja) | 再生装置および再生方法 | |
JP5182507B2 (ja) | 撮影装置、撮影案内方法、及びプログラム | |
CN112887659A (zh) | 会议记录方法、装置、设备及存储介质 | |
JP6508635B2 (ja) | 再生装置、再生方法、再生プログラム | |
JP2006121661A (ja) | 合成画像作成方法、合成画像作成装置、およびプログラム | |
US11954402B1 (en) | Talk story system and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131009 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5389594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |