JP2010130403A - 映像制御装置およびそれを備えた撮像装置、表示装置 - Google Patents
映像制御装置およびそれを備えた撮像装置、表示装置 Download PDFInfo
- Publication number
- JP2010130403A JP2010130403A JP2008303494A JP2008303494A JP2010130403A JP 2010130403 A JP2010130403 A JP 2010130403A JP 2008303494 A JP2008303494 A JP 2008303494A JP 2008303494 A JP2008303494 A JP 2008303494A JP 2010130403 A JP2010130403 A JP 2010130403A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- motion vector
- image
- unit
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 68
- 239000013598 vector Substances 0.000 claims abstract description 191
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000005236 sound signal Effects 0.000 claims description 65
- 230000008859 change Effects 0.000 claims description 3
- 230000035807 sensation Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 53
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000036829 Device dislocation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】映像信号における被写体の動きから動きベクトルを検出する動きベクトル検出部102と、動きベクトルと被写体から発せられた音とを対応付ける音像処理部105と、被写体と対応付けられた音を動きベクトルに基づいて制御する音制御部106と、を備えることを特徴とする。
【選択図】図1A
Description
図1Aは、本発明の第1実施例によるデジタルビデオカメラの一構成例を示す機能ブロック図である。第1実施例によるデジタルビデオカメラは、記憶部103の前段に映像制御装置107(点線部)を備えている。この映像制御装置107は、動きベクトル検出部102と音像処理部105と音制御部106とを備える。映像信号は、画像信号と音信号とを備えている。
2)処理手順2:f1中のブロックをAn、m(n=0、1、…、N−1、m=0、1、…、M−1)とすると、ブロックAn、mの動きベクトルを検出するために評価関数を計算する(ステップS3)。ここでvn、m=(vx ,vy )は動きベクトルを表す。また、L(p,q)は距離関数を表しており、|p−q |や(p−q)2が用いられる。
3)処理手順3:評価関数E(vn、m)が最小となるvn、m=(vx,vy)をブロックAn、mの動きベクトルとする(ステップS4)。
2)対応付け方法2: 色情報やテクスチャ情報を基に画像を領域分割し、分割された領域毎に動きベクトルを検出し、各領域に音を対応付ける方法である。
3)対応付け方法3: 分割したブロック毎に動きベクトルを検出するとともに、色情報やテクスチャ情報を基に画像を領域分割し、動きベクトルの検出結果と、領域分割の結果とを重ねることで、各領域に音を対応付ける方法である。
以下、本発明の第2実施例について図面を参照しながら詳細に説明する。第2実施例では、被写体あるいは撮像装置が動いた場合と、被写体と撮像装置との両方が動いた場合について説明する。図10は、被写体が動いた場合と、撮像装置が動いた場合と、に検出される動きベクトルを示す図である。
以下、本発明の第3実施例について図面を参照して詳細に説明する。第3実施例は、図12は、本実施の形態による表示装置の一構成例を示す機能ブロック図である。但し、実施例1と同様の機能を有する部分については同一の符号を付している。図12に示す表示装置1200は、映像制御装置107と、画像信号表示部1201と、音信号再生部1202と、を備える。
以下、本発明の第4実施例について図面を参照して詳細に説明する。本実施例では、撮像装置で収音した音と映像制御装置で検出した動きベクトルと音の対応付け情報とを記憶部に記録し、表示装置で動きベクトルを用いて臨場感を高めるための音量制御を行うことを特徴とする。図13、14は、本実施例の構成例を示す機能ブロック図である。ただし、第1実施例及び第3実施例と同様の機能を有する部分については同一の符号を付して説明を省略している。
図13、14について各部の動作を以下に説明する。
101 撮像素子
102 動きベクトル検出部
103 記憶部
104 収音部
105 音像処理部
106 音制御部
107 映像制御装置
108 画像信号
109 画像信号
110 動きベクトル情報
111 音信号
112 音信号と動きベクトルと音の対応付け情報
113 音信号
1000a 音信号
1000b 音信号
1001a 被写体
1001b 被写体
1002a 撮像装置
1002b 撮像装置
1100 音信号
1101 被写体
1102 撮像装置
1200 表示装置
1201 画像信号表示部
1202 音信号再生部
1203 画像信号
1204 音信号
1205 動きベクトル情報
1206 音信号と動きベクトルと音の対応付け情報
1207 音信号
1300 画像信号
1301 画像信号
1302 画像信号
1303 動きベクトル情報
1304 音信号
1305 音信号と動きベクトルと音の対応付け情報
1306 音信号と動きベクトルと音の対応付け情報
1307 音信号
1308 撮像装置
Claims (12)
- 映像信号における被写体の動きから動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルと被写体から発せられた音とを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、
を備えることを特徴とする映像制御装置。 - 前記被写体の位置を、表示領域内における位置情報又は分割したブロックの位置情報に基づいて特定することを特徴とする請求項1に記載の映像制御装置。
- 前記被写体の位置と音量とは、少なくとも2以上の集音部の音量バランスに基づいて算出されることを特徴とする請求項1又は2に記載の映像制御装置。
- 前記音制御部は、音の大きさと音の周波数とのうち少なくとも一方を前記動きベクトルに基づいて線形又は非線形に変化させることを特徴とする請求項1から3までのいずれか1項に記載の映像制御装置。
- 前記非線形の度合い又は線形の傾きをユーザ設定により変更する設定部を有することを特徴とする請求項4に記載の映像制御装置。
- 光を集光するカメラレンズと、前記カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、
前記撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
前記収音部で収音した音と前記動きベクトルとを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、を備え、
前記音制御部において制御された音と前記画像とを前記記憶部に記録することを特徴とする撮像装置。 - 光を集光するカメラレンズと、前記カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、
前記撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
前記収音部で収音した音と前記動きベクトルを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、を備え、
前記音像処理部により対応付けられた動きベクトルと音の対応付け情報と、前記収音部で収音した音と、前記画像と、を前記記憶部に記録することを特徴とする撮像装置。 - 前記音制御部において、前記動きベクトルに応じて制御する音の制御が、前記収音部で収音した音の音量であることを特徴とする、請求項6又は7に記載の撮像装置。
- 前記音制御部において、前記動きベクトルに応じて制御する音の制御が、前記収音部で収音した音の周波数であることを特徴とする請求項6又は7に記載の撮像装置。
- 前記撮像装置の移動方向と移動量とを検出するセンサを備え、前記移動方向と前記移動量から検出した撮像装置の動きベクトルを、前記画像から検出した動きベクトルから除くことにより被写体の動きベクトルを検出することを特徴とする請求項6から9までのいずれか1項に記載の撮像装置。
- 入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、
映像信号から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
被写体が発した音と前記動きベクトルを対応付ける音像処理部と、
前記動きベクトルにより前記対応付けられた音を制御する音制御部と、を備え、
前記映像信号の画像を前記画像信号表示部において表示し、前記音制御部において制御された音を前記音信号再生部において再生することを特徴とする表示装置。 - 入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、
入力される映像信号が画像情報と、音情報と、画像の動きベクトル情報と、前記動きベクトルに対応付けられた音情報とを備え、
前記動きベクトルにより前記対応付けられた音を制御する音制御部と、を備え、前記映像信号の画像を前記画像信号表示部において表示し、前記音制御部にて制御された音を前記音信号再生部において再生することを特徴とする表示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008303494A JP2010130403A (ja) | 2008-11-28 | 2008-11-28 | 映像制御装置およびそれを備えた撮像装置、表示装置 |
PCT/JP2009/069707 WO2010061791A1 (ja) | 2008-11-28 | 2009-11-20 | 映像制御装置およびそれを備えた撮像装置、表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008303494A JP2010130403A (ja) | 2008-11-28 | 2008-11-28 | 映像制御装置およびそれを備えた撮像装置、表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010130403A true JP2010130403A (ja) | 2010-06-10 |
JP2010130403A5 JP2010130403A5 (ja) | 2011-07-28 |
Family
ID=42225667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008303494A Pending JP2010130403A (ja) | 2008-11-28 | 2008-11-28 | 映像制御装置およびそれを備えた撮像装置、表示装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2010130403A (ja) |
WO (1) | WO2010061791A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010200084A (ja) * | 2009-02-26 | 2010-09-09 | Nikon Corp | 撮像装置 |
WO2015198161A1 (en) * | 2014-06-24 | 2015-12-30 | Sony Corporation | Sound signal processing method and apparatus, and mobile terminal |
WO2021145548A1 (en) * | 2020-01-13 | 2021-07-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02205810A (ja) * | 1989-02-06 | 1990-08-15 | Canon Inc | 自動焦点調節装置 |
JPH06315200A (ja) * | 1993-04-28 | 1994-11-08 | Victor Co Of Japan Ltd | 音像定位処理における距離感制御方法 |
JP2000078563A (ja) * | 1998-09-03 | 2000-03-14 | Sony Corp | 被写体認識装置及び自動追尾装置 |
JP2003079000A (ja) * | 2001-09-05 | 2003-03-14 | Junichi Kakumoto | 映像音響装置の臨場感制御方式 |
JP2004147205A (ja) * | 2002-10-25 | 2004-05-20 | Fuji Photo Film Co Ltd | 画像音声記録装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2691185B2 (ja) * | 1988-05-25 | 1997-12-17 | 日本電信電話株式会社 | 音像定位制御方式 |
JPH0515587U (ja) * | 1991-07-31 | 1993-02-26 | ミノルタカメラ株式会社 | ビデオ装置 |
JPH08181962A (ja) * | 1994-12-22 | 1996-07-12 | Hitachi Ltd | 音像定位方法および音像定位制御装置およびテレビ会議システム |
JPH09219858A (ja) * | 1996-02-13 | 1997-08-19 | Matsushita Electric Ind Co Ltd | 映像音声符号化装置及び映像音声復号化装置 |
JP2000004493A (ja) * | 1998-06-17 | 2000-01-07 | Matsushita Electric Ind Co Ltd | ビデオカメラ |
JP2001169309A (ja) * | 1999-12-13 | 2001-06-22 | Mega Chips Corp | 情報記録装置および情報再生装置 |
JP4010161B2 (ja) * | 2002-03-07 | 2007-11-21 | ソニー株式会社 | 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 |
JP4521671B2 (ja) * | 2002-11-20 | 2010-08-11 | 小野里 春彦 | 音源映像の表示領域からその音声を出力させる映像音声再生方法 |
JP2005311604A (ja) * | 2004-04-20 | 2005-11-04 | Sony Corp | 情報処理装置及び情報処理装置に用いるプログラム |
JP2006128818A (ja) * | 2004-10-26 | 2006-05-18 | Victor Co Of Japan Ltd | 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア |
-
2008
- 2008-11-28 JP JP2008303494A patent/JP2010130403A/ja active Pending
-
2009
- 2009-11-20 WO PCT/JP2009/069707 patent/WO2010061791A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02205810A (ja) * | 1989-02-06 | 1990-08-15 | Canon Inc | 自動焦点調節装置 |
JPH06315200A (ja) * | 1993-04-28 | 1994-11-08 | Victor Co Of Japan Ltd | 音像定位処理における距離感制御方法 |
JP2000078563A (ja) * | 1998-09-03 | 2000-03-14 | Sony Corp | 被写体認識装置及び自動追尾装置 |
JP2003079000A (ja) * | 2001-09-05 | 2003-03-14 | Junichi Kakumoto | 映像音響装置の臨場感制御方式 |
JP2004147205A (ja) * | 2002-10-25 | 2004-05-20 | Fuji Photo Film Co Ltd | 画像音声記録装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010200084A (ja) * | 2009-02-26 | 2010-09-09 | Nikon Corp | 撮像装置 |
WO2015198161A1 (en) * | 2014-06-24 | 2015-12-30 | Sony Corporation | Sound signal processing method and apparatus, and mobile terminal |
WO2021145548A1 (en) * | 2020-01-13 | 2021-07-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US11418694B2 (en) | 2020-01-13 | 2022-08-16 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2010061791A1 (ja) | 2010-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112165590B (zh) | 视频的录制实现方法、装置及电子设备 | |
US20150003802A1 (en) | Audio/video methods and systems | |
JP6012342B2 (ja) | 再生装置、再生装置の制御方法 | |
JP2009302785A (ja) | 情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラム | |
CN103491331A (zh) | 显示控制设备、显示控制方法和程序 | |
CN102739955A (zh) | 能生成动态范围宽的全景图像的数据的摄像装置 | |
JP2013106298A (ja) | 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置 | |
JP2009147768A (ja) | 映像音声記録装置および映像音声再生装置 | |
JP2012178807A (ja) | 撮像装置 | |
JP5155092B2 (ja) | カメラ、再生装置、および再生方法 | |
JP2009065587A (ja) | 音声記録装置及び音声再生装置 | |
CN103888684A (zh) | 图像处理装置以及图像处理方法 | |
WO2010061791A1 (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
JP2011041154A (ja) | 画像処理装置、画像処理方法 | |
JP2011250339A (ja) | デジタルカメラ | |
JP2015073222A (ja) | 撮影機器、撮影方法及び撮影制御プログラム | |
JP2013141090A (ja) | 撮影装置及びその処理方法 | |
JP5712599B2 (ja) | 撮像装置及びプログラム | |
JP2017063276A (ja) | 映像表示装置、映像表示方法、及びプログラム | |
CN113992836A (zh) | 变焦视频的音量调节方法、装置和视频拍摄设备 | |
JP2009065319A (ja) | 画像音声記録装置及び画像音声再生装置 | |
JP2021002803A (ja) | 画像処理装置、その制御方法、プログラム | |
JP4515005B2 (ja) | 電子カメラ | |
JP2001008285A (ja) | 音声帯域信号処理方法及び音声帯域信号処理装置 | |
JP2006217111A (ja) | 動画撮影装置、及び動画撮影方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121016 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121218 |