CN103069790B - 图像捕获设备、图像及声音校正方法 - Google Patents
图像捕获设备、图像及声音校正方法 Download PDFInfo
- Publication number
- CN103069790B CN103069790B CN201180039700.6A CN201180039700A CN103069790B CN 103069790 B CN103069790 B CN 103069790B CN 201180039700 A CN201180039700 A CN 201180039700A CN 103069790 B CN103069790 B CN 103069790B
- Authority
- CN
- China
- Prior art keywords
- image
- catching
- scene
- information
- correction process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 151
- 238000003702 image correction Methods 0.000 claims abstract description 17
- 241001465754 Metazoa Species 0.000 claims description 50
- 238000010422 painting Methods 0.000 claims description 11
- 238000007591 painting process Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
为了校正图像捕获设备获取的声音信号，图像捕获设备包括：信息保持单元，针对多个拍摄场景中的每个拍摄场景，将拍摄场景的标识信息、指示拍摄场景的图像校正处理的图像处理信息以及指示拍摄场景的声音校正处理的声音处理信息彼此相关联地保持；拍摄单元，捕获图像并生成指示图像的图像信号；麦克风单元，获取声音并根据拍摄单元捕获的图像生成声音信号；校正单元，基于图像信号指示的图像选择多个拍摄场景中的图像的拍摄场景，对图像信号执行由与所选拍摄场景的标识信息相关联的图像处理信息指示的校正处理，并对声音信号执行由与所选拍摄场景的标识信息相关联的声音处理信息指示的校正处理；以及记录单元，记录校正处理后的图像信号和声音信号。
Description
技术领域
本发明涉及一种图像捕获设备、一种图像和声音校正方法。
背景技术
专利文献1公开了一种对包括重放声音的声音场景进行判断的技术。
根据专利文献1中公开的技术，当获取了包括在视频画面上显示的字幕文本及声音信号的内容时，基于内容中包括的字幕文本来判断声音场景。当内容中包括的声音信号被解调时，基于所判断的声音场景来调整声音信号。
现有技术文献：
专利文献：
专利文献1：JP2008-177734A
发明内容
本发明要解决的问题：
根据专利文献1中公开的技术，基于内容中包括的字幕文本来判断声音场景，且基于声音场景的判断结果来调整声音信号。因此，需要内容中包括的字幕文本来调整声音信号。
然而，用于记录声音及捕获运动图像的图像捕获设备并不生成字幕文本。
因此，对于记录声音及捕获运动图像的图像捕获设备而言，难以根据专利文献1中公开的技术来对由该图像捕获设备获得的声音信号进行调整或校正。
本发明的目的在于提供能够解决上述问题的一种图像捕获设备、一种图像和声音校正方法。
解决问题的手段
根据本发明，提供了一种用于捕获图像的图像捕获设备，包括：保持装置，将用于标识多个捕获图像场景中每一捕获图像场景的标识信息、用于指示针对多个捕获图像场景中每一捕获图像场景的图像校正处理的图像处理信息以及用于指示针对多个捕获图像场景中每一捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持；图像捕获装置，捕获图像并生成表示所捕获的图像的图像信号；获取装置，在图像捕获装置捕获图像时获取声音并生成声音信号；校正装置，基于图像选择捕获图像场景中代表由图像信号所表示的图像的一个捕获图像场景，并对图像信号执行由与关于图像的捕获图像场景的标识信息相关联的图像处理信息所指示的校正处理，并对声音信号执行由与关于图像的捕获图像场景的标识信息相关联的声音处理信息所指示的校正处理；以及记录装置，记录经校正处理后的图像信号以及经校正处理后的声音信号。
根据本发明，还提供了一种用于捕获图像的图像捕获设备中对图像和声音进行校正的方法，包括：将用于标识多个捕获图像场景中每一捕获图像场景的标识信息、用于指示针对多个捕获图像场景中每一捕获图像场景的图像校正处理的图像处理信息以及用于指示针对多个捕获图像场景中每一捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持在保持装置中；捕获图像并生成表示所捕获的图像的图像信号；在捕获图像时获取声音并生成声音信号；基于图像选择捕获图像场景中代表由图像信号所表示的图像的一个捕获图像场景，对图像信号执行由与关于图像的捕获图像场景的标识信息相关联的图像处理信息所指示的校正处理，并对声音信号执行由与关于图像的捕获图像场景的标识信息相关联的声音处理信息所指示的校正处理；以及记录经校正处理后的图像信号以及经校正处理后的声音信号。
本发明的有益效果
根据本发明，可以对图像捕获设备获取的声音信号进行校正。
附图说明
图1是根据本发明示例性实施例的图像捕获设备的配置的方框图；
图2是场景识别部21的操作序列的流程图；
图3是图像调整部22的操作序列的流程图；
图4是声音调整部23的操作序列的流程图；以及
图5是说明图像捕获设备1如何进行工作以捕获焰火图像的图示。
具体实施方式
下面将参照附图描述本发明的示例性实施例。
图1是示出了根据本发明示例性实施例的图像捕获设备的配置的方框图。
图像捕获设备1用作具有运动图像捕获功能的记录设备。图像捕获设备1可以实现为数码摄录像机、移动电话、PHS(个人手持电话系统)、PDA(个人数字助理)等。
图像捕获设备1包括信息保持部11、拍摄部12、麦克风13、校正部20和记录部30。校正部20包括场景识别部21、图像调整部22、声音调整部23和合成部24。
信息保持部11可以一般地称作保持装置。
信息保持部11将用于标识多个捕获图像场景中每一捕获图像场景的标识信息、用于指示针对多个捕获图像场景中每一捕获图像场景的图像校正处理的图像处理信息以及用于指示针对多个捕获图像场景中每一捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持。捕获图像场景例如表示焰火、人、狗、海、山及夜景。用于标识捕获图像场景的标识信息包括代表捕获图像场景的采样图像的特征点。图像处理信息和声音处理信息例如指示用于标识校正处理的校正参数。
例如，信息保持部11将用于标识捕获图像场景如焰火的标识信息、用于指示针对焰火的捕获图像场景的图像校正处理的图像处理信息以及用于指示针对焰火的捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持。
拍摄部12可以一般地称作图像捕获装置。
拍摄部12捕获图像，并生成表示所捕获图像的图像信号。拍摄部12例如捕获运动图像，并生成表示所捕获运动图像的图像信号。当拍摄部12生成图像信号时，其将所生成的图像信号提供给场景识别部21和图像调整部22。
麦克风13可以一般地称作获取装置。
当拍摄部12捕获图像时，麦克风13获取声音并生成声音信号。当麦克风生成声音信号时，其将所生成的声音信号提供给声音调整部23。
校正部20可以一般地称作校正装置。
基于图像信号所表示的图像，校正部20选择多个捕获图像场景中代表该图像的一个捕获图像场景。然后，校正部20对图像信号执行与关于所选捕获图像场景的标识信息相关联的图像处理信息所指示的校正处理，并对声音信号执行与关于所选捕获图像场景的标识信息相关联的声音处理信息所指示的校正处理。
场景识别部21执行场景识别功能。当场景识别部21接收到图像信号并执行场景识别功能时，场景识别部21基于图像信号所表示的图像，选择多个捕获图像场景中代表该图像的一个捕获图像场景。
场景识别部21提取图像信号所表示的图像的特征点，从信息保持部11所保持的用于标识捕获图像场景的标识信息中选择与所提取特征点的相关度超过预定阈值的标识信息。当场景识别部21选择了多个标识信息时，则选择其相关度最高的一个标识信息。只要场景识别部21结合选择捕获图像场景的技术，选择捕获图像场景的处理不限于举例说明的处理。
当场景识别部21从多个捕获图像场景中选择了代表由图像信号所指示图像的捕获图像场景的标识信息时，场景识别部21参考信息保持部11，并从中提取与所选择的捕获图像场景标识信息相关联的图像处理信息以及与所选择的捕获图像场景标识信息相关联的声音处理信息。当场景识别部21提取了图像处理信息和声音处理信息时，其将所提取的图像处理信息提供给图像调整部22，并将所提取的声音处理信息提供给声音调整部23。
场景识别部21可以将所选择的捕获图像场景标识信息提供给图像调整部22和声音调整部23两者。图像调整部22预先将各捕获图像场景的标识信息和图像处理信息彼此相关地保持。当图像调整部22接收到已由场景识别部21选择的捕获图像场景标识信息时，图像调整部22获取与接收到的捕获图像场景标识信息相关的图像处理信息。声音调整部23预先将各捕获图像场景的标识信息和声音处理信息彼此相关地保持。当声音调整部23接收到已由场景识别部21选择的捕获图像场景标识信息时，声音调整部23获取与接收到的捕获图像场景标识信息相关的声音处理信息。
场景识别部21可以向图像调整部22和声音调整部23两者提供对所选择的捕获图像场景与图像信号所表示的图像之间的相关度(场景概率)加以指示的相关信息。相关度随所选择的标识信息所标识的捕获图像场景与图像信号所表示的图像之间的相关性而变高。
图像调整部22接收来自拍摄部12的图像信号。图像调整部22还接收来自场景识别部21的图像处理信息。
当图像调整部22接收到图像信号和图像处理信息时，其对图像信号执行由图像处理信息所指示的校正处理。例如，当图像校正部22接收到指示焰火的图像信号以及关于焰火的捕获图像场景的图像处理信息时，其对表示焰火的捕获图像场景的图像执行校正处理，从而校正表示焰火的图像信号。
图像调整部22例如可以接收图像信号和相关度信息，并根据由相关度信息所表示的相关度来对图像信号进行校正。例如，如果相关度信息所表示的相关度超出预定图像校正阈值，则图像调整部22对图像信号进行校正，而如果相关度等于或小于图像校正阈值，则图像调整部22不会对图像信号进行校正。在校正处理之后，图像调整部22将图像信号提供给合成部24。
声音调整部23接收来自麦克风13的声音信号。声音调整部23还接收来自场景识别部21的声音处理信息。
当声音调整部23接收到声音信号和声音处理信息时，其对声音信号执行由声音处理信息所指示的校正处理。例如，当声音调整部23接收到指示焰火声音的声音信号以及关于焰火的捕获图像场景的声音处理信息时，其对表示焰火的捕获图像场景的声音执行校正处理，从而校正表示焰火声音的声音信号。例如，声音调整部23降低表示焰火声音的声音信号的声级使得焰火的声音不会割断，或者校正声音信号的频率特性使得发出重低音。
声音调整部23例如可以接收声音信号和相关度信息，并根据由相关度信息所表示的相关度来对声音信号进行校正。例如，如果相关度信息所表示的相关度超出预定声音校正阈值，则声音调整部23对声音信号进行校正，而如果相关度等于或小于预定声音校正阈值，则声音调整部23不对声音信号进行校正。
声音调整部23可以在从获取图像信号帧到获取新的后继图像信号帧的每一帧周期中，或者每隔若干帧周期，在针对声音信号的校正处理之间进行切换。声音调整部23对声音信号进行校正的时间间隔可以由图像捕获设备1的用户来设置。在校正处理之后，声音调整部23可以将声音信号提供给合成部24。
合成部24接收来自图像调整部22的经校正处理后的图像信号，并且还接收来自声音调整部23的经校正处理后的声音信号。
当合成部24接收到图像信号和声音信号时，其将图像信号和声音信号彼此相关，并生成由彼此相关的图像信号和声音信号构成的运动图像数据。合成部24将生成的运动图像数据提供给记录部30。合成部24可以将由拍摄部12生成的图像信号与由麦克风13生成的声音信号彼此相关，生成由图像信号和声音信号构成的原始运动图像数据，并将原始运动图像数据提供给记录部30。
记录部30可以一般地称作记录装置。
记录部30记录经校正处理后的图像信号以及经校正处理后的声音信号。
根据本示例性实施例，当记录部30接收到来自合成部24的运动图像数据时，记录部30将运动图像数据转换成给定数据格式的运动图像数据，并将转换后的运动图像数据记录于其中。数据格式表示记录类型、图像大小或者压缩方法。
记录部30例如可以接收从合成部24提供的原始运动图像数据以及由场景识别部21所提取的图像处理信息和声音处理信息，并将原始运动图像数据、图像处理信息和声音处理信息彼此相关地记录在记录部30中。这样，即使场景识别部21选择与实际的捕获图像场景不同的捕获图像场景，图像捕获设备1的用户也可以重放原始运动图像数据并享受其所表示的图像。
图像捕获设备1可以由计算机实现。在这种情况下，计算机读取记录介质如计算机可读CD-ROM(紧致盘只读存储器)中记录的程序，并执行程序以用作信息保持部11、拍摄部12、麦克风13、校正部20和记录部30。记录介质不限于CD-ROM，而是可以改变。
下面将描述利用图像捕获设备1对图像和声音进行校正的方法。
图2是场景识别部21的操作序列的流程图。
当场景识别部21接收到来自拍摄部12的图像信号时，场景识别部21读取图像信号(步骤S21)。
当场景识别部21读取了图像信号时，其基于图像信号所表示的图像，选择多个捕获图像场景中代表该图像的一个捕获图像场景。具体地，场景识别部21对图像信号执行图像处理，并基于图像处理结果来从信息保持部11中的多个标识信息所标识的捕获图像场景中选择图像信号所表示的图像的捕获图像场景(步骤S22)。
当场景识别部21基于图像信号所表示的图像选择了多个捕获图像场景中代表该图像的一个捕获图像场景时，场景识别部21参照信息保持部11，向图像调整部22输出与所选择的捕获图像场景的标识信息相关联的图像处理信息，并且还向声音调整部23输出与所选择的捕获图像场景的标识信息相关联的声音处理信息(步骤S23)。
图3是图像调整部22的操作序列的流程图。
当图像调整部22接收到来自拍摄部12的图像信号时，图像调整部22读取该图像信号(步骤S31)。
当图像调整部22读取了图像信号时，其接收来自场景识别部21的图像处理信息，并读取所接收的图像处理信息(步骤S32)。
当图像调整部22读取了图像信号和图像处理信息时，图像调整部22对图像信号执行由图像处理信息所表示的校正处理(步骤S33)。
在图像调整部22已经执行了校正处理之后，其输出经校正处理的图像信号到合成部24(步骤S34)。
图4是声音调整部23的操作序列的流程图。
当声音调整部23接收到来自麦克风13的声音信号时，声音调整部23读取该声音信号(步骤S41)。
当声音调整部23读取了声音信号时，其接收来自场景识别部21的声音处理信息，并读取所接收的声音处理信息(步骤S42)。
当声音调整部23读取了声音信号和声音处理信息时，声音调整部23对声音信号执行由声音处理信息所表示的校正处理(步骤S43)。
在声音调整部23已经执行了校正处理之后，其输出经校正处理的声音信号到合成部24(步骤S44)。
图5是说明图像捕获设备1如何进行工作以捕获焰火图像的图示。
在图5中，信息保持部11将代表樱、海、山、人、狗、猫、料理、焰火和夜景的捕获图像场景的标识信息与预定图像处理信息和声音处理信息相关联地保持在信息保持部11中。调整部29包括图1所示的图像调整部22、声音调整部23和合成部24。
拍摄部12捕获焰火图像且生成表示焰火的图像信号，并将图像信号提供给场景识别部21和调整部29。当拍摄部12捕获焰火图像时，麦克风13获取焰火的声音，生成表示焰火声音的声音信号，并将生成的声音信号提供给调整部29。
当场景识别部21接收到来自拍摄部12的表示焰火的图像信号时，场景识别部21从信息保持部11中所保持的标识信息中指定对指示焰火的捕获图像场景加以标识的标识信号。当场景识别部21指定了对指示焰火的捕获图像场景加以标识的标识信息时，场景识别部21将与所指定的标识信息相关联的图像处理信息以及与所指定的标识信息相关联的声音处理信息提供给调整部29。
当调整部29接收到表示焰火的图像信号、表示焰火的声音信号以及适于焰火的捕获图像场景的图像处理信息和声音处理信息时，调整部29基于图像处理信息对表示焰火的图像信号执行校正处理，并且还基于声音处理信息对表示焰火声音的声音信号执行校正处理。例如，调整部29降低表示焰火声音的声音信号的声级使得焰火声音不会割断，或者调整声音信号的频率特性使得发出重低音。为了校正表示人声的声音信号，调整部29将声音信号的频率分量限制到人声的频率。
调整部29然后将经校正处理的图像信号以及经校正处理的声音信号进行合成，并将运动图像数据(已对其执行了适于焰火的捕获图像场景的校正处理)作为校正运动图像数据9，输出到记录部30。
根据本示例性实施例，图像捕获设备1包括信息保持部11，该信息保持部11将用于标识多个捕获图像场景中每一捕获图像场景的标识信息、用于指示针对多个捕获图像场景中每一捕获图像场景的图像校正处理的图像处理信息以及用于指示针对多个捕获图像场景中每一捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持。利用图像捕获设备1，拍摄部12捕获图像并生成表示所捕获图像的图像信号，并且麦克风13获取声音并生成声音信号。基于图像信号所指示的图像，校正部20从信息保持部11中保持的标识信息所标识的捕获图像场景中选择多个捕获图像场景中代表所述图像的一个捕获图像场景。然后，校正部20对图像信号执行与关于所选择的捕获图像场景的标识信息相关联的图像处理信息所指示的校正处理，并且对声音信号执行与关于所选择的捕获图像场景的标识信息相关联的声音处理信息所指示的校正处理。
因此，图像捕获设备1基于拍摄部12生成的图像信号，从多个捕获图像场景中选择由图像所指示的该图像的捕获图像场景，并指定关于所选择的捕获图像场景的图像处理信息和声音处理信息。因此，图像捕获设备1可以基于所指定的图像处理信息和声音处理信息，对图像信号和声音信号两者执行适于捕获图像场景的校正处理。
结果，图像捕获设备1可以对麦克风13获取的声音信号执行适于捕获图像场景的校正处理。
因为图像捕获设备1使用用来对图像信号进行校正的关于捕获图像场景的标识信息作为用来校正声音信号的信号，所以图像捕获设备1不需新指定用于对声音信号进行校正的捕获图像场景，并且可以适当地确定要对声音信号执行的校正处理。
存在一种图像捕获设备，用于通过执行语音识别功能，识别包括声音的捕获图像场景，从而可用作用于校正声音信号的图像捕获设备。该图像捕获设备识别用于对图像信号进行校正的捕获图像场景，并且还通过根据语音识别功能执行复杂的处理序列，识别用于对声音信号进行校正的捕获图像场景。因此，该图像捕获设备承受如此之高的处理负担，从而用作图像捕获设备的低处理能力移动终端设备难以通过执行语音识别功能来校正声音信号。
另一方面，图像捕获设备1不需要通过执行语音识别功能来识别包括声音的捕获图像场景以便校正声音信号。因此，图像捕获设备1可以无需根据语音识别功能的复杂处理序列，并可以具有降低的吞吐量。因此，图像捕获设备1能够根据简单的处理来进行适于捕获图像场景的声音信号校正。
另外，图像捕获设备1同时对图像信号和声音信号执行校正处理。因此，图像捕获设备1能够捕获优化的自然运动图像。
在捕获图像场景从“焰火”改变为“人”的情况下，图像捕获设备1同时针对图像信号和声音信号，从关于“焰火”的捕获图像场景的校正处理改变为关于“人”的捕获图像场景的校正处理。因此，图像捕获设备1并不对图像信号和声音信号分别执行彼此不同的关于捕获图像场景的校正处理。因此，即便在捕获图像场景之间快速切换时，图像捕获设备1也能够捕获自然的运动图像。
另外，根据本示例性实施例，不仅可以使用所标识的捕获图像场景，并且还可以使用所标识的人物或动物，例如图像中包括的人物面部或宠物面部。例如，用于标识信息保持部11中保持的多个标识信息所标识的捕获图像场景中包括人物的捕获图像场景的特定标识信息、用于指定特定人物的人物图像信息、用于指示针对该特定人物的图像校正处理的人物图像处理信息以及用于指示针对该特定人物的声音校正处理的人物声音处理信息彼此相关且保持在信息保持部11中。如果基于图像信号所表示的图像从多个捕获图像场景中选择的图像的捕获图像场景的标识信息与特定标识信息彼此一致，则校正部20判断图像信号所表示的图像中的人物是否是由图像信息指定的特定人物。如果校正部20确定图像中的人物就是该特定人物，则校正部20对图像信号执行由与人物图像信息相关的人物图像处理信息所指示的校正处理，并且还对声音信号执行由与人物图像信息相关的人物声音处理信息所指示的校正处理。
例如，假设在“人”的捕获图像场景中要成像特定“个人”，同时用于标识“人”(人物)的捕获图像场景的特定标识信息、用于指定特定“个人”(特定人物)的人物图像信息、用于指示针对该“个人”面部图像的图像校正处理的人物图像处理信息以及用于指示针对该“个人”的语音的声音校正处理的人声处理信息预先登记在信息保持部11中。当校正部20基于图像信号选择了“人”的捕获图像场景时，校正部20判断图像信号所表示的图像中的“人物”是否是该“个人”。如果校正部20确定图像中的“人物”就是该“个人”，则校正部20基于人物图像处理信息和人物声音处理信息，对图像信号和声音信号进行校正。
这样，针对图像信号和声音信号执行适于“人”的捕获图像场景的校正处理，并且图像信号和声音信号被校正为表征指定“个人”的面部和该“个人”的声音。例如，用于表征指定“个人”的面部和该“个人”的声音的校正处理对该“个人”的面部肤色进行校正，并通过过滤声音信号中包括的声音来仅强调该指定“个人”的声音。
图像捕获设备1能够使用图像中包括的标识动物而非图像中包括的标识人物。具体地，图像捕获设备1将用于标识信息保持部11中保持的多个标识信息所标识的捕获图像场景中包括动物的捕获图像场景的特定标识信息、用于指定特定动物的动物图像信息、用于指示针对该特定动物的图像校正处理的动物图像处理信息以及用于指示针对该特定动物的声音校正处理的动物声音处理信息彼此相关联地保持在信息保持部11中。如果基于图像信号所表示的图像从多个捕获图像场景中选择的图像的捕获图像场景的标识信息与特定标识信息彼此一致，则校正部20判断图像信号所表示的图像中的动物是否是由图像信息指定的特定动物。如果校正部20确定图像中的动物就是该特定动物，则校正部20对图像信号执行由与动物图像信息相关的动物图像处理信息所指示的校正处理，并且还对声音信号执行由与动物图像信息相关的动物声音处理信息所指示的校正处理。
因此，当图像捕获设备1要成像特定动物时，除了用于动物的捕获图像场景的校正处理之外，其还可以对图像信号和声音信号执行适用于该特定动物的校正处理。因此，图像捕获设备1能够记录自然的运动图像数据，且同时强调特定动物。
根据本示例性实施例，场景识别部21使用图像信号来选择捕获图像场景。然而，场景识别部21可以基于从GPS(全球定位系统)、温度传感器或者压力传感器输出的检测信息，来指定所选择的捕获图像场景的图像捕获位置或环境，并针对图像捕获位置或环境来校正声音信号。因此，图像捕获设备1能够记录更加自然的运动图像数据。
在上述示例性实施例中，所描述的细节仅作为示例给出，本发明不限于这些细节。
本申请基于并要求2010年8月18日递交的日本专利申请2010-183143的优先权，其全部公开一并于此用作参考。
附图标记说明
1图像捕获设备
11信息保持部
12拍摄部
13麦克风
21场景识别部
22图像调整部
23声音调整部
24合成部
29调整部
30记录部
Claims (4)
1.一种用于捕获图像的图像捕获设备，包括：
保持装置，所述保持装置将用于标识多个捕获图像场景中每一捕获图像场景的标识信息、用于指示针对多个捕获图像场景中每一捕获图像场景的图像校正处理的图像处理信息以及用于指示针对多个捕获图像场景中每一捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持；
图像捕获装置，所述图像捕获装置捕获图像并生成表示所捕获的图像的图像信号；
获取装置，所述获取装置在所述图像捕获装置捕获所述图像时获取声音并生成声音信号；
校正装置，所述校正装置基于所述图像选择所述捕获图像场景中代表由所述图像信号所表示的图像的一个捕获图像场景，对所述图像信号执行由与关于所述图像的捕获图像场景的标识信息相关联的图像处理信息所指示的校正处理，并对所述声音信号执行由与关于所述图像的捕获图像场景的标识信息相关联的声音处理信息所指示的校正处理；以及
记录装置，所述记录装置记录经所述校正处理后的图像信号以及经所述校正处理后的声音信号
其中，所述保持装置将用于标识所述捕获图像场景中包括人物的捕获图像场景的特定标识信息、用于指定特定人物的人物图像信息、用于指示针对所述特定人物的图像校正处理的人物图像处理信息以及用于指示针对所述特定人物的声音校正处理的人物声音处理信息彼此相关地保持；并且
其中，如果基于所述图像信号所表示的图像从所述捕获图像场景中选择的所述图像的捕获图像场景的标识信息与所述特定标识信息彼此一致，则所述校正装置判断所述图像信号所表示的图像中的人物是否是所述人物图像信息所指定的特定人物，并且如果所述校正装置确定所述图像中的人物是所述特定人物，则所述校正装置对所述图像信号执行由与所述人物图像信息相关的人物图像处理信息所指示的校正处理，并且还对所述声音信号执行由与所述人物图像信息相关的人物声音处理信息所指示的校正处理。
2.一种用于捕获图像的图像捕获设备，包括：
保持装置，所述保持装置将用于标识多个捕获图像场景中每一捕获图像场景的标识信息、用于指示针对多个捕获图像场景中每一捕获图像场景的图像校正处理的图像处理信息以及用于指示针对多个捕获图像场景中每一捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持；
图像捕获装置，所述图像捕获装置捕获图像并生成表示所捕获的图像的图像信号；
获取装置，所述获取装置在所述图像捕获装置捕获所述图像时获取声音并生成声音信号；
校正装置，所述校正装置基于所述图像选择所述捕获图像场景中代表由所述图像信号所表示的图像的一个捕获图像场景，对所述图像信号执行由与关于所述图像的捕获图像场景的标识信息相关联的图像处理信息所指示的校正处理，并对所述声音信号执行由与关于所述图像的捕获图像场景的标识信息相关联的声音处理信息所指示的校正处理；以及
记录装置，所述记录装置记录经所述校正处理后的图像信号以及经所述校正处理后的声音信号，
其中，所述保持装置将用于标识所述捕获图像场景中包括动物的捕获图像场景的特定标识信息、用于指定特定动物的动物图像信息、用于指示针对所述特定动物的图像校正处理的动物图像处理信息以及用于指示针对所述特定动物的声音校正处理的动物声音处理信息彼此相关地保持；并且
其中，如果基于所述图像信号所表示的图像从所述捕获图像场景中选择的所述图像的捕获图像场景的标识信息与所述特定标识信息彼此一致，则所述校正装置判断所述图像信号所表示的图像中的动物是否是所述动物图像信息所指定的特定动物，并且如果所述校正装置确定所述图像中的动物是所述特定动物，则所述校正装置对所述图像信号执行由与所述动物图像信息相关的动物图像处理信息所指示的校正处理，并且还对所述声音信号执行由与所述动物图像信息相关的动物声音处理信息所指示的校正处理。
3.一种在用于捕获图像的图像捕获设备中对图像和声音进行校正的方法，包括：
将用于标识多个捕获图像场景中每一捕获图像场景的标识信息、用于指示针对多个捕获图像场景中每一捕获图像场景的图像校正处理的图像处理信息以及用于指示针对多个捕获图像场景中每一捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持在保持装置中；
捕获图像并生成表示所捕获的图像的图像信号；
在捕获所述图像时获取声音并生成声音信号；
基于所述图像选择所述捕获图像场景中代表由所述图像信号所表示的图像的一个捕获图像场景，对所述图像信号执行由与关于所述图像的捕获图像场景的标识信息相关联的图像处理信息所指示的校正处理，并对所述声音信号执行由与关于所述图像的捕获图像场景的标识信息相关联的声音处理信息所指示的校正处理；以及
记录经所述校正处理后的图像信号以及经所述校正处理后的声音信号，
其中，所述将信息保持在所述保持装置中包括：
将用于标识所述捕获图像场景中包括人物的捕获图像场景的特定标识信息、用于指定特定人物的人物图像信息、用于指示针对所述特定人物的图像校正处理的人物图像处理信息以及用于指示针对所述特定人物的声音校正处理的人物声音处理信息彼此相关地保持在所述保持装置中；并且
其中，如果基于所述图像信号所表示的图像从所述捕获图像场景中选择的所述图像的捕获图像场景的标识信息与所述特定标识信息彼此一致，则所述执行校正处理包括：
判断所述图像信号所表示的图像中的人物是否是所述人物图像信息所指定的特定人物，并且如果确定所述图像中的人物是所述特定人物，则对所述图像信号执行由与所述人物图像信息相关的人物图像处理信息所指示的校正处理，并且对所述声音信号执行由与所述人物图像信息相关的人物声音处理信息所指示的校正处理。
4.一种在用于捕获图像的图像捕获设备中对图像和声音进行校正的方法，包括：
将用于标识多个捕获图像场景中每一捕获图像场景的标识信息、用于指示针对多个捕获图像场景中每一捕获图像场景的图像校正处理的图像处理信息以及用于指示针对多个捕获图像场景中每一捕获图像场景的声音校正处理的声音处理信息彼此相关联地保持在保持装置中；
捕获图像并生成表示所捕获的图像的图像信号；
在捕获所述图像时获取声音并生成声音信号；
基于所述图像选择所述捕获图像场景中代表由所述图像信号所表示的图像的一个捕获图像场景，对所述图像信号执行由与关于所述图像的捕获图像场景的标识信息相关联的图像处理信息所指示的校正处理，并对所述声音信号执行由与关于所述图像的捕获图像场景的标识信息相关联的声音处理信息所指示的校正处理；以及
记录经所述校正处理后的图像信号以及经所述校正处理后的声音信号，
其中，所述将信息保持在所述保持装置中包括：
将用于标识所述捕获图像场景中包括动物的捕获图像场景的特定标识信息、用于指定特定动物的动物图像信息、用于指示针对所述特定动物的图像校正处理的动物图像处理信息以及用于指示针对所述特定动物的声音校正处理的动物声音处理信息彼此相关地保持在所述保持装置中；并且
其中，如果基于所述图像信号所表示的图像从所述捕获图像场景中选择的所述图像的捕获图像场景的标识信息与所述特定标识信息彼此一致，则所述执行校正处理包括：
判断所述图像信号所表示的图像中的动物是否是所述动物图像信息所指定的特定动物，并且如果确定所述图像中的动物是所述特定动物时，则对所述图像信号执行由与所述动物图像信息相关的动物图像处理信息所指示的校正处理，并且对所述声音信号执行由与所述动物图像信息相关的动物声音处理信息所指示的校正处理。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010183143 | 2010-08-18 | ||
| JP2010-183143 | 2010-08-18 | ||
| PCT/JP2011/067776 WO2012023436A1 (ja) | 2010-08-18 | 2011-08-03 | 撮像装置、画像と音声の補正方法および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103069790A CN103069790A (zh) | 2013-04-24 |
| CN103069790B true CN103069790B (zh) | 2016-03-16 |
Family
ID=45605092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180039700.6A Expired - Fee Related CN103069790B (zh) | 2010-08-18 | 2011-08-03 | 图像捕获设备、图像及声音校正方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20130121660A1 (zh) |
| EP (1) | EP2608526A4 (zh) |
| JP (1) | JP5803922B2 (zh) |
| CN (1) | CN103069790B (zh) |
| WO (1) | WO2012023436A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10078636B2 (en) * | 2014-07-18 | 2018-09-18 | International Business Machines Corporation | Providing a human-sense perceivable representation of an aspect of an event |
| US9961320B2 (en) * | 2014-11-07 | 2018-05-01 | Canon Kabushiki Kaisha | Image display apparatus and control method thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1522052A (zh) * | 2003-01-17 | 2004-08-18 | ŷķ����ʽ���� | 摄影装置 |
| CN101277394A (zh) * | 2007-02-19 | 2008-10-01 | 精工爱普生株式会社 | 信息处理方法,信息处理设备和程序 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0546743A (ja) * | 1991-08-09 | 1993-02-26 | Matsushita Electric Ind Co Ltd | 個人識別装置 |
| JP4200591B2 (ja) * | 1999-06-11 | 2008-12-24 | ソニー株式会社 | 映像記録装置 |
| US7668455B2 (en) * | 2004-12-20 | 2010-02-23 | Fujifilm Corporation | Image capturing apparatus, image capturing method, reproducing apparatus, reproducing method and program |
| DE602006009191D1 (de) * | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
| US8306280B2 (en) * | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
| JP2008177734A (ja) | 2007-01-17 | 2008-07-31 | Matsushita Electric Ind Co Ltd | デジタル放送コンテンツ再生装置 |
| JP2008211270A (ja) * | 2007-02-23 | 2008-09-11 | Eastman Kodak Co | 画像復元装置 |
| JP2009156888A (ja) * | 2007-12-25 | 2009-07-16 | Sanyo Electric Co Ltd | 音声補正装置及びそれを備えた撮像装置並びに音声補正方法 |
| US8218033B2 (en) * | 2007-09-10 | 2012-07-10 | Sanyo Electric Co., Ltd. | Sound corrector, sound recording device, sound reproducing device, and sound correcting method |
| JP5263767B2 (ja) * | 2008-09-26 | 2013-08-14 | 株式会社ザクティ | 撮像装置及びモード適否判定方法 |
| JP4817131B2 (ja) | 2009-02-03 | 2011-11-16 | 横河電機株式会社 | Ｉｐネットワークシステム |
| JP2009239930A (ja) * | 2009-06-05 | 2009-10-15 | Casio Comput Co Ltd | 動画撮影装置、及び、プログラム |
-
2011
- 2011-08-03 JP JP2012529562A patent/JP5803922B2/ja not_active Expired - Fee Related
- 2011-08-03 EP EP11818078.5A patent/EP2608526A4/en not_active Withdrawn
- 2011-08-03 CN CN201180039700.6A patent/CN103069790B/zh not_active Expired - Fee Related
- 2011-08-03 WO PCT/JP2011/067776 patent/WO2012023436A1/ja active Application Filing
- 2011-08-03 US US13/811,952 patent/US20130121660A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1522052A (zh) * | 2003-01-17 | 2004-08-18 | ŷķ����ʽ���� | 摄影装置 |
| CN101277394A (zh) * | 2007-02-19 | 2008-10-01 | 精工爱普生株式会社 | 信息处理方法,信息处理设备和程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5803922B2 (ja) | 2015-11-04 |
| US20130121660A1 (en) | 2013-05-16 |
| CN103069790A (zh) | 2013-04-24 |
| EP2608526A1 (en) | 2013-06-26 |
| EP2608526A4 (en) | 2015-09-02 |
| JPWO2012023436A1 (ja) | 2013-10-28 |
| WO2012023436A1 (ja) | 2012-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10706892B2 (en) | Method and apparatus for finding and using video portions that are relevant to adjacent still images | |
| JP5612310B2 (ja) | 顔認識のためのユーザーインターフェース | |
| US7668455B2 (en) | Image capturing apparatus, image capturing method, reproducing apparatus, reproducing method and program | |
| JP4274233B2 (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
| CN100502471C (zh) | 图像处理装置、图像处理方法和成像装置 | |
| US8331691B2 (en) | Image data processing apparatus and image data processing method | |
| TW201251443A (en) | Video summary including a feature of interest | |
| JP2006031678A (ja) | 画像処理 | |
| JP2013126206A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20100253801A1 (en) | Image recording apparatus and digital camera | |
| US20110128415A1 (en) | Image processing device and image-shooting device | |
| JP2006238220A (ja) | 撮像装置、撮像方法、及びプログラム | |
| US20090115857A1 (en) | Image capturing apparatus providing image blur information and method thereof | |
| CN106982331B (zh) | 照相机和电子设备 | |
| JP5655668B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| CN103069790B (zh) | 图像捕获设备、图像及声音校正方法 | |
| JP4403937B2 (ja) | カメラ装置、情報処理装置、被写体識別方法 | |
| JP2006203860A (ja) | 撮像装置、撮像方法、再生装置、再生方法、及びプログラム | |
| JP2011216976A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2009088944A (ja) | 文字認識装置、撮像装置及び映像再生装置 | |
| JP5550114B2 (ja) | 撮像装置 | |
| JP6508635B2 (ja) | 再生装置、再生方法、再生プログラム | |
| JP6166070B2 (ja) | 再生装置および再生方法 | |
| JP5389594B2 (ja) | 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 | |
| JP2009272931A (ja) | 撮像装置及び情報提供システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: NEC CORP. Free format text: FORMER OWNER: NEC MOBILE COMMUNICATION, LTD. Effective date: 20150702 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Kanagawa, Japan Applicant after: NEC Mobile Communications Ltd. Address before: Kanagawa, Japan Applicant before: NEC CASIO Mobile Communications, Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: NEC CASIO MOBILE COMMUNICATIONS, LTD. TO: NEC MOBILE COMMUNICATION, LTD. Free format text: CORRECT: ADDRESS; FROM: |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20150702 Address after: Tokyo, Japan Applicant after: NEC Corp. Address before: Kanagawa, Japan Applicant before: NEC Mobile Communications Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160316 Termination date: 20180803 |