CN101951525A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN101951525A
CN101951525A CN2010102219693A CN201010221969A CN101951525A CN 101951525 A CN101951525 A CN 101951525A CN 2010102219693 A CN2010102219693 A CN 2010102219693A CN 201010221969 A CN201010221969 A CN 201010221969A CN 101951525 A CN101951525 A CN 101951525A
Authority
CN
China
Prior art keywords
image
picture
stereo
subject
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102219693A
Other languages
English (en)
Other versions
CN101951525B (zh
Inventor
冈田俊二
磯部幸雄
森本直树
前笃
田所英司
小幡英生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101951525A publication Critical patent/CN101951525A/zh
Application granted granted Critical
Publication of CN101951525B publication Critical patent/CN101951525B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91321—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a copy protection control signal, e.g. a record inhibit signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

一种图像处理装置，包括：成像单元，配置为通过对被摄体成像而生成成像图像；深度信息生成单元，配置为生成关于所述成像图像的深度信息；图像处理单元，配置为基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及基于所述提取的图像，生成用于显示立体图像的差图像，在所述立体图像中立体地观看所述成像图像中包括的所述被摄体；以及记录控制单元，配置为生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及将所述数据流记录为运动图像文件。

Description

图像处理设备、图像处理方法和程序
技术领域
本发明涉及图像处理设备，并且具体涉及执行用于运动图像的立体观察(stereoscopy)的图像处理的图像处理设备、图像处理方法、以及用于使得计算机执行程序的程序。
背景技术
迄今，已经提出各种用于显示立体图像的立体图像显示方法，其中利用左右眼的视差来获得三维感。例如，已经提出了这样的立体图像显示方法，其中显示由左眼观看图像和右眼观看图像配置的立体图像，并且使用偏光眼镜来立体地观看该立体图像。此外，近年来，已经提出了这样的立体图像显示方法，其中可立体地观看图像，而不用使用偏光眼镜。例如，已经提出了如视差屏障方法、双凸透镜方法、多视图方法(如超多视图)等的立体图像显示方法。
此外，已经提出了如数字照相机和数字摄像机(集成了相机的记录器)等的成像装置，其将用于显示立体图像的运动图像记录为图像数据。例如，已经提出了这样的光盘记录设备，其将用于显示立体图像的左眼观看图像和右眼观看图像记录为视频流(例如，日本未审专利申请公开No.2008-67393(图1))。
发明内容
根据上述现有技术，当播放记录的运动图像时，构成运动图像的图像可顺序显示为立体图像。然而，在记录用于利用上述现有技术显示立体图像的运动图像的图像数据的情况下，例如，顺序记录其中完全同时记录几乎相同被摄体的左眼观看图像和右眼观看图像。在这样记录的情况下，与记录用于平面图像(二维图像运动图像)的图像数据相比，涉及立体图像的图像数据的存储量大。
现在，近年来，成像装置的尺寸正变得更小，以便允许用户更容易地携带该装置，因此成像装置中的记录介质的尺寸也正在减小。例如，可能存在这样的情况，其中用户在旅行时携带这样的成像装置，并且在旅行中各个地点记录涉及立体图像的图像数据。然而，这种成像装置中的记录介质常常具有用于存储各种数据的小的存储容量。因此，可以假设当记录涉及立体图像的图像数据时，用于记录的时间量将更短。因此，减小用于显示立体图像的运动图像的存储大小是重要的。
发现已经期望适当地记录用于显示立体图像的运动图像。
根据本发明实施例，一种图像处理装置，包括：成像单元，配置为通过对被摄体成像而生成成像图像；深度信息生成单元，配置为生成关于所述成像图像的深度信息；图像处理单元，配置为：基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及基于所述提取的图像，生成用于显示立体图像的差图像，在所述立体图像中，立体地观看所述成像图像中包括的所述被摄体；以及记录控制单元，配置为生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及将所述数据流记录为运动图像文件。根据本发明实施例的图像处理方法以及用于使得计算机执行图像处理方法的程序产生与图像处理装置相同的效果。其产生了下述操作：基于深度信息，从成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像，基于所述提取的图像，生成差图像；生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及将所述数据流记录为运动图像文件。
所述图像处理单元可基于所述深度信息，确定距所述成像图像的成像位置的预定范围内存在的被摄体为所述特定被摄体；基于关于所述特定被摄体的所述深度信息，确定所述特定被摄体的所述成像图像的水平方向上的所述周围区域；以及从所述成像图像提取所述对象区域的图像。这产生了下述效果：基于深度信息确定被摄体，基于关于特定被摄体的深度信息，确定特定被摄体的成像图像的水平方向的周围区域，并从成像图像提取特定区域的图像。
所述成像单元可生成用于显示所述立体图像的第一成像图像和第二成像图像，其中所述深度信息生成单元生成关于所述第二成像图像的深度信息；所述图像处理单元基于关于所述第二成像图像的所述深度信息，从所述第二图像提取包括所述第二成像图像中包括的被摄体中的特定被摄体、以及所述被摄体的周围区域的对象区域；以及基于所述提取的图像，生成所述差图像；并且所述记录控制单元通过将对应于所述第一成像图像的数据和对应于所述差图像的数据相关，生成所述数据流。这产生了下述效果：生成第一成像图像和第二成像图像，生成关于第二成像图像的深度信息，基于所述深度信息从第二图像提取对象区域，基于提取的图像生成差图像，并且通过将对应于第一成像图像的数据和对应于差图像的数据相关，生成数据流。
所述记录控制单元可生成所述数据流，其包括指示要包括对应于所述差图像的数据的立体图像标识信息。这产生了生成包括立体图像标识信息的数据流的效果。
所述记录控制单元可根据AVCHD标准，在根据AVCHD标准的修改数字视频封装中生成包括所述立体图像标识信息的所述数据流。这产生了下述效果：在根据AVCHD标准的修改数字视频封装中，根据AVCHD标准，生成包括所述立体图像标识信息的所述数据流
所述记录控制单元可记录管理所述运动图像文件的运动图像管理文件，包括指示对应于所述差图像的数据包括在所述运动图像文件中的立体图像标识信息。这产生了下述效果：记录运动图像管理文件，包括所述运动图像管理文件中的立体图像标识信息。
所述记录控制单元可根据AVCHD标准，将包括所述立体图像标识信息的运动图像管理文件记录在以下至少之一中：索引文件、剪辑信息文件、以及电影播放列表文件。这产生了下述效果：根据AVCHD标准，将包括所述立体图像标识信息的运动图像管理文件记录在以下至少之一中：索引文件、剪辑信息文件、以及电影播放列表文件。
所述记录控制单元可生成将对应于所述成像图像的数据和对应于所述差图像的数据以及对应于所述深度信息的数据相关的所述数据流。这产生了下述效果：生成将对应于所述成像图像的数据和对应于所述差图像的数据以及对应于所述深度信息的数据相关的所述数据流。
所述记录控制单元可生成包括深度图存在/不存在信息的所述数据流，所述深度图存在/不存在信息指示要包括对应于所述深度信息的数据。这产生了下述效果：生成包括深度图存在/不存在信息的数据流。
所述记录控制单元可根据AVCHD标准，在根据AVCHD标准的修改数字视频封装中生成包括所述深度图存在/不存在信息的所述数据流。这产生了下述效果：根据AVCHD标准，在根据AVCHD标准的修改数字视频封装中生成包括所述深度图存在/不存在信息的所述数据流。
所述记录控制单元可记录管理所述运动图像文件的运动图像管理文件，包括指示所述运动图像文件包括对应于所述深度信息的数据的深度图存在/不存在信息。这产生了下述效果：在运动图像管理文件中包括深度图存在/不存在信息，并记录运动图像管理文件。
所述记录控制单元可根据AVCHD标准，将包括所述深度图存在/不存在信息的运动图像管理文件记录在以下至少之一中：索引文件、剪辑信息文件以及电影播放列表文件。这产生了下述效果：根据AVCHD标准，将包括所述深度图存在/不存在信息的运动图像管理文件记录在以下至少之一中：索引文件、剪辑信息文件以及电影播放列表文件。
所述记录控制单元可在根据AVCHD标准的电影播放列表文件中的扩展数据区域中，定义用于所述深度信息的播放项目的登记区域；以及将所述深度信息的所述播放项目记录在所述登记区域中。这产生了下述效果：在根据AVCHD标准的电影播放列表文件中的扩展数据区域中，定义用于所述深度信息的播放项目的登记区域，并将所述深度信息的所述播放项目记录在所述登记区域中。
所述图像处理装置还可包括：图像恢复单元，配置为基于所述运动图像文件中包括的所述成像图像和所述差图像，恢复构成所述立体图像的第一图像；以及立体图像生成单元，配置为基于所述恢复的第一图像和所述成像图像，生成所述立体图像。这产生了下述效果：基于所述运动图像文件中包括的所述成像图像和所述差图像，恢复构成所述立体图像的第一图像；以及基于所述恢复的第一图像和所述成像图像，生成所述立体图像。
所述成像单元可生成用于显示所述立体图像的第一成像图像和第二成像图像，作为所述成像图像，其中，所述记录控制单元将对应于所述第一成像图像的第一缩略图像和对应于所述第二成像图像的第二缩略图像相关，用于显示代表所述运动图像文件的代表图像作为缩略图像，并且记录在管理所述运动图像文件的运动图像管理文件中。这产生了下述效果：将第一缩略图像和第二缩略图像相关，用于显示代表所述运动图像文件的代表图像作为缩略图像，并且记录在运动图像管理文件中。
所述图像处理装置还可包括：显示控制单元，配置为基于所述运动图像管理文件中记录的所述第一缩略图像和所述第二缩略图像，执行代表所述运动图像文件的代表图像的列表显示。这产生了下述效果：基于所述运动图像管理文件中记录的所述第一缩略图像和所述第二缩略图像，执行代表所述运动图像文件的代表图像的列表显示。
上述配置在可以适当记录用于显示立体图像的运动图像方面是有利的。
附图说明
图1是图示根据本发明第一实施例的成像装置的功能配置示例的框图；
图2A到2C是图示根据本发明第一实施例的成像单元的内部配置示例、和通过成像单元生成的成像图像的图；
图3A是图示根据本发明第一实施例的成像单元的位置关系的图；
图3B是图示用于标识被摄体距离的特性曲线的示例的图；
图4A和4B是图示在本发明第一实施例中、当生成深度图时由深度信息生成单元使用的深度值和被摄体距离之间的关系的图；
图5A到5C是图示当生成深度图时、由根据本发明第一实施例的深度信息生成单元使用的深度值和被摄体距离之间的关系的图；
图6A和6B是示意性图示由根据本发明第一实施例的成像单元生成的成像图像(左眼)和成像图像(右眼)中包括的被摄体的位置关系的图；
图7是图示关于由根据本发明第一实施例的图像处理单元生成的立体图像的被摄体的深度值、以及用于标识包括被摄体的记录对象区域的像素值之间的关系的图；
图8A到8F是示意性图示在根据本发明第一实施例的图像处理单元从成像的图像(右眼)生成立体差图像的情况下的立体图像生成方法的图；
图9A到9C是示意性图示在根据本发明第一实施例的图像处理单元从成像的图像(右眼)生成立体图像的情况下的转换的图；
图10A和10B是示意性图示在根据本发明第一实施例的记录控制单元生成AV流的情况下的数据处理的图；
图11A是示意性图示根据本发明第一实施例的存储单元中存储的运动图像文件的图；
图11B是用于管理运动图像文件的运动图像管理文件；
图12是示意性图示AVCHD文件的类型和其作用的关联的图；
图13是图示AVCHD标准下的文件配置的示例的图；
图14是图示AVCHD标准下的数据结构的图；
图15A到15C是图示AVCHD标准下的通常的修改数字视频封装的数据结构的图；
图16是图示AVCHD标准下的、包括与深度图兼容的数据流的流文件的配置的图；
图17是图示AVCHD标准下的索引文件的数据结构的图；
图18是图示AVCHD标准下的播放列表文件的数据结构的图；
图19是图示AVCHD标准下的剪辑信息文件的数据结构的图；
图20是示意性图示由根据本发明第一实施例的记录控制单元在各个管理文件中记录的、关于立体图像的多组数据的每个的情况的图；
图21是图示由根据本发明第一实施例的成像器件执行的运动图像记录处理的处理过程的流程图；
图22是图示根据本发明第一实施例的播放器的功能配置示例的框图；
图23A到23C是示意性图示其中由根据本发明第一实施例的图像恢复单元使用立体主图像和立体差图像生成恢复图像的恢复图像生成方法的流程的图；
图24是图示由根据本发明第一实施例的播放器执行的运动图像播放处理的处理过程的流程图；
图25是图示根据本发明第二实施例的成像器件的功能配置示例的框图；
图26是图示关于由根据本发明第二实施例的图像处理单元生成的立体图像的被摄体的深度值、和用于标识将被摄体移动到的区域的像素值之间的关系的图；
图27A到27C是示意性图示根据本发明第二实施例的图像处理单元从成像图像生成右眼观看图像的情况的立体图像生成方法的图；
图28是图示根据本发明第三实施例的成像器件的功能配置示例的框图；
图29A到29C是示意性图示通过根据本发明第三实施例的记录控制单元的缩略图像的记录处理的图；以及
图30A到30C是示意性图示通过根据本发明第三实施例的显示控制单元的缩略图像的显示处理的图。
具体实施方式
将描述用于执行本发明的实施例(以下简称为“实施例”)。将以下面的顺序进行描述。
1.第一实施例(立体图像的记录控制：生成立体差图像并记录包括该立体差图像的运动图像文件的示例)
2.第二实施例(立体图像的显示控制：生成并显示简单立体图像的示例)
3.第三实施例(缩略图像的记录控制和显示控制：用于将缩略图像显示为立体图像的记录示例、以及缩略图像的显示示例)
1.第一实施例
成像装置的配置示例
图1是图示根据本发明第一实施例的成像装置100的功能配置示例的框图。成像装置100包括成像单元110、深度信息生成单元120、图像处理单元130、图像编码器140、深度信息编码器150、记录控制单元160、操作接受单元170和存储单元200。
成像单元110是能够处理立体观察成像的成像单元，其根据从操作接受单元170输入的操作，通过对被摄体成像来生成两个成像图像(图像数据)，并将两个生成的成像图像输出到深度信息生成单元120和图像处理单元130。两个成像图像是用于显示立体图像的、用于左眼的图像(左眼观看图像)和用于右眼的图像(右眼观看图像)。成像单元110还将每个透镜的位置和焦点位置输出到深度信息生成单元120。注意，将参照图2详细描述成像单元110的内部配置。
深度信息生成单元120生成关于从成像单元110输出的两个成像图像的深度图，并将生成的深度图输出到图像处理单元130和深度信息编码器150。此外，深度信息生成单元120还向记录控制单元160输出指示已经生成关于成像图像的深度图的深度图生成信息。注意，深度图是指示从成像位置(即，从成像装置100的位置)到成像图像中的被摄体的深度(即，被摄体距离)的数据。可用于生成深度图的技术的示例包括TOF(飞行时间)和散焦分析(距散焦的深度)。例如，TOF是这样的技术，其中通过反射从光源发射到被摄体的光测量距被摄体的距离，并基于到达传感器的光的延迟和光速，计算该距离。注意，下面将参照图3详细描述第一实施例的生成深度图的方法。
图像处理单元130基于从深度信息生成单元120输出的深度图，根据从操作接受单元170输入的操作，生成从成像单元110输出的两个成像图像之一的立体差图像。图像处理单元130然后输出生成的立体差图像、以及从成像单元110输出的两个成像图像的另一个成像图像(即，输出立体主图像)到图像编码器140。此外，在已经生成立体差图像和立体主图像的情况下，图像处理单元130将立体图像生成信息输出到记录控制单元160。应当注意，立体差图像是用于显示立体图像的图像，并且可通过使用立体主图像生成原始图像。注意，将参照图6A到9C详细描述立体视差图像的生成。
图像编码器140编码从图像处理单元130输出的立体主图像和立体差图像(即，数字视频数据)，并将编码的立体主图像和立体差图像输出到记录控制单元160。例如，图像编码器140根据预定压缩编码方法，执行从图像处理单元130输出的数字视频数据的压缩编码，并将压缩编码的数字视频数据提供到记录控制单元160作为AV流。在本实施例的情况下，在采用AVCHD标准运动图像记录格式的情况下，使用能够高效编码的H.264/MPEG-4 AVC的情况作为运动图像压缩编码方法。在使用该方法的情况下，例如，通过DCT(离散余弦变换)和屏幕内预测执行帧内压缩。从而，执行使用运动矢量的帧内压缩，此外，执行熵编码以改进压缩效率。对于立体主图像和立体差图像，图像经历同步处理(已知为同步锁相)。此外，在编码时，提供相同PTS(呈现时间戳)给从图像处理单元130输出的立体主图像和立体差图像。PTS是用于在播放运动图像时同步的时间戳。
深度信息编码器150编码从深度信息生成单元120输出的深度图，并将编码的深度图输出到记录控制单元160。例如，深度信息编码器150根据预定压缩编码方法，执行从深度信息生成单元120输出的数字数据的压缩编码，并将压缩编码的数字数据提供到记录控制单元160作为AV流。
记录控制单元160利用从图像编码器140输出的AV流和从深度信息编码器150输出的AV流，并根据预定方法将这两个复用为单个AV流，并记录在存储单元200中作为运动图像文件。例如，记录控制单元160复用AV流，并将复用的AV流存储在正在处理中的流缓冲器中。例如，在采用AVCHD标准运动图像记录格式的情况下，服从MPEG-2TS(传送流)执行复用。记录控制单元160监视流缓冲器中存储的数据量，并且在流缓冲器中存储的预定数据量或更多时，从流缓冲器读出用于存储单元200的数据量的记录单元，并将其写到存储单元200。也就是说，记录控制单元160形成流缓冲器中存储的AV流的运动图像文件，并将其存储在存储单元200中。此外，记录控制单元160基于从图像处理单元130输出的立体图像生成信息、和从深度信息生成单元120输出的深度图生成信息，将立体图像标识信息和深度图存在/不存在信息包括在AV流中。以同样方式，记录控制单元160将立体图像标识信息和深度图存在/不存在信息包括在运动图像管理文件中并记录在存储单元200中。下面将参照图10A到20详细描述这些记录方法。
操作接受单元170是接受从用户输入的操作的操作接受单元，并将对应于接受的操作的操作内容输出到成像单元110和图像处理单元130。例如，在用于设置记录运动图像的立体图像成像模式以显示立体图像的设置操作的情况下，操作接受单元170为此目的执行到成像单元110和图像处理单元130的输出。在设置立体图像成像模式的状态下接受按压记录按钮的按压操作的情况下，操作接受单元170为此目的执行到成像单元110和图像编码器140的输出。
存储单元200是用于基于记录控制单元160的记录控制、存储运动图像文件等的信息的存储单元。例如，存储单元200存储通过复用从图像编码器140输出的数字视频数据、和从深度信息编码器150输出的数字数据生成的AV流(数据流)，作为运动图像文件。此外，存储单元200存储管理运动图像文件的运动图像管理文件。注意，存储单元200可内置到成像装置100中，或可与成像装置100分离地配置。此外，各种类型的介质可用作存储单元200，如半导体存储器、光学记录介质、磁盘、HDD(硬盘驱动)等。注意，光学记录介质的示例包括可记录DVD(数字多功能盘)、可记录CD(致密盘)、蓝光盘(注册商标)等。
成像单元的配置示例和生成成像图像的示例
图2A到2C是图示根据本发明第一实施例的成像单元110的内部配置的示例、和由成像单元110生成的成像图像的示例的图。图2A示意性图示成像装置100和从侧面观看的被摄体之间的关系。图2B示意性图示成像装置100和从上面观看的图2A中的状态下的被摄体之间的关系、以及成像单元110的内部配置的示例。图2C图示通过图2A和2B所示的布置生成的成像图像的示例。在该示例中，同时生成两个成像图像，其中人301、从地面竖立的海报302到304、以及山305是被摄体。
在图2A示出的示例中，将认为成像装置100的透镜单元111的变焦位置在广角端。在此情况下，人301和海报302和303存在于距成像装置100的0.5m到5.0m的范围内(指定被摄体提取部分306)，其中最容易感觉到由于画面中的视差导致的立体感。另一方面，海报304和山306位于超过5.0m的范围内的被摄体距离。
如图2B所示，成像单元110包括透镜单元111、右成像器件112、左成像器件113、右成像信号处理单元114、左成像信号处理单元115和相机控制单元116。现在，配置成像单元110，使得对于左边和右边的每个提供透镜单元111的透镜、成像器件和成像信号处理单元，对于每个作为一组，以便生成用于显示立体图像的右眼观看图像和左眼观看图像。在图2B中，利用成像单元110，用于生成右眼观看图像的透镜单元111的透镜在椭圆形中标记有字“右”。用于生成右眼观看图像的成像器件和成像信号处理单元的每个示出为右成像器件112和右成像信号处理单元114。另一方面，用于生成左眼观看图像的透镜单元111的透镜在椭圆形中标记有字“左”。用于生成左眼观看图像的成像器件和成像信号处理单元的每个示出为左成像器件113和左成像信号处理单元115。注意，透镜单元111的左右透镜、右成像器件112和左成像器件113、以及右成像信号处理单元114和左成像信号处理单元115的配置是相同的，除了其布置外。因此，在下面的描述中，将描述左右配置之一，并将省略另一个的描述。
透镜单元111是这样的光学系统，其具有用于会聚来自被摄体的光的多个透镜(包括变焦透镜和聚焦透镜)、以及用于根据被摄体亮度调节穿过这些透镜的光量(即，曝光)的光圈(未示出)。会聚的被摄体光输出到右成像器件112和左成像器件113。也就是说，从被摄体会聚的光从右透镜输出到右成像器件112，并且从被摄体会聚的光从左透镜输出到左成像器件113。
右成像器件112和左成像器件113是同步驱动来通过形成经由透镜单元111输入的被摄体图像的图像而生成图像信号的成像器件。也就是说，右成像器件112是通过执行经由右透镜输入的从被摄体接收的光的光电转换、而根据接收的光量生成模拟图像信号的右眼成像器件。此外，左成像器件113是通过执行经由左透镜输入的从被摄体接收的光的光电转换、而根据接收的光量生成模拟图像信号的左眼成像器件。通过右成像器件112生成的模拟图像信号提供到右成像信号处理单元114，并且通过左成像器件113生成的模拟图像信号提供到左成像信号处理单元115。可使用的成像器件的示例包括固态成像器件，如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)。
右成像信号处理单元114是对从右成像器件112输出的图像信号执行各种信号处理的右眼成像信号处理单元。此外，左成像信号处理单元115是对从左成像器件113输出的图像信号执行各种信号处理的左眼成像信号处理单元。经历信号处理的图像信号(图像数据)输出到相机控制单元116和图像处理单元130。将参照图2C详细描述由右成像信号处理单元114和左成像信号处理单元115生成的成像图像。
相机控制单元116生成要提供到成像单元110的每个部分的控制信号，提供生成的控制信号，并执行如变焦控制、快门控制、曝光控制等的控制。例如，相机控制单元116生成用于在透镜单元111移动聚焦透镜的控制信号，从而执行AF(自动聚焦)控制，其中检测预定被摄体的焦点位置。具体地，相机控制单元116对应于从右成像信号处理单元114和左成像信号处理单元115输出的图像信号，设置成像图像上的预定位置作为AF区(距离测量区)，并执行跟踪处理。相机控制单元116与跟踪处理一起移动聚焦透镜，以执行自动聚焦控制。利用该自动聚焦控制，透镜单元111的左右聚焦透镜同步移动。此外，相机控制单元116将透镜单元111的变焦透镜和聚焦透镜的位置输出到深度信息生成单元120。
图2C所示的成像图像(左眼)311是对应于从图2A和2B所示状态下的左成像信号处理单元115输出的图像信号的成像图像(左眼观看图像)。此外，图2C所示的成像图像(右眼)312是对应于从该状态下的右成像信号处理单元114输出的图像信号的成像图像(右眼观看图像)。在本发明第一实施例的情况下，生成关于成像图像(右眼)312的立体差图像，并且该立体差图像和成像图像(左眼)311记录为用于显示立体图像的运动图像文件。注意，将参照图6A到9C详细描述立体差图像的生成。
生成深度图的示例
接下来，将参照附图详细描述用于生成由成像单元110生成的成像图像的深度图的深度图生成方法。首先，将描述在生成深度图时使用的、用于计算成像装置100和被摄体之间的距离(被摄体距离)的方法。
图3A是图示根据本发明第一实施例的成像单元110的位置关系的图，并且图3B是图示用于标识被摄体距离的性质曲线的示例的图。透镜单元111包括变焦透镜单元180、光圈183、固定透镜184、光学振动校正透镜185、以及聚焦透镜186。此外，变焦透镜单元180具有变焦透镜181和光路折叠棱镜182。此外，提供滤光片187到右成像器件112的成像面。注意，在图3A中，简化了提供到透镜单元111的多个透镜，仅示出了透镜181和184到186。
变焦透镜181是由基于来自相机控制单元116的控制信号驱动的致动器沿光轴方向移动的透镜。光路折叠棱镜182是用于将已经经由变焦透镜181输入的来自被摄体的光折叠90°的矩形棱镜。光圈183用于通过基于来自相机控制单元116的控制信号打开和关闭，调节已经通过变焦透镜181和光路折叠棱镜182的光量(即，曝光)。光学振动校正透镜185是用于通过基于来自相机控制单元116的控制信号、在与光前进的方向正交的方向上移动来校正相机的振动的透镜。聚焦透镜186是用于通过由基于来自相机控制单元116的控制信号驱动的致动器在光轴方向上移动来调节聚焦(焦点)的透镜，从而用聚焦透镜186实现自动聚焦功能。
图3B图示表示被摄体距离、变焦透镜181的位置和聚焦透镜186的位置之间的关系的性质曲线的示例。在图3B所示的曲线图中，垂直轴表示聚焦透镜186的位置，并且水平轴表示变焦透镜181的位置。具体地，在垂直轴的情况下，上侧是近侧，并且下侧是远(无穷远)侧。此外，在水平轴的情况下，左侧是广角端侧，并且右侧是远摄端侧。注意，这些性质曲线在用于成像装置的透镜之间是不同的。在本发明第一实施例的情况下，深度信息生成单元120保持这些性质曲线。
图3B所示的曲线L1到L4是用于基于变焦透镜181的位置和聚焦透镜186的位置、标识聚焦中的被摄体和成像装置100之间的被摄体距离的曲线。注意，图3B中的示例示出四条性质曲线L1到L4，其中被摄体距离分别在0.8m到无穷远(∞)的范围内，并且图中省略对应于其他被摄体距离的性质曲线。如图3B所示，在已经获得变焦透镜181和聚焦透镜186的位置的情况下，可以获得关于此时聚焦中的被摄体的被摄体距离。
图4A和4B是图示当生成本发明第一实施例中的深度图时、由深度信息生成单元120使用的深度值和被摄体距离之间的关系的图。在图4A中，被摄体距离和深度值之间的关系以表格格式图示，并且在图4B中，被摄体距离和深度值之间的关系以曲线图形式图示。现在，如图4A和4B所示，深度值是根据被摄体距离确定的从0到255的值。此外，深度图是其中对构成成像图像的每个像素确定的深度值和与此对应的像素位置已经相关的信息(深度信息)。使用深度图允许估计成像图像中包括的每个被摄体的被摄体距离。
现在，将关于景深进行描述。景深图示认为被摄体基本处于聚焦中的被摄体距离的范围。通常，在该范围宽的情况下，景深大，并且在该范围窄的情况下，景深小。通常还理解到，景深根据光圈的孔径而变化。例如，孔径越大，对应的景深越小，并且孔径越小，对应的景深越大。
例如，在图3A所示的光圈183的孔径设置得相对小的情况下，成像装置100的光轴上(光轴上的远近方向)的相对宽的范围上的被摄体处于聚焦中。另一方面，在光圈183的孔径打开得相对宽的情况下，如果成像范围内的被摄体稍微靠近或远离成像装置100的光轴，则它们可能不处于聚焦中。也就是说，在景深小的情况下，被摄体仅在关于光轴上的远近方向的相对窄的范围内处于聚焦中。
与本发明第一实施例对应地，将描述计算深度值的情况作为使用上述被摄体深度属性的示例。
首先，将描述在开始成像操作时、变焦透镜181设置在广角端侧的状态下计算深度值的示例。例如，变焦透镜181设置在广角端侧，并且光圈183打开得宽，使得景深最小。以此方式在变焦透镜181设置在广角端侧的情况下使得景深最小，使得认为被摄体处于聚焦中的被摄体距离的范围窄。在小景深的状态下，聚焦透镜186设置为远侧(无穷远侧，即，＞5m)。在景深设置为最小并且聚焦透镜186设置为远侧的情况下，检测成像图像的聚焦区域。可使用高频分量和低频分量特征等来确定是否存在聚焦。例如，可从成像图像检测对比度信号，并且对比度信号的信号电平的幅度可用来确定是否存在聚焦。例如，在对比度信号的信号电平高的情况下，可确定已经实现聚焦(高聚焦度)，并且在对比度信号的信号电平低的情况下，可确定未聚焦(低聚焦度)。
因此，可估计当景深设为最小、并且聚焦透镜186设为远侧时在聚焦范围中包括的被摄体存在于相对远离成像装置100的位置。例如，该区域中包括的被摄体的被摄体距离可使用图3B所示的曲线图(性质曲线L4)标识。深度信息生成单元120对由此标识其被摄体距离的区域中包括的像素分配深度值“0”。
接下来，在景深设为最小的情况下，聚焦透镜186设为近侧(0.5m)，检测成像图像的聚焦区域。景深设为最小并且聚焦透镜186设在近侧，并且检测要处理的成像图像中实现聚焦的区域。因此，可估计当景深设为最小并且聚焦透镜186设在近侧时的聚焦范围中包括的被摄体存在于相对靠近成像装置100的位置。例如，使用图3B的曲线图中所示的性质曲线，该区域中包括的被摄体的被摄体距离可标识为最近距离(0.5m)。深度信息生成单元120对由此标识其被摄体距离为最近距离(0.5m)的区域中包括的像素分配深度值“255”。
接下来，在景深设为最小的状态下，聚焦透镜186从近侧移动到远侧，同时检测聚焦透镜186的每个位置处的成像图像中的聚焦区域。检测的区域的被摄体距离通过图3B中的曲线图标识，并且深度信息生成单元120分配服从图4A和4B所示的关系的深度值(0到255)。接下来，深度信息生成单元120基于关于构成成像图像的每个像素获得的深度值生成深度图，并且将生成的深度图输出到图像处理单元130和深度信息编码器150。
因此，在开始成像操作时，对深度图执行初始设置。在初始设置之后，深度信息生成单元120对由成像单元110生成的成像图像中包括的被摄体执行轮廓识别处理，并对识别的轮廓中的区域顺序分配深度值。该轮廓识别处理可基于对成像图像中包括的每个被摄体的检测的运动矢量来执行。因此，可对构成成像的运动图像的每个帧生成深度图。
上面已经描述了关于当开始成像操作时、在变焦透镜181设在广角端的情况下计算深度值的示例。现在，很可能存在这样的情况，其中在开始成像操作时通过用户操作执行变焦操作。例如，在从远距离拍摄进行演讲的人的情况下，在开始成像操作时，将经常通过用户操作执行变焦操作。可想像可能想要从以此方式记录的成像的运动图像观看给出演讲的人的立体图像。然而，在以此方式记录成像图像的情况下，变焦透镜181开始位于远摄端，所以此时用于生成深度图的上述方法不可用。现在，将描述当开始成像操作时变焦透镜181位于广角端位置以外的状态下计算深度值的示例。
图5A到5C是图示当生成深度图时、由根据本发明第一实施例的深度信息生成单元120使用的被摄体距离和深度值之间的关系的图。图5A是图示在变焦透镜181位于图3B所示的曲线图上的水平轴上的ZL1的情况下的被摄体距离和深度值之间的关系的曲线图。图5B是图示在变焦透镜181位于图3B所示的曲线图上的水平轴上的ZL2的情况下的被摄体距离和深度值之间的关系的曲线图。图5C是图示在变焦透镜181位于图3B所示的曲线图上的水平轴上的ZL3的情况下的被摄体距离和深度值之间的关系的曲线图。在图3B所示的曲线图中，指向对应于ZL1到ZL3的线的位置的粗箭头示意性图示在放置变焦透镜181的每个位置处的聚焦透镜的聚焦范围。此外，尽管图5A到5C仅示出三个模式K2到K4，然而可通过保持四个或更多模式，对各种安排获得深度值。
因此，即使在变焦透镜181位于广角端以外的位置的情况下，也可分配深度值，使得即使在开始成像操作时变焦透镜181位于广角端以外的位置，也可生成深度图。
如上所述，对每个成像的图像生成深度图。在本发明第一实施例的情况下，以此方式生成的深度图用于标识左眼观看图像和右眼观看图像的重叠区域，以从右眼观看图像生成立体差图像，并记录该立体差图像和左眼观看图像。
生成立体差图像的示例
图6A和6B是示意性图示由根据本发明第一实施例的成像单元110生成的成像图像(左眼)311和成像图像(右眼)312中包括的被摄体的位置关系的图。注意，图6A中示出的成像图像(左眼)311和成像图像(右眼)312与图2C中示出的那些相同。
图6B示出图6A中示出的成像图像(左眼)311和成像图像(右眼)312已经重叠的状态。注意，在图6B中示出的示例中，成像图像(左眼)311和成像图像(右眼)312中的位置差相对大的被摄体用粗线示出。在这些粗线中，成像图像(右眼)312中包括的被摄体的轮廓(即，人301和海报302和303)由粗实线指示，并且成像图像(左眼)311中包括的被摄体(即，人301和海报302和303)用粗虚线指示。
现在，在相同时间点生成的两个成像图像中包括的被摄体区域中，0.5m到5.0m的范围内包括的被摄体部分例如存在于靠近成像装置100的位置处，并因此水平位置经常不同。另一方面，5.0m到∞的范围内包括的被摄体部分例如存在于远离成像装置100的位置，因此水平位置经常是大致相同的。例如，如图6B所示，在成像图像(左眼)311和成像图像(右眼)312中包括的被摄体中，0.5m到5.0m的范围内包括的被摄体的位置(即，人301和海报302和303)相互不同。也就是说，在成像图像(左眼)311的情况下，成像图像中的人301和海报302和303的位置相对位于朝右边，而在成像图像(右眼)312的情况下，成像图像中的人301和海报302和303的位置相对位于朝向左边。
另一方面，在成像图像(左眼)311和成像图像(右眼)312中包括的被摄体中，5.0m到∞的范围内的被摄体(海报304和山305)的位置在成像图像中具有大致相同位置。也就是说，期望通过使用成像图像(左眼)311和成像图像(右眼)312之一、和由作为近距离被摄体区域的由粗线(实线和虚线)环绕的自身的区域，另一成像图像可以恢复为与原始大致相同的成像图像。
因此，在本发明第一实施例的情况下，我们将采用和记录在相同时间点生成的两个成像图像之一(例如，成像图像(左眼)311)作为立体主图像。对于另一成像图像(例如，成像图像(右眼)312)，标识作为5.0m到∞的范围内的成像图像中包括的被摄体部分的共同区域，并且该共同区域中不包括的该另一图像(成像图像(右眼)312)的部分(即，位于近距离被摄体区域中的其部分)记录为立体差图像。当记录该立体差图像时，背景区域(近距离被摄体区域外的区域)记录为深色。在再现时，背景区域(近距离被摄体区域外的区域)用于恢复立体差图像。
图7是图示关于由根据本发明第一实施例的图像处理单元130生成的立体差图像的被摄体的深度值、以及用于标识包括被摄体的要记录的区域的像素值之间的关系的图。在图7所示的曲线图中，垂直轴表示关于成像图像中包括的被摄体计算的深度值，并且水平轴按像素表示用于标识要记录的区域的长度。
如上所述，在根据本发明第一实施例的情况下，对立体差图像仅记录近距离被摄体区域内的图像。该近距离被摄体区域可使用存在于相对靠近成像装置100的位置的被摄体的区域、和对应于这些被摄体的深度值，从立体差图像中的被摄体计算。
如图6B所示，在例如成像图像(右眼)312中包括的近距离被摄体中，关于最靠近成像装置100的被摄体(人301)的近距离被摄体区域在水平方向上相对长。相反，在成像图像(右眼)312中包括的近距离被摄体中，关于最远离成像装置100的被摄体(海报303)的近距离被摄体区域在水平方向上相对短。因此，可根据距成像装置100的距离确定要记录的区域的水平长度。也就是说，可基于深度值计算要记录的区域的水平长度。因此，下面将参照附图详细描述用于计算要记录的区域的方法。
注意，术语“长”和“短”用于水平方向上的区域的长度，而不是术语“宽”和“窄”，因为术语“宽”和“窄”可能被误解为指示区域的平面面积，而这里描述的安排关注于如按像素测量的、水平方向上的成像图像内的其长度。
图8A到8F是示意性图示在根据本发明第一实施例的图像处理单元130从成像图像(右眼)312生成立体差图像的情况下的立体图像生成方法的图。注意，图8A中示出的成像图像(右眼)312与图2C中示出的相同。
图8B图示在成像图像(右眼)312中包括的被摄体中、恰好对应于位于相对靠近成像装置100的位置的被摄体(即，人301和海报302和303)的区域331到333，作为矩形330中的阴影区域。这些区域331到333基于关于成像图像(右眼)312生成的深度图而标识。
当从成像图像生成立体差图像时，图像处理单元130在成像图像中包括的被摄体区域中，基于根据成像图像生成的深度图，标识0.5m到5.0m的范围内包括的被摄体区域。例如，图像处理单元130在成像图像(右眼)312中包括的被摄体中，标识0.5m到5.0m的范围内包括的被摄体(即，人301和海报302和303)。具体地，如图8B所示，图像处理单元130使用关于成像图像(右眼)312计算的深度图，标识对应于人301和海报302和303的区域331到333。
因此，相对靠近成像装置100的被摄体的区域记录为立体差图像。现在，假设仅以此方式记录被摄体区域、然后在再现时恢复立体差图像的情况。在此情况下，可以预期，在成像图像(左眼)311中包括的被摄体中，围绕近距离被摄体的区域不恢复。因此，在本发明第一实施例的情况下，成像图像(右眼)312中包括的人301和海报302和303的区域、以及成像图像(左眼)311中包括的人301和海报302和303的区域要记录。要记录的这些区域的图像被记录为立体差图像。
图8C示意性图示根据图7所示的曲线图、移动人301和海报302和303的区域的情况。注意，在图8C中，移动前的区域331到333通过阴影指示，并且移动后的区域341到343通过粗线指示。箭头指示区域的移动量。如图8C所示，最靠近成像装置100的被摄体(人301)的移动量相对大。另一方面，最远离成像装置100的被摄体(海报303)的移动量相对小。
下面是用于计算要记录的区域的具体方法的描述。图像处理单元130计算对应于要记录的区域的要处理的成像图像中的线中的部分。现在，称对应于近距离图像(即，人301)的成像图像(右眼)312中的水平方向上的一条线中的部分为部分O(表示为[O1，O2])。成像图像(右眼)312中的水平线的原点为左边缘。此外，部分O是其中超过0的深度值继续的封闭间隔。在此情形下，使用下面表达式1检测作为在要处理的成像图像上的一条水平线上的要记录的区域的部分R1。现在，部分O中的近距离被摄体的深度值将称为D1。注意，在深度值D1在部分O中不统一的情况下，使用部分O中出现最多次数的深度值计算部分R1。此外，可进行这样的安排，其中计算部分O中的每个深度值的平均值，并且使用平均值计算部分R1。
R1＝O1，O2+k·D1]  ...(1)
其中k是服从图7所示的曲线图标识的、用于标识感兴趣的被摄体在水平方向上的移动量的常数，用作视差的转换偏置系数k(0≤k＜1)。
关于成像图像(右眼)312中的每条线中的近距离被摄体计算这些，并且计算的部分R1是要对每条线记录的部分。此外，在相同线中存在多个近距离被摄体的情况下，对每个近距离被摄体计算要记录的部分。
图8D图示基于已经使用表达式1计算的要记录的部分、从成像图像(右眼)312提取的要记录的区域351到353。在图8D中，要记录的区域351到353的轮廓通过实线指示，其内部阴影。此外，在图8D中，仅指示要记录的区域351到353的区域的位置和大小。
图8E图示矩形360中的成像图像(右眼)312中的要记录的区域361到363中包括的被摄体，此外在矩形360中，要记录的区域361到363的轮廓示出为粗线。此外，在成像图像(右眼)312中，在矩形360中，要记录的区域361到363以外的区域中包括的被摄体用虚线图示。注意，成像图像(右眼)312中要记录的区域361到363的位置和大小与图8D所示的要记录的区域351到353相同。
图8F图示从成像图像(右眼)312提取的立体差图像370。立体差图像370是对应于要记录的区域371到373中包括的被摄体的图像。此外，立体差图像370的背景(除要记录的区域371到373以外的区域)是深色。注意，在图8F中，要记录的区域371到373的轮廓由虚线指示。此外，立体差图像370中的要记录的区域371到373的位置和大小与图8E中的要记录的区域361到363相同。
图9A到9C是示意性图示根据本发明第一实施例的图像处理单元130从成像图像(右眼)312生成立体差图像的情况下的转换的图。注意，图9A所示的成像图像(左眼)311和成像图像(右眼)312与图2C所示的那些相同。此外，图9B中示出的要记录的区域351到353与图8D中的那些相同，并且图9C中示出的立体差图像370与图8F中示出的相同。
首先，如图9A所示，成像单元110生成成像图像(左眼)311和成像图像(右眼)312。接下来，深度信息生成单元120对成像图像(左眼)311和成像图像(右眼)312的每个生成深度图。然后，如图9B所示，图像处理单元130基于对成像图像(右眼)312生成的深度图，对成像图像(右眼)312计算要记录的区域351到353。此后，如图9C所示，图像处理单元130生成立体主图像380和立体差图像370。注意，图9C所示的立体主图像380与图9A中示出的成像图像(左眼)311相同。此外，在立体差图像370中，使得要记录的区域371到373以外的区域为深色(例如，暗蓝)。也就是说，立体差图像370由要记录的区域371到373中包括的图像、以及要记录的区域371到373以外的区域的深色构成。
因此，对于成像图像(右眼)312，仅提取成像图像(右眼)312中包括的被摄体的一部分的图像，并且提取的图像记录为立体差图像。因此，在记录运动图像以显示立体图像的情况下，与记录相同时间点生成的两个成像图像的情况相比，要记录的数据量可显著降低。此外，在使用以此方式记录的运动图像文件显示立体图像的情况下，可从立体差图像恢复原始图像。因此，在从立体差图像恢复原始图像的情况下，可使用原始图像中包括的近距离被摄体和周围区域的图像、以及立体主图像的背景图像，执行恢复。因此，可显示比使用原始图像中包括的近距离被摄体的图像和立体主图像的背景图像恢复的立体图像在视觉上更吸引人的立体图像。现在，以此方式恢复的图像与原始图像一般相同，但是存在不同的背景的部分。然而，做出立体图像以便允许用户使用由于光学视差导致的光学幻像来观看三维图像，因此即使在一部分背景不同的情况下，对时间轴和空间轴应用插值和求平均处理也应当能够最小化对用户的影响。
尽管这里已经示出示例，在成像图像(右眼)中包括的被摄体中，基于被摄体距离提取近距离被摄体的区域及其周围区域，但是可以进行这样的安排，其中，在成像图像(右眼)中包括的被摄体中，例如检测特定对象(例如，人脸)，并且检测的对象的区域及其周围区域被提取和记录为立体差图像。
记录立体主图像、立体差图像和深度图的示例
接下来，将参照附图详细描述记录由深度信息生成单元120生成的深度图、由图像处理单元130生成的立体主图像和立体差图像的记录方法。
图10A和10B是示意性图示根据本发明第一实施例的记录控制单元160生成AV流的情况下的数据处理的图。在该示例中，将描述这样的示例，其中复用对应于立体主图像的视频流、对应于其深度图的数据流、对应于立体差图像的视频流、以及对应于其深度图的数据流，并生成AV流。
图10A示意性图示由图像处理单元130生成的立体主图像380和立体差图像370、由深度信息生成单元120生成的深度图401和402。注意，图10A所示的立体主图像380和立体差图像370与图9C示出的立体主图像380和立体差图像370相同。此外，深度图401是对于立体主图像380生成的深度图，并且深度图402是对于立体差图像370生成的深度图。注意，深度图401和402由虚线指示对应图像中包括的被摄体，并且在附图中将省略特定深度值的图示。
图10B示意性图示通过图像处理单元130生成的立体主图像380和立体差图像370、以及由深度信息生成单元120生成的深度图401和402保持在流缓冲器中的方式。
例如，图像编码器140执行立体主图像380的压缩编码，以生成数字视频数据(视频流)，并且还执行立体差图像370的压缩编码以生成数字视频数据(视频流)。注意，同步锁相的图像用作立体主图像和立体差图像。此外，深度信息编码器150执行深度图401的压缩编码以生成数字数据(数据流)，并且还执行深度图402的压缩编码以生成数字数据(数据流)。
接下来，记录控制单元160生成视频对象单元、以及文件系统管理信息和IFO(信息)文件数据，其中以GOP(画面组)为单位存储每个生成的流数据。如这里使用的IFO是根据按照本实施例的AVCHD应用格式的、管理视频/音频流内容的访问/记录/播放/编辑的流管理数据库的管理信息文件的简化术语。记录控制单元160然后将记录数据单元410存储在流缓冲器中，其中已经收集一个到若干个视频对象单元。在已经存储预定数目的记录数据单元410之后，记录数据单元410全部记录到存储单元200，并且重复执行该控制。注意，视频对象单元(可简写为“VOBU”)是一个或两个GOP的组，并且是在盘的SD(标准清晰度)视频格式的情况下访问介质的基本访问单元。如果盘具有HD(高清晰度)视频格式，则VOBU是进入点(EP)单元，并且是一个到若干个GOP的组。在根据本实施例的HD视频格式的立体图像记录/播放的情况下，在立体图像流中的相同时间点设置的一个GOP单元处理为一个进入点单元。
现在，构成记录数据单元410的立体图像属性信息411已经在其中记录从图像处理单元130输出的立体图像生成信息、和从深度信息生成单元120输出的深度图生成信息。基于这些信息，立体图像标识信息和深度图存在/不存在信息记录在AV流和运动图像管理文件中。此外，从存储单元200获得的可记录逻辑地址记录为介质上的记录位置信息。介质的逻辑地址位置记录在图19所示的“CPI()结构”724中的“EP_map()”725中。注意，相同PTS用于对应于立体主图像的视频流和对应于与其同步生成的立体差图像的视频流。此外，对应于立体主图像的GOP中存储了包括在拍摄立体主图像时记录的拍摄音频、叙述、背景音乐等的音频流。
到关于立体差图像和深度图的运动图像文件的记录示例
图11A是示意性图示根据本发明第一实施例的存储单元200中存储的运动图像文件的图，并且图11B是用于管理运动图像文件的运动图像管理文件。图11B示意性图示构成一个运动图像文件的记录数据单元421到424。现在，图11A所示的运动图像文件是其中从视频图像记录的开始(开始拍摄)到视频图像记录的结束(结束拍摄)的图像数据(视频数据)是一章节420的视频数据文件。构成运动图像文件的记录数据单元421到424对应于图10B所示的记录数据单元4100，并且从运动图像记录的开始到指令运动图像记录的结束的操作，顺序记录在存储单元200中。此外，该运动图像文件包括图像数据和音频数据。
图11B图示存储单元200中存储的运动图像管理文件430。运动图像管理文件430是用于管理存储单元200中存储的运动图像文件的文件，并且是处理运动图像文件的编辑的扩展管理文件。例如，运动图像管理文件430中记录了播放列表登记信息431，其用于以各个章节为增量，管理运动图像记录开始操作到运动图像记录结束操作之间记录的运动图像文件。该播放列表登记信息431是与用于播放平面图像的运动图像文件兼容的播放列表登记信息，其中记录了播放开始点和播放结束点(即，IN/OUT点)、编辑属性等。
运动图像管理文件430存储立体图像标识信息432和深度图存在/不存在信息433作为扩展应用格式。立体图像标识信息432是指示运动图像文件是否是其中以相关方式记录立体主图像和立体差图像的运动图像文件的信息。此外，深度图存在/不存在信息433是指示运动图像文件是否是其中以相关方式对每个图像记录深度图的运动图像文件的信息。
例如，在运动图像文件是其中以相关方式记录立体主图像和立体差图像的运动图像文件的情况下，对立体图像标识信息432记录“1”。另一方面，在运动图像文件是其中没有以相关方式记录立体主图像和立体差图像的运动图像文件的情况下(例如，如从另一记录者复制(dubbed)的文件)，对立体图像标识信息432记录“0”。以此方式在运动图像管理文件430中记录立体图像标识信息432允许当播放存储单元200中记录的运动图像文件时、识别是否可显示立体图像，所以可以适当地执行播放。
此外，在运动图像文件是其中对每个图像以相关方式记录深度图的运动图像文件的情况下，对深度图存在/不存在信息433记录“1”。另一方面，在运动图像文件不是其中对每个图像以相关方式记录深度图的运动图像文件的情况下，对深度图存在/不存在信息433记录“0”。因此，对运动图像管理文件430记录深度图存在/不存在信息433允许当播放存储单元200中记录的运动图像文件时、适当地执行使用深度图的播放。
AVCHD标准数据结构示例
接下来，将参照附图详细描述作为运动图像记录格式的示例的AVCHD格式。图12是示意性图示AVCHD文件的类型、作用和关系的图。在AVCHD标准的情况下，AV数据(视频/音频数据)用层次结构处理，并且粗略划分为索引表格、电影对象、播放列表、剪辑信息等、以及剪辑AV流文件。
剪辑AV流文件(Clip AV Stream File)是其中已经通过MPEG-2TS(传送流)格式复用视频数据和音频数据的比特流。此外，可在剪辑AV流上复用OB流(重叠位图流)和MB流(菜单位图流)。注意，OB流是用于显示字幕的图形流，并且MB流是用于已经流传输的菜单显示等的数据(按钮图像数据等)。
剪辑信息文件(Clip Information File)是用于将关于剪辑AV流文件的信息保持为剪辑信息的文件。该剪辑信息文件包括用于剪辑AV流文件中的时间位置和空间位置(地址)之间的映射的映射(转换)表格。因此，当已经通过时间指定剪辑AV流文件中的访问点时，可通过参考映射表访问剪辑AV流文件中的适当地址。
上述其中记录剪辑信息的剪辑AV流文件和对应剪辑信息文件以下将统称为“剪辑”。注意，构成剪辑的剪辑AV流文件和剪辑信息文件以一对一方式相对应。
播放列表(PlayList)由要播放的剪辑、关于剪辑的开始点和结束点的信息等配置。播放开始点和播放结束点信息称为播放项目(PlayItem)。每个播放列表具有一个或多个播放项目。通过该播放列表执行剪辑播放。也就是说，播放播放列表顺序播放播放列表中包括的播放项目。因此，遵循在播放项目中的播放开始点和播放结束点的播放剪辑中的对应部分。
每个播放项目可给出播放列表标记。播放列表标记将播放项目划分为多个章节。相反，单个章节中可存在多个播放项目。
播放列表通常分为真实播放列表(Real PlayList)和虚拟播放列表(VirtualPlayList)。真实播放列表是其中以剪辑为单位基本按记录顺序保持一个或多个剪辑的播放列表。在真实播放列表中，不存在时间跳过(间隙)，并且不与其他真实播放列表重叠。另一方面，虚拟播放列表是其中可选地保持对应于真实播放列表的一个或多个剪辑的部分或全部的播放列表。
电影对象(MovieObject)是包括导航命令程序等的对象。现在，导航命令程序是用于控制播放列表的播放和播放的结束之后的处理的一组命令。
索引表格是定义记录介质中记录的内容的标题的最高级别表格。一个或多个电影包括在索引表格中，从每个电影标题指向电影对象。在播放器的情况下，基于索引表格中存储的标题信息控制内容的播放。
图13是图示AVCHD格式下的文件配置的示例的图。在记录介质的根目录“驱动(DRIVE)”500下是文件“MODELCFG.IND”510、目录“AVCHD”520、目录“AVF_INFO”540和目录“DCIM”550。此外，在目录“AVCHD”520下是目录“BDMV”530。
文件“MODELCFG.IND”510是厂商特定文件(由厂商决定的信息文件)。此外，目录“BDMV”530是到由运动图像视频记录应用格式规定的文件夹和文件的目录。
目录“BDMV”530紧下面放置文件“INDEX.BDM”531和文件“MOVIEOBJ.BDM”532。此外，目录“BDMV”530下面是目录“播放列表(PLAYLIST)”533、目录“CLIPINF”535和目录“流(STREAM)”537。
文件“INDEX.BDM”531是用于存储目录“BDMV”530的内容的索引文件，并且是用于登记和管理运动图像文件(章节)的文件。此外，文件“MOVIEOBJ.BDM”532是由应用记录格式决定的文件，并且存储电影对象的信息。
目录“播放列表”533是其中放置播放列表的数据库的目录。“播放列表”533包括关于播放列表的文件(例如，文件“00000.MPL”534)。目录“播放列表”533中的文件的文件名由五位数和后缀构成。在五位数中，一千个数“00000”到“00999”用于真实播放列表，并且一千个数“01000”到“01999”用于虚拟播放列表。后缀是“.MPL”。目录“播放列表”533中的文件是对每个内容登记到每个运动图像文件(章节)的访问的单位，并且通过逻辑时间点规范来管理开始点(IN点)和结束点(OUT点)。
目录“CLIPINF”535是其中保持剪辑的数据库的目录。目录“CLIPINF”535包括对应于每个剪辑AV流文件的剪辑信息文件，例如(例如，文件“00000.CPI”536)。目录“CLIPINF”535中的文件的文件名由五位数和后缀构成。后缀是“.CPI”。目录“CLIPINF”535下的文件是用于管理到对应于运动图像文件(章节)的AV流的访问的文件。
目录“流”537是其中保持作为实际实体的AV流文件的目录。目录“流”537例如包括对应于每个剪辑信息文件的剪辑AV流文件(例如，文件“00000.MTS”538和539)。此外，目录“流”537下的文件由MPEG-2传送流构成，并且文件名由五位数和后缀构成。现在，文件名中的五位数的部分与对应剪辑信息文件中的相同，从而表示剪辑信息文件和该剪辑AV流文件之间的关联。此外，每个文件的后缀是“.MTS”。此外，对于目录“流”537下的文件，每个章节存在一个文件。此外，例如，在章节内的每个记录数据单元内，立体主图像和其深度图、以及立体差图像及其深度图交替记录在EP(进入点(ENTRY POINT))。此外，立体图像标识信息和深度图存在/不存在信息记录在基本流(ES)流(即，ES流)的修改数字视频封装(也简称为“MDP”)中。注意，EP由一个或多个GOP构成，并且是到具有AVCHD标准下的记录格式的介质的基本访问单元。
目录“AVF_INFO”540是用来帮助用户操作的、应用格式管理分类组登记信息和偏好信息的文件所属的目录。此外，在目录“AVF_INFO”540下例如是文件“AVIN0001.BNP”541、文件“AVIN0001.INP”542和文件“AVIN0001.INT”543。
文件“AVIN0001.BNP”541是AV流文件的UI(用户界面)管理信息文件，并且是文件“AVIN****.INP”的备份文件。文件“AVIN0001.INP”542是AV流文件的UI管理信息文件，并且是对每个记录的文件的属性登记文件。文件“AVIN0001.INT”543是AV流文件的UI管理信息文件，并且是用于登记缩略图像以显示每个记录的图像作为立体图像的文件。注意，将参照图29A到30C详细描述缩略图像。
目录“DCIM”550是由静态图像记录应用格式规定的文件夹和静态图像文件所属的目录。此外，目录“DCIM”550紧下面是DCF(相机文件系统设计规则，DESIGN RULE FOR CAMERA FILE SYSTEM)目录(例如，目录“101MSDCF”551)。DCF目录下面是图像文件(例如，文件“00000.DCF”552)。
图14是图示AVCHD标准下的数据结构的图。在图14所示的示例中，剪辑信息(#0)581保持关于流(#0)591的信息，并且剪辑信息(#1)582保持关于流(#1)592的信息。此外，剪辑信息(#2)583保持关于流(#2)593的信息，并且剪辑信息(#3)584保持关于流(#3)594的信息。注意，在该示例中，播放项目(#1)571到(#3)573属于真实播放列表。
索引表格是定义记录介质中记录的内容的标题的最高级别表格。一个或多个电影标题包括在该索引表格中，以便从每个电影标题指向播放项目。在此示例中，电影标题(#1)561指向播放项目(#1)571，电影标题(#2)562指向播放项目(#2)572，并且电影标题(#3)563指向播放项目(#3)573。基于索引表格中存储的标题信息在播放器控制内容的播放。
用AVCHD标准记录的示例
接下来，将参照附图详细描述记录用于标识由图像处理单元130根据AVCHD标准生成的立体图像的立体图像标识信息的记录示例。首先，将描述根据AVCHD标准在AV流中记录立体图像标识信息和深度图存在/不存在信息的情况。
对AV流记录的示例
图15A到15C是图示AVCHD标准下通常的MDP(修改的DV封装)的数据结构的图。图15A示意性图示基本流(ES)。注意，在图15A中，在构成ES的元素中，表示MDP的矩形将通过“MDP”表示，并且其他元素的符号将省略。如图15A所示，MDP作为用户数据记录在由一个到若干个GOP单元构成的EP中。在根据本发明第一实施例的情况下，ES流记录为运动图像文件，其中1GOP(例如，0.5秒)作为EP间隔。
图15B示意性图示立体图像标识信息。该立体图像标识信息是用于标识该流是否与立体观察兼容(即，该流是否包括立体主图像和立体差图像)的标识标记。在流与立体观察兼容的情况下，定义该标识标记的MDP中的1位设为“真”，并且在流与立体观察不兼容的情况下设为“假”。此外，深度图存在/不存在信息是标识是否已经对与流对应的立体主图像和立体差图像记录深度图的标识标记。在已经记录深度图的情况下，定义该标识标记中的MDP的1位设为“真”，并且在还没有记录深度图的情况下，设为“假”。注意，在对应于深度图存在/不存在信息的流是包括立体主图像和立体差图像的流的情况下，记录关于立体主图像和立体差图像的深度图的标识标记。另一方面，在对应于深度图存在/不存在信息的流不是包括立体图像的流的情况下，记录关于对应于图像的深度图的标识标记。
图15C图示MDP的整体数据结构的部分语法。“MDP基本结构”601中的块″ModifiedDVPackMeta()″是用于存储关于MDP的附加信息的块。″ModifiedDVPackMeta()结构″602中的每个one_modified_dv_pack封装(5手节)存储直到预定封装ID号的如拍摄时间点、拍摄视频信息、GPS位置信息等的数据。也就是说，“各个one_modified_dv_pack#k结构”的“mdp_data”存储直到预定封装ID号的如拍摄时间点、拍摄视频信息、GPS定位信息等的数据。例如，MakerOption#1用于版本描述、发布规范描述以及记录图像质量模式描述。此外，MakerOption#2用于makerPrivateData。
接下来，将描述根据本发明第一实施例的、使用MakerOption的后续添加的、记录图15B所示的立体图像标识信息和深度图存在/不存在信息的示例。即，“MakerOption#k结构”604中的“mdp_data”存储图15B所示的立体图像标识信息和深度图存在/不存在信息。
注意，可用格式规范中的定义进行这样的安排，以使用用于“ModifiedDVPackMeta”的PADDINGID的区域来记录每个EP的立体图像标识信息和深度图存在/不存在信息。
以此方式在MDP中记录立体图像标识信息和深度图存在/不存在信息，允许控制系统读出这些，并识别流是否与立体观察兼容以及是否存在深度图。流可被读出，并基于识别的结果解码和显示读取的流。
图16是图示包括与AVCHD标准中的深度图兼容的数据流的流文件的图。在该示例中，图示与立体观察兼容的数据流的EP内的配置示例。注意，传输时，流文件处理为由多个传送分组配置的传送流(也成为“TS流”)。在记录时，流文件转换为以PES(分组化基本流)分组为单位的流。
PAT(节目关联表格)611是用于描述流中的节目的数量和每个节目的PMT(节目图表格)的PID的信息(部分)。注意，PID(分组标识符)是指示TS(传送流)分组正传输的数据类型的标识符信息，并且存储在其报头中。注意，在AVCHD标准的情况下，PAT的PID是“0X0000”(其中0x意味着随后的数字是十六进制，这在下面的描述中也保持成立)。
PMT 612是描述对应节目中包括的视频/音频流的PID、以及PCR(节目时钟参考)的PID的部分。注意，在AVCHD标准中，PMT的PID是“0X0001”。
PCR 613是存储PCR的PID的TS分组中描述的到T-STD(传送系统目标解码器)的输入时间点，并且以0.1秒或更短的增量存储在流中。注意，在AVCHD标准中，PCR的PID是“0X1001”。
注意，PTS(呈现时间戳)是显示时间点时间戳，并且在PES(分组化基本流)的报头中描述。DTS(解码时间戳)是解码时间点时间戳，并且在PES的报头中描述。
此外，I_top 614是对应于I画面的顶部场的PES，并且I_bottom 615是对应于I画面的底部场的PES。MDP 616是对应于MDP的PES，并且OB 617是对应于OB流的PES。B_top 619是对应于B画面的顶部场的PES，并且B_bottom 620是对应于B画面的底部场的PES。深度图618是对应于深度图的PES。
在AVCHD标准中，视频流的PID是“0X10**”。例如，PCR的PID是“0X1001”。此外，在AVCHD标准的情况下，音频流的PID是“0X11**”。此外，在AVCHD标准的情况下，OB(重叠位图)的PID是“0X12**”。此外，在AVCHD标准的情况下，菜单数据(MenuData)的PID是“0X14**”。
因此，对于对应于深度图的数据流的PID，例如在视频流的PID“0X10**”中可以新定义未定义的PID。此外，例如，可新定义和使用未定义的PID“0X1***”。因此，对应于深度图的数据流可由PID选择器等适当地分离，并且可在播放时使用深度图。
对索引文件的记录示例
接下来，将参照附图详细描述在AVCHD标准下对文件管理信息记录立体图像标识信息和深度图存在/不存在信息的情况。首先，将描述在AVCHD标准下在索引文件中记录立体图像标识信息和深度图存在/不存在信息的情况。注意，下面描述的立体图像标识信息和深度图存在/不存在信息可以与例如图15B所示的那些相同。
图17是图示AVCHD标准下的索引文件的数据结构的图。“INDEX.BDM结构”701中的块“Extension Data()”是用于存储预定扩展数据的块(扩展数据块)。“Extension Data()结构”702中的块“Data Block()”是其中存储扩展数据的主要实体的块。“Index Extension Data()结构”703中的区域“reserved_for_future_use”704是为字节对准、未来字段的添加等保留的区域。这对于此后所有出现的“reserved_for_future_use”都成立。例如，立体图像标识信息和深度图存在/不存在信息可记录在“reserved_for_future_use”704中。区域“reserved_for_future_use”704的两位可适于记录立体图像标识信息和深度图存在/不存在信息。
此外，“Index Extension Data()”结构703中的块“TableOfPlayLists()”是其中存储播放列表属性信息的块。例如，立体图像标识信息和深度图存在/不存在信息可记录在“TableOfPlayLists()结构”705中的“reserved_for_future_use”706中，作为播放列表文件属性信息。区域“reserved_for_future_use”706的两位可适于记录立体图像标识信息和深度图存在/不存在信息。
此外，“INDEX Extension Data()结构”703中的块“MakersPrivateData()”是其中管理AV流(内容)的块。“MakersPrivateData()”的每个“data_block结构”708中的区域“clip_info_file Info”709是用于访问AV流的剪辑信息文件的条目信息。例如，立体图像标识信息和深度图存在/不存在信息可记录在区域“CLIP_INFO_FILE INFO”709的未使用保留区域中。“clip_info_file Info”709的两位可适于记录立体图像标识信息和深度图存在/不存在信息。因此，在记录标记的情况下，在登记对应标记记录的关于立体图像的AV流的情况下，以及在编辑AV流的情况下，更新对应标记。
因此，在第一实施例的情况下，对其中例如定义“reserved_for_fuure_use”的区域中的标记新定义两位，并且存储立体图像标识信息和深度图存在/不存在信息。
对播放列表文件的记录示例
接下来，将描述在AVCHD标准下对播放列表文件记录立体图像标识信息和深度图存在/不存在信息的情况。
图18是图示AVCHD标准下的播放列表文件的数据结构的图。“电影播放列表文件的结构”711的块“PlayList()”是其中描述播放列表的块。块“ExtensionData()”是用于存储预定扩展数据的块。
“PlayList()结构”712中的“PlayItem()#1”和“PlayItem()#2”是其中存储播放项目属性信息的块。例如，立体图像标识信息和深度图存在/不存在信息可存储在“各个PlayItem#k结构”713的““reserved_for_future_use”714中。区域“reserved_for_future_use”714的两位例如可适于记录立体图像标识信息和深度图存在/不存在信息。
现在，与对应于主要播放的播放项目的主要路径相比，可对子播放项目设置子路径。“PlayList()结构”712中的“SubPath()#1”和“SubPath()#2”是其中存储对应于子播放项目的子路径属性信息的块。在对应于子路径的情况下，立体图像标识信息和深度图存在/不存在信息可记录到对应位置。“各个SubPlayItem#k结构”716中的区域“reserved_for_future_use”717中的两位例如可适于记录立体图像标识信息和深度图存在/不存在信息。
此外，“电影播放列表文件的结构”711中的块“ExtensionData()”可用于存储播放列表文件中的扩展数据。现在，考虑通过关于视频数据(VideoData)、音频数据(AudioData)、OB(OverlayBitmapData)和菜单数据(MenuData)创作来执行复制的情况。在通过创作复制每个数据之后，定义AVCHD标准中的登记位置。然而，还没有用AVCHD标准定义用于将深度图数据登记到播放项目的登记位置。因此，在根据本发明第一实施例的情况下，在块“ExtensionData()”中新定义用于向播放项目登记深度图数据的登记区域，并执行向播放项目登记深度图数据。例如，向“ExtensionData()的深度图数据的播放项目结构”718的“DepthMapDataPlayItem()#1，#2”718执行用于播放项目的深度图数据的登记。
到剪辑信息文件的记录示例
接下来，将描述在AVCHD标准下将立体图像标识信息和深度图存在/不存在信息记录到剪辑信息文件的情况。图19是图示AVCHD标准下的剪辑信息文件的数据结构的图。
“剪辑信息文件结构”721中的块“ClipInfo()”用于描述关于由剪辑信息文件管理的剪辑AV流的信息。例如，立体图像标识信息和深度图存在/不存在信息可存储在“ClipInfo()结构”722的区域“reserved_for_future_use”723中。区域“reserved_for_future_use”723的两位例如可适于记录立体图像标识信息和深度图存在/不存在信息。
现在，“剪辑信息文件结构”721中的“ClipInfo()”存储关于用于整个流文件的时间位置和空间位置之间的映射的映射表的信息。例如，在记录AV流时，每个AV流的所有EP的属性信息登记在对应于AV流的对应文件中。此外，在编辑AV流的情况下，每个AV流的所有EP的属性信息在对应于AV流的对应文件中更新。这种登记或编辑的信息用于播放时访问。
“CPI()结构”724中的“EP_map()”725是用于EP(Entry Point)的介质的逻辑地址位置、和内容流的时间点时间戳的关联表格。例如，“EP_map()”725的EP的最大数量为大约180,000。在此情况下，在按0.5秒记录每个EP(1GOP)的情况下，每个章节的最大时间量为大约90,000秒(25小时)。
注意，立体图像标识信息和深度图存在/不存在信息可写到MDP、索引文件、剪辑信息文件和电影播放列表文件的每个，或仅写到一个。因此，在本发明第一实施例的情况下，立体图像标识信息和深度图存在/不存在信息可记录到多个层次级并从多个层次级使用。
在AVCHD的情况下到运动图像文件的记录示例
图20是示意性图示通过根据本发明第一实施例的记录控制单元160、将关于立体图像的多组数据的每个记录到各个管理文件的情况的图。该示例示意性图示将图18所示的图数据登记到播放项目，并登记到图10所示的EP_map。注意，索引文件751、电影对象文件752、电影播放列表文件753和剪辑信息文件754与上述相同，因此这里将省略其描述。此外，在该示例中，节目#1(770)是对应于立体主图像的流，并且节目#2(780)是对应于立体差图像的流。节目#1(770)和节目#2(780)的列表在PAT 761中描述。此外，节目#1(770)的信息存储在PMT 762中，并且节目#2(780)的信息存储在PMT 763中。
节目#1(770)和节目#2(780)包括视频数据(VideoData)和音频数据(AudioData)、以及OB(OverlayBitMapData)、菜单数据(MenuData)和深度图数据(Depth Map Data)。
如图18所示，用于播放项目的深度数据的登记区域在“电影播放列表文件结构”711的块“ExtensionData()”中定义，并且对播放项目的深度数据执行登记。也就是说，基于PAT 761、PMT 762和PMT 763的信息对电影播放列表文件753中的播放项目的深度数据执行登记。
此外，如图19所示，每个流的所有EP的属性信息登记在“剪辑信息文件结构”721的块“CPI()”中。也就是说，基于PAT 761、PMT 762、PMT 763、节目#1(770)和节目#2(780)中包括的数据，执行剪辑信息文件754中的每个文件的登记。如上所述，立体图像标识信息和深度图存在/不存在信息记录在运动图像管理文件750中的每个文件中，但是这里省略附图中的图示和其描述。
成像装置的操作示例
图21是图示用根据本发明第一实施例的成像装置100的运动图像记录处理的处理过程的流程图。在此示例中，将关于运动图像记录处理进行描述，其中记录运动图像文件和用于管理运动图像文件的运动图像管理文件，在所述运动图像文件中，立体主图像和立体差图像已经相关。
首先，关于是否已经设置用于记录运动图像的立体图像成像模式进行确定，其中立体主图像和立体差图像已经相关(步骤S901)。在步骤S901确定还没有设置立体图像成像模式的情况下，运动图像记录处理结束。
另一方面，在步骤S901确定已经设置立体图像成像模式的情况下，关于是否已经执行用于开始运动图像记录的操作进行确定(步骤S902)。例如，在已经设置立体图像成像模式的状态下，关于是否已经执行用于按压记录按钮的按压操作进行确定。
在步骤S902中确定还没有执行用于开始运动图像记录的操作的情况下，继续监视，直到接受用于开始运动图像记录的操作。另一方面，在步骤S902确定已经执行用于开始运动图像记录的操作的情况下，成像单元110生成两个成像图像(成像图像(右眼)和成像图像(左眼))(步骤S903)。注意，步骤S903是发明内容中描述的成像的示例。
接下来，深度信息生成单元120生成两个成像图像的深度图(步骤S904)。注意，步骤S904是发明内容中描述的深度信息生成的示例。
接下来，图像处理单元130使用对成像图像生成的深度图，对已经生成的两个成像图像之一(例如，成像图像(右眼))生成立体差图像(步骤S905)。注意，步骤S905是发明内容中描述的图像处理的示例。
接下来，图像编码器140编码生成的立体差图像和立体主图像(例如，成像图像(左眼))(步骤S906)。
接下来，深度信息编码器150编码两个生成的深度图(例如，关于成像图像(右眼)和成像图像(左眼)的深度图)(步骤S907)。
接下来，记录控制单元160基于从深度信息生成单元120输出的深度图生成信息、以及从图像处理单元130输出的立体图像生成信息，将立体图像标识信息和深度图存在/不存在信息记录在MDP中(步骤S908)。
接下来，记录控制单元160复用流以生成TS流，并将生成的TS流存储在流缓冲器中(步骤S909)。例如，通过复用其中编码立体主图像和立体差图像的视频流、存储立体图像标识信息和深度图存在/不存在信息的MDP、以及其中编码两个深度图的数据流，生成TS流。
接下来，关于流缓冲器中是否已经存储预定数量或更多的数据进行确定(步骤S910)。在步骤S910确定流缓冲器中已经存储预定数量或更多的数据的情况下，记录控制单元160将流缓冲器中存储的TS流记录到存储单元200中作为运动图像文件(步骤S911)。另一方面，在步骤S910确定流缓冲器中还没有存储预定数量或更多的数据的情况下，流程返回到步骤S903。注意，步骤S909到S911是发明内容中描述的记录控制处理的示例。
接下来，关于是否已经执行运动图像记录结束操作进行确定(步骤S912)。例如，在运动图像记录正在立体图像成像模式下执行的状态下，确定是否已经执行用于按压记录按钮的按压操作(再次按压记录按钮的操作)。在步骤S912中确定还没有执行运动图像记录结束操作的情况下，流程返回到步骤S903。
另一方面，在步骤S912中确定已经执行运动图像记录结束操作的情况下，执行运动图像管理文件记录处理(步骤S913)。例如，记录控制单元160将立体图像标识信息和深度图存在/不存在信息记录在索引文件、电影播放列表文件和剪辑信息文件中。记录控制单元160然后使得存储单元200记录其中已经记录立体图像标识信息和深度图存在/不存在信息的每个文件。在运动图像管理文件记录处理结束时，运动图像记录处理操作结束。
立体图像显示的示例
接下来，将参照附图详细描述播放在立体主图像和立体差图像相关的情况下记录的运动图像文件的示例。
播放设备的示例
图22是图示根据本发明第一实施例的播放设备800的功能配置示例的框图。播放设备800包括存储单元801、操作接受单元802、播放处理单元803、图像解码器804、深度信息解码器805、图像恢复单元806、立体图像生成单元807和显示单元808。播放设备800可通过例如个人计算机的播放设备等实现，其能够播放由数字摄像机等记录的运动图像文件。
存储单元801是用于存储如运动图像文件、运动图像管理文件等的信息的存储单元，并且将其中存储的信息提供给播放处理单元803。注意，播放设备800对应于图1所示的存储单元200。
操作接受单元802是用于接受来自用户的操作输入的操作接受单元，并且将根据已经接受的操作输入的操作内容输出到播放处理单元803。例如，在已经接受用于设置其中播放运动图像以显示立体图像的立体图像播放模式的设置操作的情况下，为此目的进行输出到播放处理单元803。此外，在已经设置立体图像播放模式的状态下接受按压播放开始按钮的按压操作的情况下，为此目的进行输出到播放处理单元803。
在播放存储单元801中存储的运动图像文件的情况下，播放处理单元803执行关于播放的处理。例如，在已经设置立体图像播放模式的状态下接受按压播放开始按钮的按压操作的情况下，播放处理单元803从存储单元801获得关于按压操作的运动图像文件和关于此的运动图像管理文件。播放处理单元803基于获得的运动图像文件中包括的立体图像标识信息和深度图存在/不存在信息，确定播放的运动图像文件是否可显示立体图像。在获得的运动图像文件可显示立体图像的情况下，播放处理单元803输出用于生成恢复图像的指令到图像恢复单元806。播放处理单元803还将对应于获得的运动图像文件的AV流存储到流缓冲器中，并将对应于立体主图像和立体差图像的视频流顺序提供到图像解码器804。此外，播放处理单元803将对应于深度图的数据流顺序提供到深度信息解码器805。
图像解码器804用于解码从播放处理单元803输出的立体主图像和立体差图像(即，视频流)，并将解码的立体主图像和立体差图像输出到图像恢复单元806。
深度信息解码器805用于解码从播放处理单元803输出的深度图(数据流)，并将解码的深度图输出到图像恢复单元806和立体图像生成单元807。
图像恢复单元806在立体差图像的差图像处理之前的状态下，使用从图像解码器804输出的立体主图像和立体差图像以生成恢复的图像。图像恢复单元806然后取生成的恢复图像作为右眼观看图像、立体主图像作为左眼图像，并将其输出到立体图像生成单元807。注意，可进行这样的安排，其中使用从深度信息解码器805输出的深度图执行恢复。将参照图23详细描述恢复图像的生成。
立体图像生成单元807基于从图像恢复单元806输出的左眼观看图像和右眼观看图像、以及从深度信息解码器805输出的每个图像的深度图，生成立体图像。例如，在使用能够用视差屏障方法显示立体图像的液晶显示器显示立体图像的情况下，生成立体图像，其中交替安排左眼观看图像和右眼观看图像的像素。利用该液晶显示器，例如布置具有槽形开口的视差屏障。此外，在使用能够使用多视图图像(例如，8视图图像)执行自动立体显示的自动立体显示器显示立体图像的情况下，基于左眼观看图像和右眼观看图像、以及关于每个图像的深度图，生成用于左边和右边的具有八个视差的立体图像。立体图像生成单元807然后将生成的立体图像输出到显示单元808用于显示。
显示单元808顺序显示由立体图像生成单元807生成的立体图像。显示单元808的示例是上述能够显示立体图像的液晶显示器等。
生成恢复图像的示例
图23A到23C是示意性图示恢复图像生成方法的流程的图，其中来自立体差图像的恢复图像由根据本发明第一实施例的图像恢复单元806使用立体主图像和立体差图像生成。图23A图示以相关方式在存储单元801中存储的运动图像文件中记录的立体主图像380和立体差图像370。注意，图23a所示的立体主图像380和立体差图像370与图9C所示相同。
图23B图示使用立体主图像380和立体差图像370生成的恢复图像810。例如，以相关方式记录在运动图像文件中的立体主图像380和立体差图像370由图像解码器804解码。图像恢复单元806然后使用解码的立体主图像380和立体差图像370，生成恢复图像810。具体地，图像恢复单元806提取立体差图像370中要记录的区域371到373中的图像，并执行提取的图像到立体主图像380上的重写合成。也就是说，恢复图像810是使用立体主图像380的背景区域作为立体差图像370的背景区域(除了要记录的区域371到373的区域外)生成的图像。注意，在图23B中，恢复图像810中要记录的区域371到373用粗线指示其轮廓。接下来，如图23C所示，立体主图像380取作左眼观看图像821，生成的恢复图像810取作右眼观看图像822，并且立体图像生成单元807生成立体图像，并将生成的立体图像显示在显示单元808上作为运动图像。
因此，在生成恢复图像的情况下，立体差图像中包括的近距离被摄体及其周围区域中的图像、以及立体主图像的背景图像用于执行恢复。因此，自然并且视觉上吸引人的立体图像可以显示用于立体图像中的近距离被摄体附近的背景显示。
播放设备的操作示例
图24是图示通过根据本发明第一实施例的播放设备800的运动图像播放处理的处理过程。在该示例中，将关于运动图像播处理进行描述，其中以相关方式存储立体主图像和立体差图像的运动图像文件播放为立体图像。
首先，关于是否已经设置用于播放显示立体图像的运动图像的立体图像显示模式进行确定(步骤S921)。在步骤S921确定还没有设置立体图像播放模式的情况下，用于运动图像播放处理的操作结束。
另一方面，在步骤S921确定已经设置立体图像播放模式的情况下，关于是否已经执行运动图像播放开始操作进行确定(步骤S922)。例如，关于在设置了立体图像播放模式的状态下是否已经接受按压播放开始按钮的按压操作进行确定。在步骤S922确定还没有执行运动图像播放开始操作的情况下，继续监视，直到接受开始操作。
在步骤S922确定已经执行运动图像播放开始操作的情况下，播放处理单元803获得关于已经对其进行开始操作的运动图像文件的运动图像管理文件(步骤S923)。
接下来，关于该运动图像文件是否是可利用其播放立体图像的运动图像文件进行确定(步骤S924)。例如，关于是否对立体图像标识信息和深度图存在/不存在信息记录“1”进行确定。在步骤S924确定运动图像文件不是可利用其播放立体图像的运动图像文件的情况下，运动图像播放处理的操作结束。另一方面，在步骤S924确定运动图像文件是可利用其播放立体图像的运动图像文件的情况下，播放处理单元803获得关于其已经进行开始操作的运动图像文件的记录数据单元，并存储在流缓冲器中(步骤S925)。
接下来，图像解码器804解码对应于流缓冲器中存储的记录数据单元中包括的立体主图像和立体差图像的数据(步骤S926)。
随后，深度信息解码器805解码对应于流缓冲器中存储的记录数据中包括的深度图的数据(步骤S927)。
接下来，图像恢复单元806使用解码的立体主图像和立体差图像生成恢复图像(步骤S928)。
随后，立体图像生成单元807取立体主图像作为左眼观看图像，并且生成的恢复图像作为右眼观看图像，并生成立体图像(步骤S929)。
该生成的立体图像显示在显示单元808上，作为运动图像(步骤S930)。
接下来，关于是否已经执行运动图像播放结束操作进行确定(步骤S931)。例如，在立体图像播放模式下正执行运动图像播放的状态下，关于是否已经执行用于按压播放停止按钮的按压操作进行确定。
在步骤S931中确定还没有执行运动图像播放结束操作的情况下，关于是否已经对流缓冲器中存储的所有记录数据单元结束读取处理进行确定(步骤S932)。
在步骤S932中确定对于流缓冲器中存储的所有记录数据单元已经结束读取处理的情况下，流程返回到步骤S925。另一方面，在步骤S932确定还没有对流缓冲器中存储的所有记录数据单元结束读取处理的情况下，流程返回到步骤S926。
在步骤S931确定已经执行运动图像播放结束操作的情况下，运动图像播放处理操作结束。
因此，在使用立体主图像和立体差图像生成恢复图像以显示立体图像的情况下，可使用AVCHD格式。利用AVCHD格式，假设在拍摄之后执行到蓝光盘的HD视频流内容的内容复制创作，执行复制创作时对流内容的访问控制管理相对容易。此外，可进行这样的安排，其中当使用作为HD视频格式的MP4拍摄时，使用一个平面屏幕深度图显示立体图像。此外，这些显示方法之间可通过用户操作切换。例如，关于用于显示设备的MPEG-C部分3的深度的表示(DepthMap定义转换表示)可用作使用深度图的立体图像的显示方法。
2.第二实施例
上面已经描述了其中记录用于显示立体图像的运动图像和播放记录的运动图像的示例。在第二实施例的情况下，将描述这样的示例，其中在显示监视图像同时记录用于显示立体图像的运动图像的情况下，立体图像显示为监视图像。注意，监视图像是通过在运动图像记录待机状态下的成像操作生成的图像，其中实时显示成像图像。
成像装置的配置示例
图25是图示根据本发明第二实施例的成像装置800的功能配置示例的框图。这里，成像装置830是图1所示的成像装置100的修改，因此将省略与成像装置100的那些相同的部分的描述，并且将主要关于与成像装置100不同的部分进行描述。成像装置830具有图像处理单元831、显示控制单元832和显示单元33。
成像单元110是能够处理立体成像的成像单元，与图1中的安排相同，并且对被摄体成像以生成两个成像图像(图像数据)，其中两个成像图像输出到深度信息生成单元120和图像处理单元831。例如，在仅显示监视图像的成像操作状态的情况下，成像单元110生成左眼观看图像和右眼观看图像的一个或另一个，并将生成的那个成像图像输出到深度信息生成单元120和图像处理单元831。也就是说，在仅显示监视图像的成像操作状态的情况下，执行单视图成像操作。在仅显示图像成像图像的情况下，深度信息生成单元120生成一个成像图像的深度图。
在仅显示监视图像的成像操作状态的情况下，基于从深度信息生成单元120输出的深度图，对从成像单元110输出的成像图像生成两个图像以用于显示立体图像。图像处理单元831然后将两个生成的图像输出到显示控制单元832。注意，其他图像处理与图1所示的示例相同，因此这里将省略其描述。将参照图26到27C详细描述用于生成用于显示立体图像的两个图像的方法。
显示控制单元832基于从图像处理单元831输出的两个图像，实时在显示单元833上显示立体图像。显示单元833基于图像处理单元831的控制，将由成像单元110生成的成像图像实时显示为立体图像。注意，如能够通过上述视差屏障方法等显示立体图像的液晶面板的立体图像显示设备可用作显示单元833。例如，在成像装置830相对小的情况下，可根据其大小，使用相对小的液晶面板等的立体图像显示设备。
生成立体图像的示例
图26是图示关于由根据本发明第二实施例的图像处理单元831生成的立体图像的被摄体的深度值、以及用于标识被摄体移动到的区域的像素值之间的关系的图。在图26所示的曲线图中，垂直轴表示关于成像图像中包括的被摄体计算的深度值，并且水平轴用像素表示用于标识被摄体应当移动到的区域的长度。注意，图26所示的曲线图对应于图7所示的曲线图，并且除了水平轴上相对的像素值的量外，与图7所示的曲线图相同。
图27A到图27C是示意性图示根据本发明第二实施例的图像处理单元831从成像图像311生成右眼观看图像的情况下的立体图像生成方法的图。注意，成像图像311与图2C所示的成像图像(左眼)311相同，因此已经用相同参考标号指示。
图27B示意性图示根据图26所示的曲线图、已经移动人301和海报302和303的区域的情况。注意，在图27B中，移动之后的区域841到843通过其中的阴影指示，并且包括移动前后的被摄体的区域844到846通过具有粗线的轮廓指示。移动量也通过箭头指示。
现在，将描述用于关于近距离被摄体的运动的计算的具体方法、和用于计算通过近距离运动生成的间隙区域的方法。首先，将描述用于关于近距离被摄体的运动的计算的方法。图像处理单元831使用下面的表达式2，计算对应于近距离被摄体已经移动到要处理的成像图像中之后的每条线上的区域的部分。现在，认为用于近距离被摄体(例如，人301)的成像图像311中的一条水平线中的部分是部分010(表示为[011，012])。成像图像311中的水平线的原点是左边缘。此外，部分010是其中超过0的深度值继续的近间隔。在此情况下，使用下面的表达式2检测在要处理的成像图像上的一条水平线上的、作为对应于运动后的近距离被摄体的区域的部分R10。现在，部分010中的近距离被摄体的深度值将称为D10。注意，在部分010中深度值D10不一致的情况下，使用部分010中出现最多次数的深度值计算部分R10。此外，可进行这样的安排，其中计算部分010中的每个深度值的平均值，并使用平均值计算部分R10。
R10＝[O11-k10·D10，O12-k10·D10]  ...(2)
其中，k10是服从图16所示的曲线图标识的、用于标识感兴趣的被摄体在水平方向上的运动量的常数，用作视差的转换偏置系数k10(0≤k10＜1)。
接下来，将描述计算关于由于近距离被摄体运动而出现间隙的背景区域的方法。图像处理单元831根据下面的表达式，计算要处理的成像图像中的每条线上的、对应于由于近距离被摄体运动而出现的间隙区域的部分。例如，使用下面的表达式3，计算对应于由于近距离被摄体运动而在要处理的成像图像中的一条水平线上的间隙区域的部分R20。注意，部分010、深度值D10和转换偏置系数k10与上述相同。
R20＝[012-K10·D10，012]  ...(3)
在图27B所示的示例中，用表达式2获得的近距离被摄体运动之后的区域是区域841到843。使用表达式3获得的背景区域是区域844到846中的白色区域(即，区域841到843之外的区域)。如图27B所示，图像处理单元831从成像图像311提取近距离被摄体，并移动根据表达式2提取的近距离被摄体。因此，通过从成像图像311提取近距离被摄体并移动他们，运动后的近距离被摄体的右侧的区域是没有图像信息的区域(间隙区域)。图像处理单元831然后对于由于近距离被摄体运动而出现的间隙区域执行插值处理。例如，可使用时间轴上预定范围内的帧中包括的附近(间隙附近)图像，对间隙区域执行插值处理。注意，在时间轴上的预定范围内没有包括附近的适当图像的情况下，可执行要插值的成像图像的屏幕内的空间插值。
图27C图示从成像图像311生成的左眼观看图像311和右眼观看图像850。注意，左眼观看图像311与成像图像311相同，因此用相同参考标号表示。右眼观看图像850是通过根据表达式2由近距离图像运动、并且关于服从表达式3计算的间隙区域执行插值处理而获得的图像。在右眼观看图像850中，区域851到853对应于图27B中的区域841到843，并且区域854到856对应于图27B中的区域844到846。注意，在图27C中，区域854到856的轮廓通过虚线指示。
因此，从一个成像图像311生成左眼观看图像311和右眼观看图像850，并且可使用生成的左眼观看图像311和右眼观看图像850显示立体图像。因此，在当记录运动图像时显示监视图像的情况下，或在运动图像记录待机状态的情况下，可使用由单个视图生成的成像图像，将立体图像显示为监视图像。注意，构成以此方式显示的立体图像的右眼观看图像通过正经历插值处理的背景图像的一部分生成，因此，背景图像可能不同于实际图像。然而，监视图像是要实时显示在提供到成像装置830的显示面板上的图像，并且例如是用于用户确认运动图像记录的图像。因此，已经进行这样的安排，假设即使显示相对简单的立体图像也对用户影响很小。
因此，通过生成构成立体图像的右眼观看图像，可使用单个视图成像单元，容易地显示立体图像。此外，可通过图像处理生成立体图像，使得可用如具有单视图成像单元的小数字相机或蜂窝电话等生成立体图像。此外，可进行这样的安排，其中如第一实施例所述，构成用这样的电子设备生成的立体图像的左眼观看图像和右眼观看图像顺序记录为运动图像，并且在播放模式下播放为立体图像。例如，在构成立体图像的右眼观看图像的情况下，可顺序记录近距离被摄体区域和单独的间隙区域，其中恢复图像在播放模式下生成，以使用恢复图像和左眼观看图像播放立体图像。此外，可进行这样的安排，其中这些记录的运动图像用其他显示设备也显示为立体图像。
3.第三实施例
上面已经描述了用于显示立体图像的记录处理和播放处理的示例。现在，可能存在这样的情况，其中在存储用于显示立体图像的多个运动图像文件的情况下，用户将想要显示运动图像文件的列表，并选择期望的运动图像文件。在此情况下，可能存在这样的情况，其中用于显示立体图像的运动图像文件和用于显示平面图像的运动图像文件存储在一起。在多种运动图像文件存储在一起的情况下，这样的安排将使得用户容易地理解作为列表显示的运动图像文件，该安排允许用户观看其中不同地示出不同种类运动图像文件的列表。因此，在第三实施例的情况下，将描述显示用于显示立体图像的运动图像文件的立体图像的缩略图像的示例。
成像装置的配置示例
图28是图示根据本发明第三实施例的成像装置860的功能配置示例的框图。成像装置860是图1所示的成像装置100的修改，因此与成像装置100中的那些相同的部分的描述将省略，并且将主要关于与成像装置100不同的部分给出描述。成像装置830具有记录控制单元861、显示控制单元862和显示单元863。
图像处理单元130将从成像单元110输出的两个成像图像(左眼观看图像和右眼观看图像)中的对应于代表帧的两个成像图像输出到记录控制单元861。代表帧可以是顶部帧。
记录控制单元861将对应于代表帧的、从图像处理单元130输出的两个成像图像(左眼观看图像和右眼观看图像)记录在存储单元200中，以便包括在运动图像管理文件中，作为用于显示立体图像的缩略图像。将参照图29详细描述这些的记录方法。
显示控制单元862根据来自操作接受单元170的操作输入，在显示单元863上显示用于选择存储单元200中存储的运动图像文件的内容选择屏幕。存储单元200中存储的运动图像管理文件中包括的缩略图像的列表显示在该内容选择屏幕中。此外，对应于用于显示立体图像的运动图像文件的缩略图像显示为立体图像。内容选择屏幕的显示示例在图30中示出。
显示单元863在显示控制单元862的控制下显示内容选择屏幕。注意，能够通过上述视差屏障方法等显示立体图像的如液晶面板的立体图像显示设备可用作显示单元863。例如，在成像装置860相对小的情况下，可根据其大小，使用相对小液晶面板等的立体图像显示设备。
记录缩略图像的示例
图29A到29C是示意性图示根据本发明第三实施例的记录控制单元861的记录处理的图。图29A以时间序列示意性图示构成一个运动图像文件的记录数据单元421到424。注意，记录数据单元421到424与图11A中示出的那些相同，因此用相同参考标号表示。
图29B图示存储单元200中存储的运动图像管理文件中记录的缩略图像。缩略图像由左眼观看图像871和右眼观看图像872构成。左眼观看图像871和右眼观看图像872是对应于构成运动图像文件的帧的代表帧的播放显示时间点(也称为“呈现时间戳”或“PTS”)的左眼观看图像和右眼观看图像。例如，图29B中示出的缩略图像对应于图29B中示出的两个图像(成像图像(左眼)311和成像图像(右眼)312)。图29B所示的缩略图像例如可以是构成运动图像文件的帧的顶部帧的左眼观看图像和右眼观看图像。
图29C示意性图示在运动图像文件中已经记录缩略图像的情况。例如，缩略图像881和882记录在图13所示的文件“AVIN0001.INT”543。缩略图像881和882对应于图29B所示的左眼观看图像871和右眼观看图像872。
显示缩略图像的示例
图30A到30C是示意性图示通过根据本发明第三实施例的显示控制单元862的缩略图的显示处理的图。图30A示意性图示缩略图像记录在运动图像管理文件中的情况。注意，图30A所示的运动图像管理文件和缩略图像与图29C所示的那些相同，因此用相同参考标号表示。
图30B图示在选择存储单元200中存储的运动图像文件的情况下显示的内容选择屏幕890。该内容选择屏幕890是用于显示表示运动图像文件的缩略图像的列表的屏幕，并通过选择该屏幕中包括的缩略图像，可以播放对应于选择的缩略图像的运动图像文件。图30B图示用于显示立体图像的运动图像文件和用于显示存储单元200中存储的平面图像的运动图像文件的示例，其中表示每个运动图像文件的缩略图像显示在相同屏幕中。在图30B所示的内容选择屏幕890中，用于显示立体图像的运动图像文件的缩略图像显示为立体图像，并且用于显示平面图像的运动图像文件的缩略图像显示为平面图像。注意，在图30B中，表示显示为立体图像(立体图像#1到#8)的缩略图像的矩形用粗边界指示，并且表示显示为平面图像(平面图形#1到#14)的缩略图像的矩形通过细边界指示。
图30C图示内容选择屏幕890中显示的缩略图像的显示示例。缩略图像(立体图像)891是表示用于显示立体图像的运动图像文件的缩略图像，并且如图30A所示，通过一组缩略图像显示为立体图像。注意，在图30C中，缩略图像(立体图像)891以简化方式图示。现在，在对应于内容选择屏幕890中显示的缩略图像的运动图像文件是用于显示立体图像的运动图像文件的情况下，指示其的符号重叠在内容选择屏幕890中的显示的缩略图像上。例如，立体图标892重叠在缩略图像891上并显示。
此外，缩略图像(平面图像)893是表示用于显示平面图像的运动图像文件的缩略图像，并且显示为平面图像。注意，在图30C中，缩略图像(平面图像)893以简化方式图示，其具有与缩略图像(立体图像)891大致相同的布局。
因此，在内容选择屏幕中显示能够显示立体图像的运动图像文件的情况下，缩略图像可显示为立体图像，并且立体图标可重叠在缩略图像上。因此，在选择期望的运动图像文件时，用户可容易理解能够显示立体图像的运动图像文件。此外，显示对应于运动图像文件的代表帧的缩略图像允许用户容易预先理解当播放时的运动图像的3D属性。
因此，根据本发明实施例，其中立体主图像和立体差图像相关的数据流记录为运动图像文件，所以可以减少用于存储显示立体图像的运动图像文件的存储容量。此外，在播放时，基于立体主图像和立体差图像生成立体图像，并且这些可以播放为运动图像。此外，深度图与立体主图像和立体差图像一起包括在数据流中，并记录为运动图像文件，从而在播放时可使用深度图生成立体图像。此外，立体图像标识信息和深度图存在/不存在信息包括在运动图像管理文件或数据流中并被记录，从而可使用该信息显示立体图像。
注意，本发明实施例可应用到如具有成像功能的蜂窝电话、具有成像功能的个人计算机等的图像处理设备。此外，利用其中通过接口将成像装置和图像处理设备连接的成像处理系统，本发明实施例可应用到通过图像处理设备将通过成像装置生成的运动图像记录到记录设备的情况。
应当注意，本发明实施例仅是执行本发明的示例，并且在实施例中描述的物质和权利要求中的具体物质之间存在关联。同样，在权利要求中的具体物质和具有同样名称的实施例中的物质之间也存在关联。然而，本发明不限于实施例，并且可进行各种修改，而不背离本发明的精神和范围。
此外，实施例中描述的处理过程可理解为具有一系列过程的方法，或可理解为用于使得计算机执行该系列过程的程序和/或存储该程序的记录介质。可处理用于文件记录的随机访问的记录介质例如可用作记录介质，其示例包括CD(致密盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡、根据各种媒体格式的蓝光盘、SSD(固态驱动器)等。
本申请包含涉及于2009年7月9日向日本专利局提交的日本优先权专利申请JP 2009-162341中公开的主题，在此通过引用并入其全部内容。
本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。

Claims (18)

1.一种图像处理装置，包括：
成像单元，配置为通过对被摄体成像而生成成像图像；
深度信息生成单元，配置为生成关于所述成像图像的深度信息；
图像处理单元，配置为：
基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及
基于所述提取的图像，生成用于显示立体图像的差图像，在所述立体图像中，立体地观看所述成像图像中包括的所述被摄体；以及
记录控制单元，配置为
生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及
将所述数据流记录为运动图像文件。
2.如权利要求1所述的图像处理装置，其中所述图像处理单元
基于所述深度信息，确定距所述成像图像的成像位置的预定范围内存在的被摄体为所述特定被摄体；
基于关于所述特定被摄体的所述深度信息，确定所述特定被摄体的所述成像图像的水平方向上的所述周围区域；以及
从所述成像图像提取所述对象区域的图像。
3.如权利要求1所述的图像处理装置，其中所述成像单元生成用于显示所述立体图像的第一成像图像和第二成像图像；
并且其中所述深度信息生成单元生成关于所述第二成像图像的深度信息；
并且其中所述图像处理单元
基于关于所述第二成像图像的所述深度信息，从所述第二图像提取包括所述第二成像图像中包括的被摄体中的特定被摄体、以及所述被摄体的周围区域的对象区域；以及
基于所述提取的图像，生成所述差图像；
并且其中，所述记录控制单元通过将对应于所述第一成像图像的数据和对应于所述差图像的数据相关，生成所述数据流。
4.如权利要求1所述的图像处理装置，其中所述记录控制单元生成所述数据流，其包括指示要包括对应于所述差图像的数据的立体图像标识信息。
5.如权利要求4所述的图像处理装置，其中所述记录控制单元根据AVCHD标准，在根据AVCHD标准的修改数字视频封装中生成包括所述立体图像标识信息的所述数据流。
6.如权利要求1所述的图像处理装置，其中所述记录控制单元记录管理所述运动图像文件的运动图像管理文件，包括指示对应于所述差图像的数据包括在所述运动图像文件中的立体图像标识信息。
7.如权利要求6所述的图像处理装置，其中所述记录控制单元根据AVCHD标准，将包括所述立体图像标识信息的运动图像管理文件记录在以下至少之一中：
索引文件，
剪辑信息文件，以及
电影播放列表文件。
8.如权利要求1所述的图像处理装置，其中所述记录控制单元生成将对应于所述成像图像的数据和对应于所述差图像的数据以及对应于所述深度信息的数据相关的所述数据流。
9.如权利要求8所述的图像处理装置，其中所述记录控制单元生成包括深度图存在/不存在信息的所述数据流，所述深度图存在/不存在信息指示要包括对应于所述深度信息的数据。
10.如权利要求9所述的图像处理装置，其中所述记录控制单元根据AVCHD标准，在根据AVCHD标准的修改数字视频封装中生成包括所述深度图存在/不存在信息的所述数据流。
11.如权利要求8所述的图像处理装置，其中所述记录控制单元记录管理所述运动图像文件的运动图像管理文件，包括指示所述运动图像文件包括对应于所述深度信息的数据的深度图存在/不存在信息。
12.如权利要求11所述的图像处理装置，其中所述记录控制单元根据AVCHD标准，将包括所述深度图存在/不存在信息的运动图像管理文件记录在以下至少之一中：
索引文件，
剪辑信息文件，以及
电影播放列表文件。
13.如权利要求8所述的图像处理装置，其中所述记录控制单元
在根据AVCHD标准的电影播放列表文件中的扩展数据区域中，定义用于所述深度信息的播放项目的登记区域；以及
将所述深度信息的所述播放项目记录在所述登记区域中。
14.如权利要求1所述的图像处理装置，还包括：
图像恢复单元，配置为基于所述运动图像文件中包括的所述成像图像和所述差图像，恢复构成所述立体图像的第一图像；以及
立体图像生成单元，配置为基于所述恢复的第一图像和所述成像图像，生成所述立体图像。
15.如权利要求1所述的图像处理装置，其中所述成像单元生成用于显示所述立体图像的第一成像图像和第二成像图像，作为所述成像图像；
并且其中，所述记录控制单元将对应于所述第一成像图像的第一缩略图像和对应于所述第二成像图像的第二缩略图像相关，用于显示代表所述运动图像文件的代表图像作为立体图像，并且记录在管理所述运动图像文件的运动图像管理文件中。
16.如权利要求15所述的图像处理装置，还包括：
显示控制单元，配置为基于所述运动图像管理文件中记录的所述第一缩略图像和所述第二缩略图像，执行代表所述运动图像文件的代表图像的列表显示。
17.一种图像处理方法，包括以下步骤：
第一生成步骤，通过对被摄体成像而生成成像图像；
第二生成步骤，生成关于所述成像图像的深度信息；
基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及
第三生成步骤，基于所述提取的图像，生成用于显示立体图像的差图像，在所述立体图像中立体地观看所述成像图像中包括的所述被摄体；以及
第四生成步骤，生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及
将所述数据流记录为运动图像文件。
18.一种用于使得计算机执行以下步骤的程序：
第一生成步骤，通过对被摄体成像而生成成像图像；
第二生成步骤，生成关于所述成像图像的深度信息；
基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及
第三生成步骤，基于所述提取的图像，生成用于显示立体图像的差图像，在所述立体图像中立体地观看所述成像图像中包括的所述被摄体；以及
第四生成步骤，生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及
将所述数据流记录为运动图像文件。
CN2010102219693A 2009-07-09 2010-07-02 图像处理设备、图像处理方法和程序 Expired - Fee Related CN101951525B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP162341/09 2009-07-09
JP2009162341A JP5293463B2 (ja) 2009-07-09 2009-07-09 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN101951525A true CN101951525A (zh) 2011-01-19
CN101951525B CN101951525B (zh) 2013-12-11

Family

ID=43427152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102219693A Expired - Fee Related CN101951525B (zh) 2009-07-09 2010-07-02 图像处理设备、图像处理方法和程序

Country Status (3)

Country Link
US (1) US8599243B2 (zh)
JP (1) JP5293463B2 (zh)
CN (1) CN101951525B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708570A (zh) * 2012-05-17 2012-10-03 北京数码视讯科技股份有限公司 获取深度图的方法及装置
CN102737368A (zh) * 2011-03-29 2012-10-17 索尼公司 图像处理设备、方法和程序
CN102984530A (zh) * 2011-09-02 2013-03-20 宏达国际电子股份有限公司 图像处理系统及自动对焦方法
CN103795934A (zh) * 2014-03-03 2014-05-14 联想(北京)有限公司 一种图像处理方法及电子设备
CN103870835A (zh) * 2012-12-10 2014-06-18 现代自动车株式会社 用于目标图像检测的系统和方法
CN104133339A (zh) * 2013-05-02 2014-11-05 聚晶半导体股份有限公司 自动对焦方法及自动对焦装置
CN104735312A (zh) * 2013-12-16 2015-06-24 罗伯特·博世有限公司 具有深度信息确定的监视摄像机设备
CN107197226A (zh) * 2011-03-18 2017-09-22 索尼公司 图像处理设备、图像处理方法和计算机可读存储介质

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010093351A1 (en) * 2009-02-13 2010-08-19 Thomson Licensing Depth map coding to reduce rendered distortion
WO2010151279A1 (en) 2009-06-25 2010-12-29 Thomson Licensing Depth map coding
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
WO2012037713A1 (en) * 2010-09-20 2012-03-29 Mediatek Singapore Pte. Ltd. Method for performing display management regarding three-dimensional video stream, and associated video display system
US9305398B2 (en) * 2010-10-08 2016-04-05 City University Of Hong Kong Methods for creating and displaying two and three dimensional images on a digital canvas
JP5655862B2 (ja) * 2010-12-17 2015-01-21 富士通株式会社 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
JP2012151663A (ja) * 2011-01-19 2012-08-09 Toshiba Corp 立体音響生成装置及び立体音響生成方法
JP2012205148A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 電子機器
WO2012132123A1 (ja) 2011-03-31 2012-10-04 富士フイルム株式会社 立体撮像装置および立体撮像方法
US10015471B2 (en) * 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
US20130050414A1 (en) * 2011-08-24 2013-02-28 Ati Technologies Ulc Method and system for navigating and selecting objects within a three-dimensional video image
JP2013046324A (ja) * 2011-08-26 2013-03-04 Hitachi Consumer Electronics Co Ltd 記録装置／方法／媒体、再生装置／方法
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9521395B2 (en) 2011-10-04 2016-12-13 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
JP2013118468A (ja) 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
JP5889719B2 (ja) * 2012-05-31 2016-03-22 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
KR101888956B1 (ko) * 2012-05-31 2018-08-17 엘지이노텍 주식회사 카메라 모듈 및 그의 오토 포커싱 방법
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
TWI558165B (zh) * 2012-09-25 2016-11-11 宏碁股份有限公司 電腦系統及立體影像產生方法
US9654762B2 (en) * 2012-10-01 2017-05-16 Samsung Electronics Co., Ltd. Apparatus and method for stereoscopic video with motion sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
KR101370785B1 (ko) * 2012-11-06 2014-03-06 한국과학기술원 입체 영상의 깊이 맵 생성 방법 및 장치
TWI460523B (zh) * 2013-05-02 2014-11-11 Altek Semiconductor Corp 自動對焦方法及自動對焦裝置
JP6410483B2 (ja) * 2013-08-09 2018-10-24 キヤノン株式会社 画像処理装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9591295B2 (en) * 2013-09-24 2017-03-07 Amazon Technologies, Inc. Approaches for simulating three-dimensional views
JP6405531B2 (ja) * 2013-11-19 2018-10-17 パナソニックＩｐマネジメント株式会社 撮像装置
TWI494680B (zh) * 2014-01-28 2015-08-01 Altek Semiconductor Corp 影像擷取裝置及其影像形變校正方法
TWI511081B (zh) * 2014-01-28 2015-12-01 Altek Semiconductor Corp 影像擷取裝置及其影像形變校正方法
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9369727B2 (en) * 2014-07-10 2016-06-14 Intel Corporation Storage of depth information in a digital image file
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US9906715B2 (en) 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
GB2558277A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Image data encoding and decoding
US11042155B2 (en) 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
US11573573B2 (en) 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
KR102546990B1 (ko) * 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
TWI819925B (zh) * 2022-12-19 2023-10-21 緯創資通股份有限公司 物件偵測裝置和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
CN1212812A (zh) * 1996-02-28 1999-03-31 松下电器产业株式会社 高析像度和立体图像记录用的光盘与光盘重放装置及光盘记录装置
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
US20040095999A1 (en) * 2001-01-24 2004-05-20 Erick Piehl Method for compressing video information
US20040125447A1 (en) * 2002-09-06 2004-07-01 Sony Corporation Image processing apparatus and method, recording medium, and program
US20070273761A1 (en) * 2005-08-22 2007-11-29 Go Maruyama Image display system, an image display method, a coding method, and a printed matter for stereoscopic viewing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414379B2 (ja) * 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
JP2009049726A (ja) * 2007-08-21 2009-03-05 Sony Corp 情報変換装置、情報変換方法およびプログラム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP5407498B2 (ja) * 2009-04-08 2014-02-05 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1212812A (zh) * 1996-02-28 1999-03-31 松下电器产业株式会社 高析像度和立体图像记录用的光盘与光盘重放装置及光盘记录装置
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
US20040095999A1 (en) * 2001-01-24 2004-05-20 Erick Piehl Method for compressing video information
US20040125447A1 (en) * 2002-09-06 2004-07-01 Sony Corporation Image processing apparatus and method, recording medium, and program
US20070273761A1 (en) * 2005-08-22 2007-11-29 Go Maruyama Image display system, an image display method, a coding method, and a printed matter for stereoscopic viewing

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197226A (zh) * 2011-03-18 2017-09-22 索尼公司 图像处理设备、图像处理方法和计算机可读存储介质
US10389997B2 (en) 2011-03-18 2019-08-20 Sony Corporation Image processing apparatus and image processing method
CN107197226B (zh) * 2011-03-18 2019-05-28 索尼公司 图像处理设备、图像处理方法和计算机可读存储介质
US10218958B2 (en) 2011-03-18 2019-02-26 Sony Corporation Image processing apparatus and image processing method
CN102737368A (zh) * 2011-03-29 2012-10-17 索尼公司 图像处理设备、方法和程序
CN102737368B (zh) * 2011-03-29 2017-03-01 索尼公司 图像处理设备和方法
CN102984530A (zh) * 2011-09-02 2013-03-20 宏达国际电子股份有限公司 图像处理系统及自动对焦方法
CN102984530B (zh) * 2011-09-02 2015-12-16 宏达国际电子股份有限公司 图像处理系统及自动对焦方法
CN102708570A (zh) * 2012-05-17 2012-10-03 北京数码视讯科技股份有限公司 获取深度图的方法及装置
CN102708570B (zh) * 2012-05-17 2015-06-17 北京数码视讯科技股份有限公司 获取深度图的方法及装置
CN103870835A (zh) * 2012-12-10 2014-06-18 现代自动车株式会社 用于目标图像检测的系统和方法
CN104133339B (zh) * 2013-05-02 2017-09-01 聚晶半导体股份有限公司 自动对焦方法及自动对焦装置
CN104133339A (zh) * 2013-05-02 2014-11-05 聚晶半导体股份有限公司 自动对焦方法及自动对焦装置
CN104735312A (zh) * 2013-12-16 2015-06-24 罗伯特·博世有限公司 具有深度信息确定的监视摄像机设备
CN103795934B (zh) * 2014-03-03 2018-06-01 联想(北京)有限公司 一种图像处理方法及电子设备
CN103795934A (zh) * 2014-03-03 2014-05-14 联想(北京)有限公司 一种图像处理方法及电子设备

Also Published As

Publication number Publication date
JP2011019084A (ja) 2011-01-27
CN101951525B (zh) 2013-12-11
US20110007135A1 (en) 2011-01-13
US8599243B2 (en) 2013-12-03
JP5293463B2 (ja) 2013-09-18

Similar Documents

Publication Publication Date Title
CN101951525B (zh) 图像处理设备、图像处理方法和程序
CN101951527B (zh) 信息处理设备和信息处理方法
JP4168837B2 (ja) 情報生成装置、記録装置、再生装置、記録再生システムおよびその方法ならびにプログラム
CN101917579B (zh) 显示控制设备和显示控制方法
CN102160389B (zh) 再现装置、集成电路、记录介质
CN102292992B (zh) 信息处理设备、信息处理方法、回放设备、回放方法及记录介质
CN101945212B (zh) 图像捕获设备、图像处理方法
CN103179420B (zh) 记录设备、记录方法、回放设备、回放方法、程序和记录介质
CN101682719A (zh) 记录有3d影像的记录介质、记录3d影像的记录装置以及再现3d影像的再现装置和再现方法
CN102047674A (zh) 记录设备、记录方法、重放设备、重放方法、程序和记录介质
JP4506832B2 (ja) 画像処理装置、インデックス生成装置、撮像装置、インデックス生成方法およびプログラム
CN102282858A (zh) 回放设备、回放方法和程序
JP4937592B2 (ja) 電子機器
CN102047673A (zh) 记录设备、记录方法、回放设备、回放方法、记录介质和程序
CN101650960B (zh) 信息记录装置、成像装置和信息记录方法
CN101650961B (zh) 信息记录装置、成像装置、信息记录方法和程序
RU2625519C2 (ru) Устройство обработки информации, способ обработки информации, программа и носитель записи
JP4798215B2 (ja) 電子機器
CN103688534A (zh) 记录装置、记录方法、播放装置、播放方法、程序以及记录/播放装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131211

Termination date: 20150702

EXPY Termination of patent right or utility model