CN102547339A - 编码设备及其控制方法 - Google Patents

编码设备及其控制方法 Download PDF

Info

Publication number
CN102547339A
CN102547339A CN2011104050805A CN201110405080A CN102547339A CN 102547339 A CN102547339 A CN 102547339A CN 2011104050805 A CN2011104050805 A CN 2011104050805A CN 201110405080 A CN201110405080 A CN 201110405080A CN 102547339 A CN102547339 A CN 102547339A
Authority
CN
China
Prior art keywords
bit rate
picture signal
screening
rate
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104050805A
Other languages
English (en)
Other versions
CN102547339B (zh
Inventor
磨田浩二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102547339A publication Critical patent/CN102547339A/zh
Application granted granted Critical
Publication of CN102547339B publication Critical patent/CN102547339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种编码设备及其控制方法，该编码设备用于输入第一图像信号和来自与所述第一图像信号的输入源不同的输入源的第二图像信号，所述编码设备基于拍摄模式信息或者编码单元的编码的失真率，自适应地确定第一比特率和第二比特率，其中，将所述第一比特率和所述第二比特率分别分配给第一编码单元和第二编码单元，所述第一编码单元用于对所输入的第一图像信号进行编码，所述第二编码单元用于基于所述第一图像信号对所输入的第二图像信号进行编码。

Description

编码设备及其控制方法
技术领域
本发明涉及一种编码设备，尤其涉及一种用于多路复用多个编码流的编码设备、编码方法和程序。
背景技术
近年来，开始对通过使用盘介质、硬盘或存储器作为存储介质来进行高清晰度记录的摄像机进行产品化。由于这类摄像机如此小以至于便于携带、并可以记录高图像质量的图像，所以认为这类摄像机在将来会越来越普及。在这类设备中，为了进行高清晰度记录，将图像存储在记录介质中，作为利用例如MPEG4part-10：AVC(ISO/IEC 14496-10；另一名称为H.264)压缩编码的视频流。根据这一压缩编码方法，使用利用图像之间的相关性的帧间预测(间预测)和利用帧内的相关性的帧内预测(内预测)，并且还使用算术编码，从而实现高效率的压缩编码。
被配置成输入左图像信号和右图像信号以形成3D图像的摄像机也已投入实际应用。
日本特开平9-65372公开了一种用于编码和记录各个右图像和左图像的设备。该公报提出了这样一种设备，该设备根据右图像和左图像之间的相关性，以图片为单位自适应地设置在编码各图像时要分配的代码量，从而使得右图像和左图像的编码的劣化度一致。
在如上述相关技术那样编码右图像和左图像的情况下，重要的问题是使得右图像和左图像的图像质量一致。尽可能地抑制右图像和左图像的编码的劣化、并保持高图像质量同样也很重要。因此，为了在有限的比特率内更有效地编码，除传统的帧间预测和算术编码以外，还进行使得可以根据右图像和左图像中的一个图像预测另一个图像的视差预测，作为3D图像特有的技术。
当开始右图像和左图像的记录时，如果仅设置比特率和缓冲大小、并进行编码，则视差预测的编码效率根据输入图像的特征而变化，因而右图像和左图像的编码的劣化度不同。在相关技术的编码设备中，在这种情况下，通过使右图像和左图像的编码的劣化度与较大的劣化度相一致来降低作为3D图像的不自然性。
然而，相关技术的编码设备具有这样的问题：没有有效使用所设置的比特率，因而图像质量劣化。
考虑到上述问题，本发明的一个方面提供一种编码设备，在该编码设备中，在开始记录时适当分配与右图像和左图像的编码有关的比特率和缓冲大小，从而防止图像质量劣化、并使得能够有效进行编码。
发明内容
根据本发明的一个方面，本发明的编码设备输入第一图像和来自不同于所述第一图像的输入源的输入源的第二图像，并且编码这些图像，所述编码设备被配置成：基于拍摄模式信息或者编码单元的编码的失真率，自适应地确定第一比特率和第二比特率，其中，将所述第一比特率和所述第二比特率分别分配给第一编码单元和第二编码单元，所述第一编码单元用于编码所输入的第一图像，所述第二编码单元用于基于所述第一图像编码所输入的第二图像。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是根据本发明第一实施例的编码设备的结构图。
图2是示出与拍摄模式有关的图像、帧间差分和视差差分之间的关系的图。
图3是在图1的编码设备中所执行的比特率设置处理的流程图。
图4是示出根据第一实施例所设置的比特率和拍摄模式之间的关系的图。
图5是根据本发明第二实施例的编码设备的结构图。
图6是在图5的编码设备中所执行的比特率设置处理的流程图。
图7是示出通过图6的比特率设置处理所设置的比特率的设置值的例子的图。
图8是本发明第三实施例的比特率设置处理的流程图。
图9是示出通过图8的比特率设置处理所设置的比特率的例子的图。
具体实施方式
下面将参考附图详细说明本发明的典型实施例。本发明的编码设备是这样一种图像编码设备，可以使用该图像编码设备来编码例如摄像机等所拍摄的3D图像，并且可以通过用于控制整个照相机的控制单元来对该图像编码设备进行控制。
在这种情况下，可以作为在照相机的控制单元的控制下工作的硬件、软件或者它们的组合来实现本发明的编码设备。本发明不局限于摄像机，自然地，本发明可应用于任何设备，只要该设备具有与图1中的图像输入单元101和103相对应的3D图像的拍摄功能即可。
第一实施例
图1是根据本实施例的编码设备的结构图。
本实施例的编码设备具有这样的结构，在该结构中，输入右图像信号和左图像信号，并且通过多个不同的编码单元分别编码这些信号，从而形成一个多路复用流。
下面将参考图1说明本实施例的编码设备的结构和操作。
编码处理
图像输入单元101输入来自用于左眼的摄像元件(未示出)的图像信号(第一图像信号)，并且输出给编码单元102。
编码单元102(第一编码单元)对输入的第一图像信号以每一宏块作为编码单位进行帧间运动预测和运动补偿，并且执行正交变换和量化。编码单元102对量化后的图像信号进行熵编码，形成编码流(第一编码流)，并且输出给多路复用单元105。图像输入单元103输入来自用于右眼的摄像元件(未示出)的图像信号(第二图像信号)，并且输出给编码单元104。
编码单元104(第二编码单元)对输入的第二图像信号以每一宏块作为编码单位，通过使用对由编码单元102形成的编码流进行解码所获得的图像信号来进行使用右图像和左图像之间的视差的视差预测和视差补偿。随后，编码单元104执行正交变换和量化。此后，编码单元104对量化后的图像信号进行熵编码，形成编码流(第二编码流)，并且输出给多路复用单元105。
多路复用单元105输入从编码单元102和104输出的编码流，通过诸如MPEG2-TS或MOV等的已知格式对它们进行多路复用，并且将所形成的多路复用流记录在记录介质108中。多路复用单元105包括随机存取存储器(RAM)，并且对RAM上的编码流进行多路复用(组合处理)。
拍摄模式选择单元106选择多个拍摄模式中的想要的拍摄模式，并且向比特率设置单元107通知示出所选择的拍摄模式的信息。拍摄模式选择单元还具有下面的功能：基于在所选择的拍摄模式下设想的拍摄图像，在图像输入单元101和103中适当设置由摄像元件所执行的摄像操作的快门速度、光圈和曝光等。
拍摄模式选择单元106可以是与单元106分开设置的、通过拍摄模式选择单元所选择的拍摄模式的信息的获取单元(拍摄模式信息获取单元)。在这种情况下，通过例如摄像机的控制单元进行由摄像元件所执行的拍摄的条件设置，其中，本实施例的编码设备在该摄像机中工作。在这种情况下，图像输入单元101和103变成各自用于输入来自摄像元件(图像信号的输入源)的图像信号的单元，并且可以用作为诸如PC等的图像处理设备中的编码设备，而不局限于具有摄像单元等的照相机等。
包括处理器(计算机)的比特率设置单元107根据从拍摄模式选择单元106所通知的拍摄模式，自适应地设置编码单元102中的第一比特率并自适应地设置编码单元104中的第二比特率。在本发明中，假定第一比特率和第二比特率的和是恒定的(预定值)。在本实施例中，将该预定值预先设置成不会超过由多路复用单元105所形成的多路复用流的比特率的值。也就是说，在本实施例中，根据拍摄模式自适应地设置预定值内的第一比特率和第二比特率的分配比(对各编码单元的比特率的分配)。
拍摄模式
图2是示出从拍摄模式选择单元106通知给比特率设置单元107的拍摄模式、以及在各拍摄模式下设想的拍摄场景、帧间差分的大小和视差差分的大小之间的对应关系的表。风景模式201是在拍摄例如诸如山等的远视野处的被摄体时所使用的拍摄模式。在这一拍摄场景下，帧间差分小，并且右图像和左图像之间的视差差分也小。在例如诸如高尔夫或网球等的快速运动的被摄体时使用运动模式202。在这一拍摄场景下，尽管帧间差分大，但是右图像和左图像之间的视差差分小。在拍摄例如近视野处的被摄体时使用微距模式203。在这一拍摄场景下，帧间差分小，并且右图像和左图像之间的视差差分大。在拍摄例如光减少使得所拍摄的图片包括噪声的房间中的被摄体时，使用低光模式204。在这一拍摄场景下，帧间差分大，并且右图像和左图像之间的视差差分也大。
比特率选择处理
图3是示出比特率设置单元107的处理的流程图。可以通过下面的方法实现该处理，其中，在照相机的控制单元的控制下，执行存储在使用本实施例的编码设备的例如摄像机中的程序。
将参考图3说明用于根据拍摄模式设置比特率的方法。在S301，基于从拍摄模式选择单元所通知的拍摄模式，判断是否设想了帧间差分小、并且视差差分小的拍摄场景(风景模式)。如果判断为设想了这一拍摄场景，则处理例程进入S302。如果为“否”，则处理例程分支至S303。
在S302，在第一比特率和第二比特率的总值达到上述预定值的条件下，设置第一比特率和第二比特率的值的分配比，以使得第一比特率的值大于第二比特率的值。在S303，基于所通知的拍摄模式，判断是否设想了帧间差分大、并且视差差分小的拍摄场景(运动模式)。如果判断为设想了这一拍摄场景，则处理例程进入S304。如果为“否”，则处理例程分支至S305。
在S304，设置第一比特率和第二比特率的分配比，以使得第一比特率的值小于在S302所设置的值。在S305，基于所通知的拍摄模式，判断是否设想了帧间差分小、并且视差差分大的拍摄场景(微距模式)。如果判断为设想了这一拍摄场景，则处理例程进入S306。如果为“否”，则处理例程分支至S307。
在S306，设置第一比特率和第二比特率的分配比，以使得第一比特率的值小于在S304所设置的值。
S307是下面的情况下的设置处理：根据基于输入的拍摄模式的S301、S303和S305的判断结果，设想了帧间差分大、并且视差差分大的拍摄场景(低光模式)。在S307，设置第一比特率和第二比特率的分配比，以使得第一比特率的值小于在S306所设置的值。图4是示出各拍摄模式和通过图3的流程图所示处理所设置的第一比特率与第二比特率的分配比的例子的表。比特率的具体分配比不局限于图4所示的例子，并且可以在比特率设置单元等中适当预先设置，只要它们符合上述图3所示的处理即可。
在风景模式401下，向第一比特率的分配最大。
在运动模式402下，向第一比特率的分配比风景模式401下的小。
在微距模式403下，向第一比特率的分配比运动模式402下的小。
在低光模式404下，向第一比特率的分配比微距模式403下的小。
如上所述，根据本实施例，根据拍摄模式下所设想的场景来设想帧间预测和视差预测的编码效率，并且可以适当确定第一比特率和第二比特率的分配比。因此，在记录开始时可以适当分配与右输入图像和左输入图像的编码有关的比特率和缓冲大小。可以进行这样编码：减少作为3D图像的不适感的原因的、右图像和左图像之间的编码劣化的差，并且可以防止图像质量劣化。因此，可以使得右图像信号和左图像信号的编码流的编码劣化一致，并且可以获得具有良好图像质量的3D图像。
当视差差分小时，由于可以将编码单元102的比特率设置成接近上限值(上述预定值)的值，所以可以进一步提高编码单元102和104中的编码精度。因此，可以形成编码流作为自然的3D图像，并且可以提供适于用户的3D图像的编码设备。
实施例2
图5是第二实施例的编码设备的结构图。
以与第一实施例相同的方式，该编码设备也是这样的一种设备，在该设备中，输入左图像信号和右图像信号，通过多个不同编码单元对它们进行编码，并且在此后，形成一个多路复用流。以相同附图标记表示与第一实施例的编码设备相同的组件。
在第一实施例中，根据所选择的拍摄模式调整用于左眼的编码单元和用于右眼的编码单元各自的比特率的分配。然而，在第二实施例中，基于各编码单元的编码失真率调整比特率的分配。
编码处理
图像输入单元101和103与第一实施例中的相同。
多路复用单元105也与第一实施例中的相同，形成诸如MPEG2-TS或MOV等的众所周知的格式的多路复用流，并且将其记录在记录介质108上。以与第一实施例中的编码单元102相同的方式，编码单元502对由图像输入单元101输入的图像信号进行熵编码，形成编码流，并且选择性地将其结果输出给失真率计算单元503和多路复用单元105。也就是说，在响应于输入的图像信号的编码开始指示而开始的编码(正式编码)之前，将通过对输入的图像信号进行编码(临时编码)所获得的编码流仅输出给失真率计算单元503。另一方面，在正式编码时，编码单元502将编码流输出给多路复用单元105，而不输出给失真率计算单元503。
失真率计算单元503通过使用由图像输入单元101所输入的图像信号和通过对第一编码流进行解码所获得的图像信号，计算诸如PSNR(峰值信噪比)等的第一失真率，并且将所计算出的第一失真率输出给比特率设置单元508。第一失真率不局限于PSNR，并且可以是其它众所周知的失真率。
以与第一实施例中的编码单元104相同的方式，编码单元505利用相同方法对由图像输入单元103所输入的图像信号进行熵编码，形成编码流，并且选择性将其结果输出给失真率计算单元506和多路复用单元105。也就是说，以与编码单元502相同的方式，在输入的图像信号的临时编码时，编码单元505将所形成的编码流仅输出给失真率计算单元506。另一方面，在正式编码时，编码单元505将编码流输出给多路复用单元105，而不输出给失真率计算单元506。
失真率计算单元506通过使用由图像输入单元103所输入的图像和通过对第二编码流进行解码所获得的图像信号，计算诸如PSNR(峰值信噪比)等的第二失真率，并且将所计算出的第二失真率输出给比特率设置单元508。第二失真率与第一失真率一样，不局限于PSNR，并且可以是其它众所周知的失真率。
比特率设置单元508判断在失真率计算单元503中所计算出的第一失真率和在失真率计算单元506中所计算出的第二失真率之间的差的大小。如果判断为没有差，则将编码开始指示输出给编码单元502和505。例如，可以通过下面的方法来进行该判断：将预先适当设置的预定值与第一失真率和第二失真率之间的差(绝对值)进行比较，并且当该差等于或小于预定值时，判断为(认为)没有差。如果判断为存在差，则基于第一失真率和第二失真率，在编码单元502中自适应地设置第一比特率，并且在编码单元505中自适应地设置第二比特率。进行该设置处理，以使得第一比特率和第二比特率的和达到可分配给由多路复用单元105所形成的多路复用流的最大分配比特率。也就是说，比特率设置单元基于所计算出的失真率，向第一比特率和第二比特率自适应地分配最大分配比特率。将最大分配比特率设置成小于多路复用流的比特率的预定值。
比特率设置处理
图6是示出比特率设置单元508的处理的流程图。比特率设置单元508以图片为单位对输入的图像信号执行该处理。
将参考图6说明本实施例中的比特率设置方法。
在S601，判断是否开始编码。
如果判断为开始编码，则结束处理例程。如果为“否”，则处理例程分支至S602。这种情况下的“编码”是上述“正式编码”，并且由编码开始指示开始“编码”。
在S602，获得在失真率计算单元503中所计算出的第一失真率和在失真率计算单元506中所计算出的第二失真率。此时所获得的失真率是对于输入的图像信号的当前图片所计算出的值。因此，将通过使用所获得的失真率而确定的比特率应用于下一图片。通过下面的公式(1)对这点进行阐述。对于第一个图片(i＝1)，假定应用作为默认比特率所设置的比特率R1(0)和R2(0)。
在S603，如上所述地判断在所获得的第一失真率和第二失真率之间是否存在差(绝对值)。如果判断为没有差，则在S605形成编码开始指示，并且在此后，处理例程返回至S601。如果判断为存在差，则处理例程进入S604。在S604，通过使用第一失真率和第二失真率确定第一比特率和第二比特率的分配比。
在该例子中，例如，通过使用下面的公式(1)来确定第一比特率R1和第二比特率R2。
R1(i)＝R1(i-1)+K(SN_2(i-1)-SN_1(i-1))
R2(i)＝R2(i-1)+K(SN_1(i-1)-SN_2(i-1))    ...(1)
其中，后缀“i”是示出临时编码的图片的编号(1、2、3、……)的自变量，R1是第一比特率，R2是第二比特率，SN_1是第一失真率，SN_2是第二失真率，并且K是失真率的反馈系数。反馈系数K是用于将失真率转换成比特率以使得可以将转换后的比特率相加到比特率R1或R2的常数。在根据上述公式(1)保持第一比特率和第二比特率的和恒定时，比特率设置单元508以下面的方式控制比特率的分配：减小较大失真率的比特率，并且相反，增大较小失真率的比特率。通过公式(1)显而易见，作为该控制的结果，如果第一失真率SN_1和第二失真率SN_2相等，则所确定的比特率的设置值等于前一图片的比特率的设置值。在本实施例的编码设备中，以图片为单位重复上述处理，并且确定向第一编码单元和第二编码单元的比特率的最佳分配。图7是示出根据本实施例的在编码各图片时所设置的比特率的变化的例子的图。在该附图中，纵轴表示比特率，并且横轴表示输入的图像信号的经过时间。
在本实施例中，对于输入的图像信号中的第一个I图片和随后的五个P图片进行临时编码。
比特率设置单元508对这六个图片进行临时编码，并且实现在第七个图片中消除第一失真率和第二失真率之间的差的状态。
通过如上所述构成编码设备，在开始将输入的图像信号记录到记录介质108之前，将编码单元502和505的编码的失真率之间的差与开始临时编码时的差进行比较，并且可以减小该差。因此，可以形成编码流作为抑制了记录图像质量的劣化的自然的3D图像，并且可以提供适于用户的编码设备。
尽管在本实施例中，通过使用I图片和P图片来进行临时编码，但是可以通过包括B图片的图片来进行临时编码。在这种情况下，在比特率设置单元508中设置要适当进行临时编码的图片的编号(自变量i)。
实施例3
尽管本实施例的编码设备具有与实施例2中的相同的结构，但是其操作不同于实施例2中的操作。也就是说，在实施例3中，在不执行临时编码的情况下开始实际编码(正式编码)，此后，使得编码设备工作以调整第一比特率和第二比特率的分配。
下面将说明本实施例的编码设备的操作。
比特率设置单元508基于由失真率计算单元504所计算出的第一失真率和由失真率计算单元506所计算出的第二失真率，通过下面的方法在编码单元502中自适应地设置第一比特率，并且在编码单元505中自适应地设置第二比特率。
更详细地，首先，当开始编码时，将第一比特率和第二比特率的和设置成小于最大分配比特率的值。根据经验等来预先设置比特率分配的初始值R1(0)和R2(0)。此后，在增大第一比特率和第二比特率的和以达到最大分配比特率时，以输入的图像信号的图片为单位确定第一比特率和第二比特率的分配的设置。由于其它组件与实施例2中的相同，所以这里省略对其的说明。
图8是示出实施例3中的比特率设置单元508的处理的流程图。比特率设置单元508以图片为单位对输入的图像信号执行该处理。
下面将参考图8说明本实施例的比特率设置方法。
在S801，判断所设置的第一比特率R1和第二比特率R2的和是否等于最大分配比特率。
如果判断为该和等于最大分配比特率，则结束处理例程。如果为“否”，则处理例程分支至S802。
在S802，获得在失真率计算单元503中所计算出的第一失真率和在失真率计算单元506中所计算出的第二失真率。此时所获得的失真率等于针对输入的图像信号的当前图片所计算出的值。因此，将通过使用所获得的失真率所确定的比特率应用于下一图片。通过下面将说明的公式(2)，这点将显而易见。
在S803，通过使用所获得的第一失真率和第二失真率，对于输入的图像信号的图片确定第一比特率和第二比特率。
在该例子中，通过使用例如下面的公式(2)确定第一比特率R1和第二比特率R2。
R 1 ( i ) = R 1 ( i - 1 ) + K ( SN _ 2 ( i - 1 ) - SN _ 1 ( i - 1 ) ) Rt ( i - 1 ) × ( Rt ( i - 1 ) + Rd )
R 2 ( i ) = R 2 ( i - 1 ) + K ( SN _ 1 ( i - 1 ) - SN _ 2 ( i - 1 ) ) Rt ( i - 1 ) × ( Rt ( i - 1 ) + Rd ) . . . ( 2 )
其中，后缀“i”是示出编码图片的编号(1、2、3、……)的自变量，Rt是第一比特率和第二比特率的和，Rd是以图片为单位而增大的比特率，SN_1是第一失真率，SN_2是第二失真率，并且K是失真率的反馈系数。反馈系数K是用于将失真率转换成比特率以使得可以将转换后的比特率相加到比特率R1或R2的常数。
通过公式(2)可知，比特率设置单元508以下面的方式进行控制：在以图片为单位将第一比特率和第二比特率的和Rt增大预定量单位(Rd)时，较多地增大与较小失真率相对应的比特率。通过该控制，设置第一比特率和第二比特率，以使得消除第一失真率和第二失真率之间的差。
作为上述本实施例中的控制的结果，如果所设置的第一比特率和第二比特率的和达到最大分配比特率或者超过最大分配比特率，则在此后维持此时的比特率的分配。
图9是示出在编码各图片时所设置的比特率的变化的图。在该附图中，纵轴表示比特率，并且横轴示出输入的图像信号的时间进程。
在本实施例中，在指示开始编码之后，作为在编码六个图片的时间段期间调整第一比特率和第二比特率的结果，它们的和达到最大分配比特率。将根据第六个图片所调整的比特率的分配应用于第七个及其后的图片。
另外，利用上述实施例的结构，与开始编码时相比，可以将第一比特率和第二比特率分配成反映不同编码效率的值，以降低第一比特率和第二比特率之间的差。因此，可以形成编码流作为抑制了记录图像质量的劣化的自然的3D图像，并且可以提供适于用户的编码设备。
还可以通过下面的方法实现上述实施例中的图3、6和8中所示的各处理：从系统的存储器读出用于实现这些处理的功能的计算机程序，其中，在该系统中，操作本发明的编码设备，并且该系统的CPU执行该程序。在这种情况下，存储在存储器中的程序构成本发明。
上述程序可以是用于实现上述功能的一部分的程序。此外，上述程序可以是被称为差分文件(差分程序)的程序，其中，在该差分文件中，可以通过与已记录在计算机系统中的程序组合来实现上述功能。
可以通过专用硬件实现图3、6和8所示的处理的全部功能或这些功能的一部分。可以通过下面的方法执行这些处理：将用于实现图3、6和8所示的处理的功能的程序记录在计算机可读记录介质中，并且将记录在记录介质中的程序读取进计算机系统并执行该程序。假定这里所述的“计算机系统”包含OS和诸如外围设备等的硬件。
这里所述的“计算机可读记录介质”包括诸如软盘、磁光盘、ROM或CD-ROM等的便携式介质、以及诸如内置于计算机系统中的硬盘等的存储装置。此外，在通过诸如因特网等的网络或者诸如电话线等的通信线传送该程序的情况下，假定这类介质还包含保持该程序预定时间的存储装置，诸如用作服务器或客户机的计算机系统中的易失性存储器(RAM)等。
可以通过传输介质或者通过传输介质中的传输波，将上述程序从将该程序存储在存储装置等中的计算机系统传送给其它计算机系统。用于传送该程序的“传输介质”表示诸如像因特网等一样的网络(通信网络)或者像电话线等一样的通信线(通信电线)等的具有用于传输信息的功能的介质。
作为本发明的实施例，还可以应用诸如记录了该程序的计算机可读记录介质等的程序产品。上述程序、记录介质、传输介质和程序产品包含在本发明的范围内。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种编码设备，用于输入第一图像信号和第二图像信号，并且对各图像信号进行编码，其中，所述第二图像信号的输入源不同于所述第一图像信号的输入源，所述编码设备包括：
第一编码部件，用于对所输入的第一图像信号进行编码；
第二编码部件，用于基于所述第一图像信号对所输入的第二图像信号进行编码；
多路复用部件，用于在存储器上对所述第一编码部件所输出的第一编码流和所述第二编码部件所输出的第二编码流进行多路复用；
拍摄模式信息获取部件，用于获取表示从多个拍摄模式中所选择的拍摄模式的拍摄模式信息；以及
比特率设置部件，用于设置分配给所述第一编码部件的第一比特率和分配给所述第二编码部件的第二比特率，
其中，所述比特率设置部件根据所述拍摄模式信息获取部件所获取的拍摄模式信息，自适应地设置所述第一比特率和所述第二比特率的设置值。
2.根据权利要求1所述的编码设备，其特征在于，所述比特率设置部件根据所述拍摄模式信息设置所述第一比特率和所述第二比特率的分配，以使得所述第一比特率的设置值和所述第二比特率的设置值的和达到预定值。
3.根据权利要求1所述的编码设备，其特征在于，所述比特率设置部件基于图像的帧间差分和视差差分确定所述设置值，其中，所述图像的帧间差分和视差差分是根据所述拍摄模式信息获取部件所获取的拍摄模式信息所表示的拍摄模式而设想出的。
4.根据权利要求2所述的编码设备，其特征在于，当所述拍摄模式信息获取部件所获取的拍摄模式信息表示设想了帧间差分小且视差差分小的图像的拍摄的拍摄模式时，所述比特率设置部件将所述第一比特率的值设置成最大分配值。
5.根据权利要求2所述的编码设备，其特征在于，当所述拍摄模式信息获取部件所获取的拍摄模式信息表示设想了帧间差分大且视差差分小的图像的拍摄的拍摄模式时，所述比特率设置部件将所述第一比特率的分配值设置成小于在设想了帧间差分小且视差差分小的图像的拍摄的拍摄模式下设置的所述第一比特率的分配值。
6.根据权利要求2所述的编码设备，其特征在于，当所述拍摄模式信息获取部件所获取的拍摄模式信息表示设想了帧间差分小且视差差分大的图像的拍摄的拍摄模式时，所述比特率设置部件将所述第一比特率的分配值设置成小于在设想了帧间差分大且视差差分小的图像的拍摄的拍摄模式下设置的所述第一比特率的分配值。
7.根据权利要求2所述的编码设备，其特征在于，当所述拍摄模式信息获取部件所获取的拍摄模式信息表示设想了帧间差分大且视差差分大的图像的拍摄的拍摄模式时，所述比特率设置部件将所述第一比特率的分配值设置成小于在设想了帧间差分小且视差差分大的图像的拍摄的拍摄模式下设置的所述第一比特率的分配值。
8.一种编码设备的控制方法，所述编码设备用于输入第一图像信号和第二图像信号，并且对各图像信号进行编码，其中，所述第二图像信号的输入源不同于所述第一图像信号的输入源，所述控制方法包括以下步骤：
第一编码步骤，用于对所输入的第一图像信号进行编码；
第二编码步骤，用于基于所述第一图像信号对所输入的第二图像信号进行编码；
多路复用步骤，用于在存储器上对在所述第一编码步骤中输出的第一编码流和在所述第二编码步骤中输出的第二编码流进行多路复用；
拍摄模式信息获取步骤，用于获取表示从多个拍摄模式中所选择的拍摄模式的信息；以及
比特率设置步骤，用于设置分配给所述第一编码步骤的第一比特率和分配给所述第二编码步骤的第二比特率，
其中，在所述比特率设置步骤中，根据在所述拍摄模式信息获取步骤中所获取的拍摄模式信息，自适应地确定所述第一比特率和所述第二比特率的设置值。
9.一种编码设备，用于输入第一图像信号和第二图像信号，并且对各图像信号进行编码，其中，所述第二图像信号的输入源不同于所述第一图像信号的输入源，所述编码设备包括：
第一编码部件，用于对所输入的第一图像信号进行编码；
第二编码部件，用于基于所述第一图像信号对所输入的第二图像信号进行编码；
多路复用部件，用于在存储器上对所述第一编码部件所输出的第一编码流和所述第二编码部件所输出的第二编码流进行多路复用；
第一失真率计算部件，用于根据所输入的第一图像信号和所述第一编码流，计算作为所述第一编码部件的编码的失真率的第一失真率；以及
第二失真率计算部件，用于根据所输入的第二图像信号和所述第二编码流，计算作为所述第二编码部件的编码的失真率的第二失真率；以及
比特率设置部件，用于设置分配给所述第一编码部件的第一比特率和分配给所述第二编码部件的第二比特率，
其中，所述比特率设置部件基于所述第一失真率和所述第二失真率，自适应地确定所述第一比特率和所述第二比特率的设置值。
10.根据权利要求9所述的编码设备，其特征在于，所述比特率设置部件确定所述第一比特率和所述第二比特率的分配，以使得所述第一比特率和所述第二比特率的设置值的和等于预定值，其中，所述预定值等于或小于在所述多路复用部件中能够进行多路复用的最大分配比特率。
11.根据权利要求9所述的编码设备，其特征在于，所述比特率设置部件从开始输入所述第一图像信号和所述第二图像信号起、直到消除了所述第一失真率和所述第二失真率之间的差为止，以所输入的图像信号的图片为单位自适应地确定所述第一比特率和所述第二比特率的分配。
12.根据权利要求9～11中任一项所述的编码设备，其特征在于，所述第一失真率计算部件和所述第二失真率计算部件分别以所输入的图像信号的图片为单位计算所述第一失真率和所述第二失真率。
13.根据权利要求9所述的编码设备，其特征在于，所述比特率设置部件通过减小分配给与较大失真率相对应的编码部件的比特率并且增大分配给与较小失真率相对应的编码部件的比特率，以图片为单位确定所述第一比特率和所述第二比特率的分配。
14.根据权利要求9所述的编码设备，其特征在于，所述比特率设置部件将所述第一比特率和所述第二比特率的和的初始值设置成小于在所述多路复用部件中能够进行多路复用的最大分配比特率的值，并且在输入图像信号之后，所述比特率设置部件通过以预定量为单位增大所述第一比特率和所述第二比特率的和、直到达到所述最大分配比特率为止，以图片为单位自适应地确定所述第一比特率和所述第二比特率的分配。
15.根据权利要求9所述的编码设备，其特征在于，所述比特率设置部件根据所述第一失真率和所述第二失真率之间的差，以图片为单位确定所述第一比特率和所述第二比特率的分配。
16.一种编码设备的控制方法，所述编码设备用于输入第一图像信号和第二图像信号，并且对各图像信号进行编码，其中，所述第二图像信号的输入源不同于所述第一图像信号的输入源，所述控制方法包括以下步骤：
第一编码步骤，用于对所输入的第一图像信号进行编码；
第二编码步骤，用于基于所述第一图像信号对所输入的第二图像信号进行编码；
多路复用步骤，用于在存储器上对所述第一编码步骤所输出的第一编码流和所述第二编码步骤所输出的第二编码流进行多路复用；
第一失真率计算步骤，用于根据所输入的第一图像信号和所述第一编码流，计算作为所述第一编码步骤中的编码的失真率的第一失真率；
第二失真率计算步骤，用于根据所输入的第二图像信号和所述第二编码流，计算作为所述第二编码步骤中的编码的失真率的第二失真率；以及
比特率设置步骤，用于设置分配给所述第一编码步骤的第一比特率和分配给所述第二编码步骤的第二比特率，
其中，在所述比特率设置步骤中，基于所述第一失真率和所述第二失真率，自适应地确定所述第一比特率和所述第二比特率的设置值。
CN201110405080.5A 2010-12-07 2011-12-07 编码设备及其控制方法 Active CN102547339B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-272538 2010-12-07
JP2010272538A JP2012124653A (ja) 2010-12-07 2010-12-07 符号化装置、符号化方法およびプログラム

Publications (2)

Publication Number Publication Date
CN102547339A true CN102547339A (zh) 2012-07-04
CN102547339B CN102547339B (zh) 2015-03-25

Family

ID=46161880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110405080.5A Active CN102547339B (zh) 2010-12-07 2011-12-07 编码设备及其控制方法

Country Status (3)

Country Link
US (1) US8913200B2 (zh)
JP (1) JP2012124653A (zh)
CN (1) CN102547339B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150006957A (ko) * 2013-07-09 2015-01-20 한국전자통신연구원 3d 비디오 스트리밍 서비스 제공 방법 및 그 장치
US11455974B2 (en) * 2018-02-06 2022-09-27 Sony Corporation Image processing device, image processing method, and image provision system for the display of viewpoint images of a shared environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0965372A (ja) * 1995-08-22 1997-03-07 Sanyo Electric Co Ltd データ圧縮装置
CN1909638A (zh) * 2005-08-03 2007-02-07 索尼株式会社 成像设备
CN100474900C (zh) * 2004-07-13 2009-04-01 索尼株式会社 摄像装置、摄像元件的集成电路以及摄像结果的处理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE38513E1 (en) * 1992-03-26 2004-05-11 Matsushita Electric Industrial Co., Ltd. Communication system
JP2870415B2 (ja) * 1994-08-22 1999-03-17 日本電気株式会社 領域分割方法および装置
KR100341079B1 (ko) * 1997-01-10 2002-06-20 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법 및 화상 처리 장치, 및 데이터 기록 매체
KR100487988B1 (ko) * 1997-10-23 2005-05-09 미쓰비시덴키 가부시키가이샤 부호화 비트 스트림 변환 장치
JP2002525986A (ja) * 1998-09-22 2002-08-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 受信されたアナログビデオ信号をｍｐｅｇ輸送ストリームのデータパケットにディジタル的に記録する記録装置
DE10035109B4 (de) * 1999-07-20 2012-03-08 Lg Information & Communications, Ltd. Terminal und Verfahren zum Transportieren von Standbildern
US6940911B2 (en) * 2000-03-14 2005-09-06 Victor Company Of Japan, Ltd. Variable picture rate coding/decoding method and apparatus
JP2001352471A (ja) * 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
JP2005159856A (ja) * 2003-11-27 2005-06-16 Nikon Corp デジタルカメラ
JP4358081B2 (ja) * 2004-03-31 2009-11-04 パナソニック株式会社 映像記録装置
JP4708733B2 (ja) * 2004-05-21 2011-06-22 キヤノン株式会社 撮像装置
JP4533035B2 (ja) * 2004-08-02 2010-08-25 キヤノン株式会社 画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US8634458B2 (en) * 2005-02-23 2014-01-21 Canon Kabushiki Kaisha Image processing apparatus
JP4687279B2 (ja) * 2005-06-29 2011-05-25 ソニー株式会社 画像再生装置、画像再生方法、および画像再生用プログラム
JP2007089035A (ja) * 2005-09-26 2007-04-05 Toshiba Corp 動画像符号化方法、装置及びプログラム
RU2498408C2 (ru) * 2007-12-10 2013-11-10 Абб Рисерч Лтд Реализуемые компьютером способ и система для дистанционного контроля производственного процесса
US20090238263A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible field based energy efficient multimedia processor architecture and method
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US9357231B2 (en) * 2008-07-31 2016-05-31 Mitsubishi Electric Corporation Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
KR20100118458A (ko) * 2009-04-28 2010-11-05 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 카메라가 장착된 이동 통신 단말기
US20100315486A1 (en) * 2009-06-15 2010-12-16 Electronics And Telecommunication Research Institute Stereoscopic video service providing/receiving method and apparatus in digital broadcasting system
JP5369952B2 (ja) * 2009-07-10 2013-12-18 ソニー株式会社 情報処理装置および情報処理方法
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
US8675084B2 (en) * 2009-09-04 2014-03-18 Apple Inc. Systems and methods for remote camera control
KR20110029319A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 영상 처리 시스템 및 영상 처리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0965372A (ja) * 1995-08-22 1997-03-07 Sanyo Electric Co Ltd データ圧縮装置
CN100474900C (zh) * 2004-07-13 2009-04-01 索尼株式会社 摄像装置、摄像元件的集成电路以及摄像结果的处理方法
CN1909638A (zh) * 2005-08-03 2007-02-07 索尼株式会社 成像设备

Also Published As

Publication number Publication date
JP2012124653A (ja) 2012-06-28
US20120140030A1 (en) 2012-06-07
CN102547339B (zh) 2015-03-25
US8913200B2 (en) 2014-12-16

Similar Documents

Publication Publication Date Title
US9762917B2 (en) Quantization method and apparatus in encoding/decoding
CN101185337B (zh) 具有预见的准恒定质量速率控制
JP3093233B2 (ja) 画像符号化装置及びその方法
US5745251A (en) Image processing method and apparatus for encoding variable-length data
CN101466035B (zh) 一种基于h.264的视频图像组比特分配方法
US8031960B2 (en) Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium
US8615140B2 (en) Compression of image data in accordance with depth information of pixels
US20080013845A1 (en) Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium
CN101960856B (zh) 运动图像编码设备和运动图像编码方法
CN105429983B (zh) 采集媒体数据的方法、媒体终端及音乐教学系统
WO2007014384A2 (en) Method and apparatus for transmitting multiple video streams over a video channel
WO2022021519A1 (zh) 视频解码方法、系统、设备及计算机可读存储介质
CN105681792A (zh) 用于实时编码的方法和设备
CN102547339B (zh) 编码设备及其控制方法
CN107736026A (zh) 样本自适应偏移编码
JP4850111B2 (ja) 画像表示装置およびそれを搭載した撮像装置
JP2008252685A (ja) 画像符号化装置およびそれを用いた撮像装置
CN101090497A (zh) 一种数据压缩方法和装置
JP2006254333A (ja) 符号化装置と符号化方法とデジタルカメラ
EP0926883B1 (en) Image processing method and apparatus
JP2004056677A (ja) 画像情報符号化装置及び画像情報符号化方法
KR100985794B1 (ko) 연산 복잡도 조절이 가능한 인터프레임 웨이블렛 코딩장치 및 그 방법
JP2006332914A (ja) 撮影装置、及び画像データ転送方法
JPH04207352A (ja) 画像データの符号化装置および符号化方法
WO2010035378A1 (ja) 画像符号化装置、画像符号化方法及び撮像システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant