CN116917691A - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN116917691A
CN116917691A CN202280015703.4A CN202280015703A CN116917691A CN 116917691 A CN116917691 A CN 116917691A CN 202280015703 A CN202280015703 A CN 202280015703A CN 116917691 A CN116917691 A CN 116917691A
Authority
CN
China
Prior art keywords
value
unit
quantized
difference
coefficient data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280015703.4A
Other languages
English (en)
Inventor
北村卓也
名云武文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116917691A publication Critical patent/CN116917691A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及可以抑制编码效率降低的信息处理装置和方法。本发明使用预定的量化步长来量化在预定范围内环绕的深度值。导出量化的深度值与深度值的预测值之间的差值,量化步长用于量化深度值的环绕值。量化的环绕值用以适当地校正所导出的差值,并且编码已经被适当地校正的差值。例如,本公开可应用于信息处理装置、图像处理装置、电子装置、信息处理方法、图像处理方法或程序。

Description

信息处理装置和方法
技术领域
本公开涉及信息处理装置和信息处理方法,具体地,涉及能够抑制编码效率降低的信息处理装置和信息处理方法。
背景技术
图像传感器用于感测的使用近年来已经增加。例如,已经开发了通过检测从光源照射的正弦波和反射波之间的相位差来测量到目标物体的距离的技术(例如,参见非专利文献1)。
根据这种类型的距离测量方法,利用用于距离测量的多个调制频率的光,可实现更精确的距离测量而不减小最大测量距离。在如上所述使用多个调制频率进行距离测量的情况下,当通过使用具有高调制频率的光获得时,距离测量结果(深度值)环绕预定值范围。
为了对这样的深度值进行编码,已经有一种方法,该方法导出处理目标的深度值和深度值的预测值之间的差,并且对由此导出的差值进行编码,诸如DPCM(差分脉冲编码调制)的方法。同时,已经存在利用环绕以抑制数据编码效率的降低的方法(例如,参见专利文献1和专利文献2)。
[引用列表]
[非专利文献]
[非专利文献1]
Keita Yasutomi,Shoji Kawahito“Technical Description Time-of-FlightCamera,”The Journal of the Institute of Image Information and TelevisionEngineers,2016,第70卷,第11期,第880-885页,2016年8月29日接受
[专利文献]
[专利文献1]
日本专利号6045123
[专利文献2]
日本专利公开号2002-344477
发明内容
[技术问题]
然而,如果采用导出深度值与深度值的预测值之间的差并对由此导出的差值进行编码的前述方法作为如上所述的用于对环绕的深度值进行编码的方法,则差值由于环绕深度值而增加。因此,编码效率可能降低。同时,专利文献1和专利文献2中记载的方法的每一个利用差值和编码数据的环绕(wrapping)来将它们限制在预定值范围内。因此,难以抑制环绕式数据的编码效率的降低。
考虑到这种情况开发本公开并且实现对编码效率的降低的抑制。
[问题的解决方案]
根据本技术的方面的信息处理装置包括:第一量化单元,通过使用预定的量化步长来对环绕预定值范围的深度值进行量化;差值导出单元,通过使用量化步长来导出由第一量化单元量化的深度值和深度值的预测值之间的差值;第二量化单元,通过使用量化步长来对深度值的折回值进行量化;校正单元,通过使用由第二量化单元量化的折回值,适当地校正由差值导出单元导出的差值;编码单元,对由校正单元适当地校正的差值进行编码。
根据本技术的方面的信息处理方法包括:通过使用预定的量化步长来对环绕预定值范围的深度值进行量化;导出所量化的深度值与深度值的预测值之间的差值;通过使用量化步长来对深度值的折回值进行量化;通过使用量化的折回值来适当地校正导出的差值;以及对适当地校正的差值进行编码。
根据本技术的另方面的信息处理装置包括:解码单元,对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据与系数数据的预测值之间的差值;系数数据导出单元,将预测值与由解码单元导出的差值相加,以导出系数数据;量化单元,通过使用预定的量化步长来对深度值的折回值进行量化;校正单元,通过使用由量化单元量化的折回值来适当地校正由系数数据导出单元导出的系数数据;以及逆量化单元,通过使用量化步长来对由校正单元适当地校正的系数数据进行逆量化以导出深度值。
根据本技术的另方面的信息处理方法包括:对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据与系数数据的预测值之间的差值;将预测值与所导出的差值相加以导出系数数据;通过使用预定的量化步长来对深度值的折回值进行量化;通过使用量化的折回值适当地校正所导出的系数数据;以及通过使用量化步长来对适当地校正的系数数据进行逆量化以导出深度值。
根据本技术的一个方面的信息处理装置和信息处理方法,通过使用预定的量化步长来对环绕预定值范围的深度值进行量化。导出所量化的深度值与深度值的预测值之间的差值。通过使用量化步长来对深度值的折回值进行量化。通过使用量化的折回值,适当地校正所导出的差值。对适当地校正的差值进行编码。
根据本技术的另一方面的信息处理装置和信息处理方法,对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据与系数数据的预测值之间的差值。将预测值与所导出的差值相加以导出系数数据。通过使用预定的量化步长来对深度值的折回值进行量化。通过使用量化的折回值,适当地校正导出的系数数据。通过使用量化步长来对适当地校正的系数数据进行逆量化以导出深度值。
附图说明
图1是说明通过间接ToF方法进行的距离测量的状态的实例的示图。
图2是说明通过间接ToF方法进行的距离测量的状态的实例的示图。
图3是说明通过间接ToF方法进行的距离测量的状态的实例的示图。
图4是说明通过间接ToF方法进行的距离测量的状态的实例的示图。
图5是说明通过使用多个调制频率的间接ToF方法的距离测量的状态的实例的示图。
图6是说明通过使用多个调制频率的间接ToF方法的距离测量的状态的实例的示图。
图7是说明测量值的实例的示图。
图8是说明测量值的实例的示图。
图9是描述编码装置的主要配置的实例的框图。
图10是说明折回值的图。
图11是说明差值的校正的状态的实例的示图。
图12是示出编码处理的流程的实例的流程图。
图13是描述解码装置的主要配置的实例的框图。
图14是说明解码数据的校正的状态的实例的示图。
图15是示出解码处理的流程的实例的流程图。
图16是描述编码装置的主要配置的实例的框图。
图17是示出编码处理的流程的实例的流程图。
图18是描述解码装置的主要配置的实例的框图。
图19是示出解码处理的流程的实例的流程图。
图20为示出距离测量装置的主要配置的实例的框图。
图21是示出距离测量过程的流程的实例的流程图。
图22是说明通过使用多个调制频率的间接ToF方法进行的距离测量的状态的实例的示图。
图23是示出距离测量装置的主要配置的实例的框图。
图24是说明折回值的供给状态的一例的图。
图25是说明折回值的供给状态的一例的图。
图26是示出距离测量过程的流程的实例的流程图。
图27是说明P2预测的示图。
图28是描述计算机的主要配置的实例的框图。
具体实施方式
下文将描述用于执行本公开的模式(下文称为实施方式)。注意,将按照以下顺序给出描述。
1.环绕式数据的编码和解码
2.第一实施方式(编码装置)
3.第二实施方式(解码装置)
4.第三实施方式(编码装置)
5.第四实施方式(解码装置)
6.第五实施方式(距离测量装置)
7.第六实施方式(距离测量装置)
8.补充说明
<1.环绕式数据的编码和解码>
<iToF>
图像传感器用于感测的使用近年来已经增加。例如,如非专利文献1所记载的那样,开发了通过检测从光源照射的正弦波和反射波之间的相位差来测量到目标物体的距离的技术。
例如,如图1所示,设计出了如下的ToF(Time-of-Flight:飞行时间),该ToF将来自发光源1的光(例如红外光)照射到对象3,测量距离测量传感器2接收到所照射的光的反射的光为止的时间,基于测量出的时间导出到对象3的距离。此外,作为用于该ToF的方法,已经设计了直接ToF方法(也称为dToF(直接飞行时间))和间接ToF方法(也称为iToF(间接飞行时间))。
直接ToF方法使用TDC(时间-数字转换器)。因此,难以实现高像素化。间接ToF方法在每个像素内不需要诸如TDC的时间计算电路,并且因此能够抑制每个像素内的元件数量的增加。因此,容易实现高像素化。
在间接ToF方法的情况下,由锁定像素利用与光源同步的时间窗(时钟)调制由光电二极管生成的光电荷。此时,时间信息反映在信号量中,从而可导出飞行时间。
例如,间接ToF方式采用的调制方法包括连续波调制和脉冲波调制。图2示出了连续波调制的状态的实例。在图2中所示的曲线图中,正弦波11表示发射光(发射),而正弦波12表示反射的光(接收)。如图2所示,在连续波调制的情况下,可通过使用四个时间窗口的锁定检测来导出发射光和反射的光之间的相位差。这里采用的锁定检测是指利用与光源同步的短电子快门(short electronic shutter)多次累积相同相位的信号的动作。在通过正弦波进行调制的情况下,相位差通过使用分别在四个时间窗口TW1、TW2、TW3和TW4中累积的信号A0、A1、A2和A3由以下等式(1)导出。
调制频率fm是已知的。因此,相位可通过以下等式(2)转换成时间(tTOF)。
注意,接收光包含光源成分以外的直流成分、即背景光成分,但通过上述式(1)的计算来消除该背景光成分。因此,在传感器没有饱和的范围内,可以估计距离而不受背景光的影响。
同时,图3示出了脉冲波调制的状态的实例。在脉冲波调制的情况下,假定通过TW1和TW2累积的信号分别为A0和A1,则以由以下等式(3)表示的方式导出飞行时间tTOF
TD表示放电窗口,不必要的背景光通过该放电窗口放电。通过设置三个或更多时间窗口TW,可以仅识别背景光分量。以此方式,可以估计距离而不受背景光的影响。根据脉冲波调制,可以通过提高光源的占空比来实现对背景光的成像稳健。
<深度值导出装置>
图4是描述通过使用上述间接ToF方法导出深度值的深度值导出装置的主要配置的实例的框图。图4中描述的深度值导出装置30包括传感器31、i信号生成单元32、q信号生成单元33、相位差检测单元34和深度计算单元35。
传感器31接收光并且与各自具有调制波的四分之一周期的多个快门协作来测量所接收的光的强度。传感器31还将这四个部分(N1、N2、N3、N4)的数据提供至i信号生成单元32和q信号生成单元33。i信号生成单元32从数据N3中减去数据N1,以生成i(同相)信号。i信号生成单元32将i信号提供至相位差检测单元34。q信号生成单元33从数据N2中减去数据N4以生成q(正交)信号。q信号生成单元33将该q信号提供至相位差检测单元34。
相位差检测单元34通过使用提供的i信号和q信号以由以下等式(4)表示的方式导出相位差
相位差检测单元34将所导出的相位差提供至深度计算单元35。
深度计算单元35以由以下等式(5)表示的方式从相差导出深度值(深度)d。
以上述方式,可以从传感器输出导出深度值d。
<使用多个调制频率的iToF>
根据iToF,通过提高照射光的调制频率可实现更精确的距离测量。然而,在这种情况下,波长减小。因此,距离可测量的范围变窄。例如,假设在距传感器距离X1处的点与在距传感器距离X2处的点之间延伸的范围X的距离是可测量的。在这种情况下,可以通过提高调制频率来更精确地测量范围X。然而,范围X的长度减小(距离X1和距离X2之间的差减小)。相反,通过降低调制频率降低了距离测量的准确度。然而,范围X的长度增加(距离X1与距离X2之间的差值增加)。
因此,通过使用组合多个调制频率的iToF,可以在抑制距离可测量范围的减小的同时(在抑制范围X的长度的减小的同时)提高距离测量的准确度(双频率iToF)。例如,可通过合并由低调制频率iToF导出并被指定为高阶比特的深度值和由高调制频率iToF导出并被指定为低阶比特的深度值来获得具有更宽范围的可能值的更精确的深度值。
例如,如图5所示,可通过为每个调制频率准备装置(光源和传感器)并且通过使用装置和每个调制频率的照射光来测量距离而实现这种方法(双频率iToF)。
此外,还可采用图6中描述的实例,其准备一对装置(光源和传感器)并且以时分方式使用装置以利用每个调制频率的光实现距离测量。具体地,在特定的定时使用具有低调制频率的照射光来进行距离测量,并且在不同的定时使用具有高调制频率的照射光来进行距离测量。通过以上述方式在沿着时间轴切换调制频率的同时重复距离测量,可实现使用各个调制频率的照射光的距离测量。此外,这种情况仅需要比图5的实例中更少数量的部件。例如,这种情况可以仅使用一个芯片来实践。
如上所述,在以时分方式使用一个装置的情况下,需要将至少一个调制频率的距离测量结果(深度值)的数据存储在存储器等中以合并各个调制频率的距离测量结果。当将距离测量结果的数据存储在存储器中时,可以通过编码(压缩)数据来抑制存储所需的存储器容量的增加。
注意,该数据编码可以通过任意编码方法来实现。然而,优选采用能够提高编码效率和减少延迟的这种方法。例如,可采用诸如DPCM(差分脉冲编码调制)的方法等导出样本之间的差值并且对差值进行编码的方法。
<深度值的编码>
因此,这里将检查深度值的编码。例如,图7中的A示出在使用如上所述的组合多个调制频率的iToF的情况下,通过使用调制频率最低的照射光的距离测量导出的深度值(测量值)与从传感器到与距离测量目标相对应的物体的实际距离(实际距离)之间的关系。即,测量值与实际距离的关系是一一对应的关系。另一方面,图7中的B示出通过使用调制频率高于图7中的A的调制频率的照射光的距离测量获得的测量值与实际距离之间的关系。即,测量值环绕(折回)预定值范围。这是因为可测量的范围比实际距离的可能值的范围更窄。
例如,假设通过使用低调制频率的iToF和使用高调制频率的iToF的组合来测量从传感器41到物体42的距离,如图8的A中所示。传感器41包括多个像素,像通常所说的图像传感器。每个像素接收诸如反射的光的光。因此,获得传感器41的每个像素的深度值作为距离测量结果。另外,假设传感器41在距离测量中可测量的范围由双向箭头43指示。换言之,假定由双向箭头43指示使用低调制频率的iToF可测量的范围。
如图8的A中所示,物体42具有矩形形状,该矩形形状具有与从传感器41观看时的深度方向对应的纵向方向。即,物体42从更接近传感器41的位置延伸至更远离传感器41的位置。因此,从传感器41到物体42的表面的实际距离在物体42的纵向方向上从更靠近传感器41的位置平滑地改变为更远离传感器41的位置。
图8中的B所示的深度图像44表示使用低调制频率的iToF的距离测量结果(即,各个像素的深度值)。深度图像44通过颜色表示深度值。较亮的部分表示较远的位置(较大的深度值),而较暗的部分表示较近的位置(较小的深度值)。如图8的B中所示,与具有平滑改变的实际距离的物体42的表面对应的像素的深度值以类似于实际距离的方式在深度图像44中的物体42的纵向方向上平滑地改变。因此,在编码时,获得与邻近像素的差,并且对如此获得的差值进行编码,如同DPCM的情况。以此方式,可通过利用像素的深度值之间的相关性来提高编码效率。
图8中的C所示的深度图像45示出使用高调制频率的iToF的距离测量结果(即,各个像素的深度值)。与深度图像44的情况一样,深度图像45通过颜色表示深度值。如图7的B所示,在使用高调制频率的iToF的情况下,测量值环绕预定值范围。因此,在深度图像45中,即使在实际距离平滑地改变的区域中,深度值也在折回部处显著地改变。例如,在虚线45A上方的像素和在虚线45A下方的像素具有大致相同的实际距离,但是由于深度值的折回而具有显著不同的深度值。所以,如果如在DPCM的情况下一样在编码时获得和编码作为与附近像素的差的差值,则差值在这种深度值的折回部可能变大。具体地,在深度值环绕的情况下,与附近像素的相关性可以降低,并且因此,编译效率可能降低。
虽然专利文献1和专利文献2均公开了通过环绕差值和编码数据将差值和编码数据限制在预定值范围内的方法,以抑制编码效率的降低。然而,这些方法难以抑制如上所述的深度值这样的环绕式数据的编码效率的降低。
<差值的校正>
因此,在编码之前适当地校正差值。例如,信息处理方法通过使用预定的量化步长来对环绕预定值范围的深度值进行量化,导出所量化的深度值与深度值的预测值之间的差值,通过使用上述量化步长来对深度值的折回值进行量化,通过使用所量化的折回值来适当地校正所导出的差值,并对适当地校正的差值进行编码。
例如,信息处理装置包括:第一量化单元,通过使用预定的量化步长来对环绕预定值范围的深度值进行量化;差值导出单元,导出由第一量化单元量化的深度值与深度值的预测值之间的差值;第二量化单元,通过使用上述量化步长来对深度值的折回值进行量化;校正单元,通过使用由第二量化单元量化的折回值来适当地校正由差值导出单元导出的差值;编码单元,对由校正单元适当地校正的差值进行编码。
如上所述,通过使用深度值的折回值适当地校正差值,可以抑制由深度值的折回生成的差值的增加。因此,可实现编码效率的降低的抑制。
注意,深度值的量化可以减小差值。然而,当仅对深度值进行量化时,在深度值和折回值之间没有建立相关性。在这种情况下,难以实现差值的校正。因此,还通过使用与深度值的量化步长类似的量化步长来对折回值进行量化。由此,能够维持深度值与折回值的相关关系,实现差值的修正。因此,可进一步抑制差值的增加,因此,可进一步实现编码效率降低的抑制。
<系数数据的校正>
注意,当使用上述深度值的编码数据(深度值的差值)时,上述深度值的编码数据被解码。在对编码数据进行解码时,适当地校正通过对编码数据进行解码而获得的系数数据(量化的深度值)。
例如,信息处理方法对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据和系数数据的预测值之间的差值,将预测值与导出的差值相加以导出系数数据,通过使用预定的量化步长对深度值的折回值进行量化,通过使用所量化的折回值适当地校正导出的系数数据,并且通过使用上述量化步长逆量化校正的系数数据,以导出深度值。
例如,信息处理装置包括:解码单元,对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据和系数数据的预测值之间的差值;系数数据导出单元,将预测值与由解码单元导出的差值相加以导出系数数据;量化单元,通过使用预定的量化步长来对深度值的折回值进行量化;校正单元,通过使用由量化单元量化的折回值来适当地校正由系数数据导出单元导出的系数数据;逆量化单元,通过使用上述量化步长来对由校正单元适当地校正的系数数据进行逆量化以导出深度值。
如上所述,例如,通过使用深度值的折回值,适当地校正通过对编码数据进行解码而导出的系数数据。以这种方式,可以通过适当地对编码数据进行解码来导出深度值。换言之,可以抑制由深度值的折回生成的差值的增加,并且因此,可以实现编码效率的降低的抑制。
应注意,在深度值被量化和编码的情况下,例如,在通过对编码数据进行解码所获得的系数数据与深度值的折回值之间没有建立相关性。在这种情况下,难以实现使用深度值的折回值对系数数据进行校正。因此,通过与系数数据的逆量化所采用的量化步长类似的量化步长来对深度值的折回值进行量化。由此,能够维持系数数据和折回值的相关关系,能够实现系数数据的校正。因此,可以抑制差值的增加,并且因此,可以进一步实现编码效率降低的抑制。
<2.第一实施方式>
<编码装置>
图9是描述作为应用本技术的信息处理装置的一种模式的编码装置的配置的实例的框图。图9中描述的编码装置100是对通过iToF获得的深度数据(深度图像、深度值)进行编码的装置。要注意的是,图9仅仅描述了处理单元和数据流的主要部分,因此,并非必须说明所有处理单元和数据流。具体地,编码装置100可以包括图9中未描述为块的处理单元,或者图9中未由箭头等指示的处理或数据流。
如图9中所描述的,编码装置100包括量化单元111、量化单元112、DPCM处理单元113、运算单元114、运算单元115、选择控制单元116、选择单元117和编码单元118。运算单元114、运算单元115、选择控制单元116和选择单元117构成校正单元121。
量化单元111获取环绕的深度值的折回值。例如,如图10所示,折回值是包绕的深度值(测定值)的上限值。即,环绕的深度值(测定值)是比折回值小的值。在图10描述的实例的情况下,折回值是“1500”。从编码装置100的外部提供折回值。例如,可以从系统控制器等提供折回值。
量化单元111通过使用量化步长量化获取的折回值。针对任意数据单元中的每一个设定量化步长。例如,可针对每个块(深度图像中的多个像素)设置量化步长。此外,量化单元111与量化单元112共享该量化步长。即,量化单元111通过使用与量化单元112的量化步长相同的量化步长对折回值进行量化。由此,能够保持折回值与深度值的相关性。例如,量化单元111通过量化步长划分折回值以对折回值进行量化。在导出量化的折回值(例如,折回值/量化步长)之后,量化单元111将量化的折回值提供至校正单元121(校正单元121的运算单元114和运算单元115)。
量化单元112获取深度值作为输入数据。深度值是表示从用于距离测量的传感器到包括与距离测量目标的物体相对应的对象的距离的信息。用于距离测量的方法可以是任意方法。例如,深度值可以通过使用间接ToF(飞行时间)方法的距离测量来导出。例如,可以按照以下方式导出深度值。从光输出单元照射IR激光。所照射的光在包括与距离测量目标的物体相对应的对象上被反射,并由传感器检测为反射的光。深度值从照射的光和反射的光之间的相位差导出。传感器可包含多个像素,且可针对传感器的像素中的每一个导出深度值。因此,量化单元112可以获取包括各像素的深度值的深度图像。
深度值环绕预定值范围。例如,深度值可以通过基于通过使用具有高调制频率的光执行的间接ToF方法的距离测量来导出。例如,可通过照射具有调制频率的光并检测所照射的光的反射的光来导出深度值,调制频率的距离可测量范围比到对象的距离的可能值的范围窄。
量化单元112通过使用量化步长对由此获取的深度值进行量化。针对任意数据单元中的每一个设定量化步长。例如,可针对每个块(深度图像中的多个像素)设置量化步长。此外,量化单元112与量化单元111共享量化步长。具体地,量化单元112通过使用与量化单元111的量化步长相同的量化步长来量化深度值。以这种方式,能够保持折回值与深度值的相关性。例如,量化单元112将深度值除以量化步长以对深度值进行量化。
在导出量化的深度值(例如,深度值/量化步长)之后,量化单元112将量化的深度值提供到DPCM处理单元113。
DPCM处理单元113对由量化单元112量化的深度值执行DPCM处理,以导出深度值和深度值的预测值之间的差值。具体地,DPCM处理单元113指定先前处理目标像素的深度值作为当前处理目标像素的预测值,先前处理目标像素是前一个处理的像素,当前处理目标像素是目前处理的目标像素,并导出当前处理目标像素的深度值与先前处理目标像素的深度值之间的差值。基于由DPCM处理单元113以上述方式导出的差值,可实现编码效率降低的抑制。DPCM处理单元113将通过DPCM处理导出的差值提供至校正单元121(校正单元114、运算单元115、选择控制单元116和校正单元121的选择单元117)。
校正单元121通过使用由量化单元111量化的折回值来适当地校正由DPCM处理单元113导出的差值。
运算单元114获取从DPCM处理单元113提供的差值。运算单元114进一步获取由量化单元111提供的量化的折回值。运算单元114将量化的折回值与差值相加以校正差值。运算单元114将校正结果(作为差值与量化的折回值的和的加法结果)提供至选择控制单元116和选择单元117。
运算单元115获取从DPCM处理单元113提供的差值。此外,运算单元115获取由量化单元111提供的量化的折回值。运算单元115从差值中减去量化的折回值以校正差值。运算单元115将校正结果(作为差值与量化的折回值之间的差的减法结果)提供至选择控制单元116和选择单元117。
选择控制单元116获取从DPCM处理单元113提供的差值。选择控制单元116还获取从运算单元114提供的差值的校正结果(即,作为差值与量化的折回值的和的加法结果)。选择控制单元116进一步获取从运算单元115提供的差值的校正结果(即,作为差值与量化的折回值之间的差的减法结果)。选择控制单元116基于这些值来控制选择单元117的操作。
选择单元117获取从DPCM处理单元113提供的差值。选择单元117进一步获取由运算单元114提供的差值的校正结果(即,作为差值与量化的折回值的和的加法结果)。选择单元117还取得从运算单元115提供的差分的修正结果(即,作为差值与量化的折回值之间的差的减法结果)。选择单元117在选择控制单元116的控制下,从所获取的差值、加法结果和减法结果的绝对值中选择最小绝对值。选择单元117将选择的值(差值、加法结果以及减法结果中的任一个)提供至编码单元118。
编码单元118获取从校正单元121(校正单元121的选择单元117)提供的信息并对所获取的信息进行编码。该信息与由校正单元121适当地校正的差值相对应。具体而言,该信息与由选择单元117选择的差值、加法结果以及减法结果中的任一个相对应。用于该编码的方法可以是任意方法。例如,可采用可变长度编码(VLC(可变长度编码))或固定长度编码(FLC(固定长度编码))。编码单元118将通过对适当地校正的差值(差值、加法结果或减法结果)进行编码而导出的编码数据输出至编码装置100的外部。
<处理实例>
将参考图11描述由如上配置的编码装置100执行的处理的实例。例如,假设与输入数据相对应的连续四个像素的深度值是“1490”、“0”、“10”和“20”。这些深度值中的每一个是通过高频iToF获得的深度值,并且环绕“1500”的折回值。进一步假设这些深度值是正整数。具体地,假设深度值的值范围是从“0”至“1499”的范围。另外,假设在上述四个像素中从左起在第二像素处生成深度值的折回。即,假设与四个像素相对应的到对象的实际距离为“1490”、“1500”、“1510”和“1520”。
而且,如图11中所示,量化步长被设置为“10”。量化单元111将深度值的折回值除以该量化步长,以对该折回值进行量化。因此,在该实例的情况下,如图11中所示,获得“150”作为量化的折回值。量化单元112通过量化步长“10”划分输入数据(深度值)以对输入数据进行量化。因此,如图11的左侧部分中所示,获得“149”、“0”、“1”以及“2”作为由量化单元112量化的输入数据。
假设DPCM处理单元113计算深度值与预测值之间的差[1],该预测值是位于紧邻左侧的像素的深度值。由于DPCM处理单元113使用上述量化的输入数据作为深度值,“-149”、“1”和“1”被获得为如图11的左侧部分中所示的[1]。即,引起折回的像素的差值增加。
如上所述,与这四个像素相对应的实际距离为“1490”、“1500”、“1510”和“1520”。因此,如果这些深度值没有引起折回,则获得“149”、“150”、“151”和“152”作为校正的输入数据(没有折回的情况下的输入数据)。如果DPCM处理单元113基于这些深度值导出[1],则获得“1”、“1”和“1”作为[1]。具体而言,在图11的实例的情况下,与没有折回的情况相比,引起折回的像素的差值增大。因此,如果对上文所描述的[1]进行编码,那么编码效率可能降低。
为了解决该问题,运算单元114将量化的折回值“150”与[1]相加以导出校正结果(加法结果)[2]。在图11的左侧部分的实例的情况下,获得“1”、“151”和“151”作为[2]。此外,运算单元115从[1]中减去量化的折回值“150”以导出校正结果(减法结果)[3]。在图11的左侧部分中的实例的情况下,“-259”、“-149”以及“-149”作为[3]获得。
此后,选择单元117在选择控制单元116的控制下针对每个像素从[1]、[2]和[3]的绝对值中选择最小绝对值。在图11的左侧部分的实例的情况下,选择“1”、“1”和“1”。
如上所述,适当地校正差值,并且从校正的差值的绝对值中选择最小绝对值。以这种方式,可以抑制编码差值的增加。因此,可实现编码效率的降低的抑制。
图11的右侧部分示出了不同的实例。假设在该实例中,与输入数据相对应的连续四个像素的深度值是“20”、“10”、“0”和“1490”。这些深度值中的每一个是通过高频iToF获得的深度值,并且环绕“1500”的折回值。进一步假设这些深度值是正整数。具体地,假设深度值的值范围是从“0”至“1499”的范围。另外,在上述四个像素中,假设在从右侧开始的第一个像素中引起深度值的折回。即,假设与四个像素相对应的到对象的实际距离为“1520”、“1510”、“1500”和“1490”。
而且,如图11中所示,量化步长被设置为“10”。在该实例的情况下,如图11中所示,获得“150”作为量化的折回值。而且,如图11的右侧部分中所示,获得“2”、“1”、“0”以及“149”作为量化的输入数据。
在该实例的情况下,“-1”、“-1”、以及“-149”作为[1]获得。因此,引起折回的像素的差值增加。
如上所述,与这四个像素相对应的实际距离为“1520”、“1510”、“1500”和“1490”。因此,如果没有引起这些深度值的折回,则获得“152”、“151”、“150”和“149”作为校正输入数据(没有折回的情况下的输入数据)。因此,“-1”、“-1”和“-1”作为[1]获得。具体而言,在图11的实例的情况下,与没有折回的情况相比,导致折回的像素的差值增大。因此,如果对上文所描述的[1]进行编码,那么编码效率可能降低。
为了解决该问题,运算单元114将量化的折回值“150”与[1]相加以导出校正结果(加法结果)[2]。在图11的右侧部分中的实例的情况下,获得“149”、“149”以及“299”作为[2]。此外,运算单元115从[1]中减去量化的折回值“150”以导出校正结果(减法结果)[3]。在图11右侧部分的实例的情况下,“-151”、“-151”和“-1”作为[3]获得。
此后,选择单元117在选择控制单元116的控制下针对每个像素从[1]、[2]和[3]的绝对值中选择最小绝对值。在图11的右侧部分中的实例的情况下,选择“-1”、“-1”和“-1”。
如上所述,适当地校正差值,并且从校正的差值的绝对值之中选择最小绝对值。以这种方式,可以抑制编码差值的增加。因此,可实现编码效率的降低的抑制。
此外,对深度值和深度值的折回值两者进行量化。所以,可以更加抑制差值的增加,并且因此,可以进一步实现编码效率的降低的抑制。
<编码处理的流程>
参照图12中的流程图,随后描述由编码装置100执行的编码处理的流程的实例。
在编码处理开始时,在步骤S101中,编码装置100的量化单元111将折回值除以预定的量化步长,以对折回值进行量化。
在步骤S102中,量化单元112通过与由量化单元111使用的用于量化的量化步长相同的量化步长对输入数据(环绕预定值范围的深度值)划分,以对输入数据进行量化。
在步骤S103中,DPCM处理单元113对在步骤S102中导出的量化的输入数据执行DPCM处理,以导出当前处理目标像素的深度值与前一个处理的目标像素的深度值之间的差值(差数据)。
在步骤S104中,运算单元114将在步骤S101中求出的量化的折回值与在步骤S103中求出的差数据相加。
在步骤S105中,运算单元115从在步骤S103中导出的差数据中减去在步骤S101中导出的量化的折回值。
在步骤S106中,选择单元117在选择控制单元116的控制下,从在步骤S103中导出的差数据、在步骤S104中导出的加法结果以及在步骤S105中导出的减法结果的绝对值中选择最小绝对值。
在步骤S107中,编码单元118对适当地校正的差数据(在步骤S106中选择的差值、加法结果或减法结果)进行编码以导出编码数据。
在步骤S107中的处理完成之后,编码处理结束。编码装置100针对深度图像中的每个像素(各个深度值)执行这样的编码处理。
以这种方式,如上所述,可以抑制编码差值的增加。因此,可实现编码效率的降低的抑制。
此外,深度值和深度值的折回值都被量化。所以,可以更加抑制差值的增加,并且因此,可以进一步实现编码效率的降低的抑制。
<3.第二实施方式>
<解码装置>
图13是描述作为应用本技术的信息处理装置的一种模式的解码装置的配置的实例的框图。图13中所示的解码装置200是对通过iToF获得的深度数据(深度图像、深度值)的编码数据进行解码的装置。解码装置200获取并解码由编码装置100生成的编码数据并且输出深度值作为输出数据。
要注意的是,图13仅仅描述了处理单元和数据流的主要部分,因此,并非必须说明所有处理单元和数据流。具体地,解码装置200可以包括未在图13中描述为块的处理单元,或者未在图13中由箭头等指示的处理或数据流。
如图13中所描述的,解码装置200包括量化单元211、解码单元1212、逆DPCM处理单元213、运算单元214、运算单元215、选择控制单元216、选择单元217和逆量化单元218。运算单元214、运算单元215、选择控制单元216和选择单元217构成校正单元221。
量化单元211获取环绕的深度值的折回值。该折回值类似于在编码装置100(图10中的实例)的情况下的折回值。从解码装置200的外部提供折回值。例如,可以从系统控制器等提供折回值。或者,例如,可以从已经生成编码数据的编码装置100提供折回值。
量化单元211通过使用量化步长对获取的折回值进行量化。针对任意数据单元中的每一个设置该量化步长。例如,可针对每个块(深度图像中的多个像素)设置量化步长。此外,量化单元211与逆量化单元218共享该量化步长。具体地,量化单元211通过使用与逆量化单元218的量化步长相同的量化步长对折回值进行量化。由此,能够保持折回值与深度值的相关性。例如,量化单元211将折回值除以量化步长以量化折回值。在导出量化的折回值(例如,折回值/量化步长)之后,量化单元211将量化的折回值提供至校正单元221(校正单元214、运算单元215和校正单元221的选择控制单元216)。
解码单元212获取编码数据。该编码数据由编码装置100使用在第一实施方式中描述的本技术生成。解码单元212对获取的编码数据进行解码以生成差数据。解码单元212通过与编码单元118使用的编码方法相对应的解码方法来对编码数据进行解码。该差数据是与环绕预定值范围的深度值相关联的系数数据和系数数据的预测值之间的差值。例如,可采用可变长度编码(VLC(可变长度编码))或固定长度编码(FLC(固定长度编码))。解码单元212将所导出的差数据提供至逆DPCM处理单元213。
逆DPCM处理单元213获取当前处理目标像素的差数据,该当前处理目标像素是当前从解码单元212提供的处理目标像素。该差数据是当前处理目标像素的系数数据与作为前一个处理的目标像素的先前处理目标像素的系数数据之间的差值。逆DPCM处理单元213还从选择单元217获取先前处理目标像素的系数数据。逆DPCM处理单元213指定先前处理目标像素的系数数据作为当前处理目标像素的预测值,并且执行作为DPCM处理的逆处理的逆DPCM处理。逆DPCM处理是用于将当前处理目标像素的预测值与当前处理目标像素的差数据相加的处理。具体地,逆DPCM处理单元213将先前处理目标像素的系数数据与当前处理目标像素的差数据相加,以导出当前处理目标的系数数据。以这种方式,作为编码差值的编码数据可以基于由逆DPCM处理单元213从差数据导出的系数数据来正确地解码。换言之,可实现对差值进行编码。因此,可实现编码效率的降低的抑制。逆DPCM处理单元213将通过逆DPCM处理导出的当前处理目标像素的系数数据提供至校正单元221(校正单元221的运算单元214、运算单元215、选择控制单元216、以及选择单元217)。
校正单元221通过使用由量化单元211量化的折回值,适当地校正由逆DPCM处理单元1213导出的系数数据。
运算单元214获取从逆DPCM处理单元213提供的系数数据。运算单元214进一步获取从量化单元211提供的量化的折回值。运算单元214将量化的折回值与系数数据相加以校正系数数据。运算单元214将校正结果(作为系数数据与量化的折回值的和的加法结果)提供至选择单元217。
运算单元215获取从逆DPCM处理单元213提供的系数数据。运算单元215进一步获取从量化单元211提供的量化的折回值。运算单元215从系数数据中减去量化的折回值以校正系数数据。运算单元215将校正结果(作为系数数据与量化的折回值之间的差的减法结果)提供至选择单元217。
选择控制单元216获取从量化单元211提供的量化的折回值。选择控制单元216进一步获取从逆DPCM处理单元213提供的系数数据。选择控制单元216基于这些值控制选择单元217的操作。
选择单元217获取从逆DPCM处理单元213提供的系数数据。选择单元217进一步获取从运算单元214提供的系数数据的校正结果(即,作为系数数据与量化的折回值的和的加法结果)。选择单元217进一步获取从运算单元215提供的系数数据的校正结果(即,作为系数数据与量化的折回值之间的差的减法结果)。选择单元217在选择控制单元216的控制下,从所获取的系数数据、加法结果和减法结果的值中选择落入深度值的值范围内的值。选择单元217将选择的值(系数数据、加法结果和减法结果中的任一个)作为适当地校正的系数数据提供至逆量化单元218。
逆量化单元218获取从选择单元217提供的适当地校正的系数数据。该系数数据是量化的深度值。
逆量化单元218通过使用量化步长对适当地校正的系数数据进行逆量化。例如,逆量化单元218对从系数数据、加法结果和减法结果中由选择单元217选择的一个进行逆量化。该适当地校正的系数数据是量化的深度值。换句话说,逆量化单元218对适当地校正的系数数据进行逆量化以导出深度值。
针对任意数据单元中的每一个设置该量化步长。例如,可针对每个块(深度图像中的多个像素)设置量化步长。此外,逆量化单元218与量化单元211共享量化步长。具体地,逆量化单元218通过使用与量化单元211的量化步长相同的量化步长来对系数数据进行逆量化。由此,能够保持折回值与深度值的相关性。例如,逆量化单元218将适当地校正的系数数据乘以量化步长以导出深度值。
该深度值是表示从用于距离测量的传感器到包括与距离测量目标的物体相对应的对象的距离的信息。用于距离测量的方法可以是任意方法。例如,深度值可以通过使用间接ToF(飞行时间)方法的距离测量来导出。例如,可以按照以下方式导出深度值。从光输出单元照射IR激光。所照射的光在包括与距离测量目标的物体相对应的对象上被反射,并由传感器检测为反射的光。深度值从照射的光和反射的光之间的相位差导出。传感器可包含多个像素,且可针对传感器的像素中的每一个导出深度值。换句话说,逆量化单元218对系数数据进行逆量化以导出这样的深度值。
该深度值环绕预定值范围。例如,深度值可以是基于通过使用具有高调制频率的光执行的间接ToF方法通过距离测量导出的深度值。例如,将通过逆量化获得(还原)的深度值可以是通过照射具有调制频率的光并且检测所照射的光的反射的光而导出的深度值,其中,调制频率的距离可测量范围比到对象的距离的可能值的范围窄。
逆量化单元218将导出的深度值作为输出数据输出到解码装置200的外部。
<处理实例>
将参考图14描述由如上配置的解码装置200执行的处理的实例。例如,假设从位于紧邻左侧的各个像素开始的连续四个像素的差数据为“1”、“1”和“1”,如在图14的左侧部分中的实例中。通过对该差数据执行逆DPCM处理,获得“149”、“150”、“1”和“2”作为系数数据(解码数据)。
在该系数数据在值范围(0至149)之外的情况下,选择单元217选择落入值范围内的校正系数数据。在图14的左侧部分的实例的情况下,从左边开始的第二像素的解码数据在区域之外。因此,选择单元217选择校正的系数数据。在该实例的情况下,选择单元217选择通过从解码数据中减去量化的折回值而计算的减法结果。
此后,逆量化单元218对以这种方式适当地校正的系数数据进行逆量化。通过逆量化,获得“1490”、“0”、“10”和“20”的输出数据(深度值)。
在图14的右侧部分的实例的情况下,从位于紧邻左侧的各个像素开始的连续四个像素的差数据为“-1”、“-1”以及“-1”。通过对该差数据执行逆DPCM处理,获得“2”、“1”、“0”和“-1”作为系数数据(解码数据)。
在该系数数据在值范围(0至149)之外的情况下,选择单元217选择落入值范围内的校正系数数据。在图14的右侧部分的实例的情况下,从左边开始的第四像素的解码数据在区域之外。因此,选择单元217选择校正的系数数据。在该实例的情况下,选择单元217选择通过将量化的折回值与解码数据相加计算的加法结果。
此后,逆量化单元218对以这种方式适当地校正的系数数据进行逆量化。通过逆量化,获得“20”、“10”、“0”和“1490”的输出数据(深度值)。
通过以上述方式在值范围之外适当地校正系数数据,可以抑制差值的增加。因此,可实现编码效率的降低的抑制。此外,由于对深度值的折回值进行量化和使用,因此可以更加抑制差值的增加,并且因此,可以进一步实现编码效率的降低的抑制。
<解码处理流程>
接下来将参考图15中的流程图描述由解码装置200执行的解码处理的流程的实例。
在解码处理开始时,在步骤S201中,解码装置200的量化单元211将折回值除以预定的量化步长,以对折回值进行量化。
在步骤S202中,解码单元212对编码数据进行解码以导出差数据。
在步骤S203中,逆DPCM处理单元213对在步骤S201中导出的差数据执行逆DPCM处理,以导出系数数据(解码数据)。
在步骤S204中,运算单元214将在步骤S201中导出的量化的折回值与在步骤S203中导出的系数数据(解码数据)相加。
在步骤S205中,运算单元215从在步骤S203中导出的系数数据(解码数据)中减去在步骤S201中导出的量化的折回值。
在步骤S206中,选择单元217在选择控制单元216的控制下,从在步骤S203中导出的系数数据(解码数据)、在步骤S204中导出的加法结果以及在步骤S205中导出的减法结果的值中选择落入深度值的值范围内的值。
在步骤S207中,逆量化单元218对在步骤S206中从在步骤S203中导出的系数数据(解码数据)、在步骤S204中导出的加法结果和在步骤S205中导出的减法结果中选择的一个进行逆量化,以导出深度值。
在步骤S207中的处理完成之后,解码处理结束。解码装置200针对深度图像中的每个像素(各个深度值)执行这样的解码处理。
以这种方式,如上所述,可以抑制差值的增加。因此,可实现编码效率的降低的抑制。此外,由于对深度值的折回值进行量化,可更加抑制差值的增加,因此,可进一步实现编码效率降低的抑制。
<4.第三实施方式>
<编码装置>
参考图9描述的是获得的差值、加法结果以及减法结果并且从它们的绝对值之中选择最小绝对值的方法,作为用于使用编码装置100实现差值的适当地校正的方法。然而,用于实现差值的适当地校正的方法不限于该实例并且可以是任意方法。例如,可以基于差值选择校正方法。
图16描述在此情况下编码装置100的主要配置的实例。在这种情况下,DPCM处理单元113将通过DPCM处理导出的差值提供至校正单元121(校正单元121的选择控制单元116和选择单元117)。
选择控制单元116获取从DPCM处理单元113提供的差值。选择控制单元116还获取从量化单元111提供的量化的折回值。选择控制单元116基于这些值来控制选择单元117的操作。
选择单元117获取从DPCM处理单元113提供的差值。选择单元117在选择控制单元116的控制下,基于所获取的差值,选择用于校正差值的方法。此后,选择单元117将差值提供至与选择相对应的处理单元。例如,选择单元117选择省略差值校正、将量化的折回值与差值相加、或者从差值中减去量化的折回值,作为用于校正差值的方法。此后,在选择了省略差值校正的情况下,选择单元117将差值提供至编码单元118。或者,在选择加上量化的折回值的情况下,选择单元117将差值提供至运算单元114。进一步可替代地,在选择减去量化的折回值的情况下,选择单元117将差值提供至运算单元115。
在由选择单元117选择加上量化的折回值的情况下,运算单元114获取从选择单元117提供的差值,并且将从量化单元111提供的量化的折回值与获取的差值相加。运算单元114将校正结果(作为差值和量化的折回值的和的加法结果)提供至编码单元118。
在由选择单元117选择减去量化的折回值的情况下,运算单元115获取从选择单元117提供的差值,并且从获取的差值中减去从量化单元111提供的量化的折回值。运算单元115将校正结果(作为差值与量化的折回值之间的差值的减法结果)提供至编码单元118。
在由选择单元117选择省略差值校正的情况下,编码单元118获取从选择单元117提供的差值并且对差值进行编码。或者,在由选择单元117选择加上量化的折回值的情况下,编码单元118对作为运算单元114导出的差值与量化的折回值的和的加法结果进行编码。进一步可替代地,在由选择单元117选择减去量化的折回值的情况下,编码单元118对作为由运算单元115导出的差值与量化的折回值之间的差值的减法结果进行编码。可采用与图9的情况下的编码方法相似的编码方法。如上所述,编码单元118将通过对适当地校正的差值(差值、加法结果或减法结果)进行编码而导出的编码数据输出至编码装置100的外部。
如上所述通过基于差值选择校正方法,可以抑制编码差值的增加。因此,可实现编码效率的降低的抑制。此外,在这种情况下,同样地,对深度值和深度值的折回值两者都进行量化,并且因此,可以更加抑制差值的增加,使得可以进一步实现编码效率的降低的抑制。
<编码处理的流程>
将参考图17中的流程图描述在这种情况下的编码处理的流程的实例。
在编码处理开始时,编码装置100的量化单元111在这种情况下以预定的量化步长划分折回值,以在步骤S301中对折回值进行量化。
在步骤S302中,量化单元112通过由量化单元111使用用于量化的量化步长相同的量化步长对输入数据(环绕预定值范围的深度值)进行划分,以对输入数据进行量化。
在步骤S303中,DPCM处理单元113对在步骤S102中导出的量化的输入数据执行DPCM处理,以导出当前处理目标像素的深度值与前一个处理的目标像素的深度值之间的差值(差数据)。
在步骤S304中,选择单元117在选择控制单元116的控制下,基于差数据的值,选择用于校正差数据的方法。
在步骤S305中,选择控制单元116确定是否将量化的折回值与差数据相加。在确定为将差数据与量化的折回值相加的情况下,即选择单元117选择加上量化的折回值的情况下,处理进入步骤S306。
在步骤S306中,运算单元114将在步骤S301中导出的量化的折回值与在步骤S303中导出的差数据相加。在步骤S306的处理结束后,处理进入步骤S309。
另一方面,在步骤S305中确定为未将差数据与量化的折回值相加的情况下,处理进入步骤S307。
在步骤S307中,选择控制单元116确定是否从差数据中减去量化的折回值。在确定为从差数据中减去量化后的折回值的情况下,即选择单元117选择减去量化后的折回值的情况下,处理进入步骤S308。
在步骤S308中,运算单元115从在步骤S303中导出的差数据中减去在步骤S301中导出的量化的折回值。在步骤S308的处理完成之后,处理进入步骤S309。
另一方面,在步骤S307中确定为不从差数据中减去量化后的折回值的情况下、即确定为省略(跳过)差数据的修正的情况下,处理进入步骤S309。
在步骤S309中,编码单元118以上述方式(在步骤S303中导出的差值、在步骤S306中导出的加法结果或在步骤S308中导出的减法结果)对适当地校正的差数据进行编码以导出编码数据。
在完成步骤S309中的处理之后,编码处理结束。编码装置100针对深度图像中的每个像素(各个深度值)执行这样的编码处理。
以这种方式,如上所述,可以抑制编码差值的增加。因此,可实现编码效率的降低的抑制。此外,在这种情况下,同样地,对深度值和深度值的折回值两者都进行量化,并且因此,可以更加抑制差值的增加,使得可以进一步实现编码效率的降低的抑制。
<5.第四实施方式>
<解码装置>
参考图13描述的是获得差值、加法结果以及减法结果并且从中选择落在深度值的值范围内的差值的方法,作为使用解码装置200实现系数数据的适当地校正的方法。然而,用于实现系数数据的适当地校正的方法不限于该实例并且可以是任意方法。例如,可以基于系数数据的值来选择校正方法。
图18描述了在这种情况下的解码装置200的主要配置的实例。在这种情况下,逆DPCM处理单元213将通过逆DPCM处理导出的系数数据提供至校正单元221(校正单元221的选择控制单元216和选择单元217)。
选择控制单元216获取从逆DPCM处理单元213提供的系数数据。选择控制单元216进一步获取从量化单元211提供的量化的折回值。选择控制单元216基于这些值控制选择单元217的操作。
选择单元217获取从逆DPCM处理单元213提供的系数数据。选择单元217在选择控制单元216的控制下,基于所获取的系数数据的值,选择用于校正系数数据的方法。此后,选择单元217将系数数据提供至与该选择相对应的处理单元。例如,选择单元217选择省略系数数据的校正、将量化的折回值加到系数数据或从系数数据中减去量化的折回值作为用于校正系数数据的方法。此后,在选择省略系数数据的校正的情况下,选择单元217将系数数据提供至逆量化单元218。可选地,在选择加上量化的折回值的情况下,选择单元217将系数数据提供至运算单元214。进一步可替代地,在选择减去量化的折回值的情况下,选择单元217将系数数据提供至运算单元215。
在由选择单元217选择加上量化的折回值的情况下,运算单元214获取从选择单元217提供的系数数据,并且将从量化单元211提供的量化的折回值与获取的系数数据相加。运算单元214将校正结果(作为系数数据与量化的折回值的和的加法结果)提供至逆量化单元218。
在由选择单元217选择减去量化的折回值的情况下,运算单元215获取从选择单元217提供的系数数据,并且从获取的系数数据减去从量化单元211提供的量化的折回值。运算单元215将校正结果(作为系数数据与量化的折回值之间的差的减法结果)提供至逆量化单元218。
在由选择单元217选择省略系数数据的校正的情况下,逆量化单元218获取从选择单元217提供的系数数据,并且通过使用量化步长对系数数据进行逆量化。或者,在由选择单元217选择加上量化的折回值的情况下,逆量化单元218获取作为由运算单元214导出的系数数据和量化的折回值的和的加法结果,并通过使用量化步长逆量化加法结果。进一步可替代地,在由选择单元217选择减去量化的折回值的情况下,逆量化单元218获取作为由运算单元215导出的系数数据与量化的折回值之间的差的减法结果,并且通过使用量化步长对减法结果进行逆量化。
以上述方式适当地校正的系数数据是量化的深度值。换句话说,逆量化单元218对适当地校正的系数数据进行逆量化以导出深度值。
要注意的是,与在图13的情况下一样,针对任意数据单元中的每一个设置量化步长。例如,可针对每个块(深度图像中的多个像素)设置量化步长。此外,与图13的情况一样,逆量化单元218与量化单元211共享量化步长。具体地,逆量化单元218通过使用与量化单元211的量化步长相同的量化步长来对系数数据进行逆量化。由此,能够保持折回值与深度值的相关性。例如,逆量化单元218将适当地校正的系数数据乘以量化步长以导出深度值。
逆量化单元218将导出的深度值作为输出数据输出到解码装置200的外部。
通过如上所述基于系数数据的值选择校正方法,可以抑制差值的增加。因此,可实现编码效率的降低的抑制。此外,在这种情况下,深度值的折回值也通过与用于系数数据的逆量化的量化步长相同的量化步长来进行量化,因此,可更加抑制差值的增加,从而可进一步实现编码效率降低的抑制。
<解码处理流程>
将参考图19中的流程图描述在这种情况下的解码处理的流程的实例。
在这种情况下,在解码处理开始时,在步骤S401中,解码装置200的量化单元211将折回值除以预定的量化步长,以对折回值进行量化。
在步骤S402中,解码单元212对作为输入数据给出的编码数据进行解码,以导出差数据。
在步骤S403中,逆DPCM处理单元213对在步骤S402中导出的差数据执行逆DPCM处理,以导出当前处理目标像素的系数数据(解码数据)。
在步骤S404中,选择单元217在选择控制单元216的控制下,基于系数数据的值,选择用于校正系数数据(解码数据)的方法。
在步骤S405中,选择控制单元216确定是否将量化的折回值与系数数据相加。在确定为将系数数据与量化的折回值相加的情况下,即,在选择单元217选择加上量化的折回值的情况下,处理进入步骤S406。
在步骤S406中,运算单元214将在步骤S401中导出的量化的折回值与在步骤S403中导出的系数数据(解码数据)相加。在步骤S406中的处理完成之后,处理进入步骤S409。
另一方面,在步骤S405中确定未将量化的折回值与系数数据相加的情况下,处理进入步骤S407。
在步骤S407,选择控制单元216确定是否从系数数据中减去量化的折回值。在确定为从系数数据中减去量化后的折回值的情况下、即选择单元217选择减去量化后的折回值的情况下,处理进入步骤S408。
在步骤S408中,运算单元215从在步骤S403中导出的差数据中减去在步骤S401中导出的量化的折回值。在步骤S408的处理完成之后,处理进入步骤S409。
另一方面,在步骤S407中,在确定为不从系数数据中减去量化后的折回值的情况下、即确定为省略(跳过)系数数据的修正的情况下,处理进入步骤S409。
在步骤S409中,逆量化单元218通过使用与用于步骤S401中的量化的量化步长相同的量化步长来对以上述方式适当地校正的系数数据(步骤S403中导出的系数数据、步骤S406中导出的加法结果或步骤S408中导出的减法结果)进行逆量化,以导出深度值。
在步骤S409中的处理完成之后,解码装置200针对深度图像中的每个像素(各个深度值)执行这样的解码处理。
以这种方式,如上所述,可以抑制差值的增加。因此,可实现编码效率的降低的抑制。此外,在这种情况下,也对深度值的折回值进行量化,因此,可更加抑制差值的增加,从而可进一步实现编码效率降低的抑制。
<6.第五实施方式>
<距离测量装置>
图20为示出距离测量装置的主要配置的一个实例的框图。图20所示的距离测量装置500通过使用组合多个调制频率的iToF来测量距离。例如,距离测量装置500通过使用低调制频率的iToF导出深度值,通过使用高调制频率的iToF导出深度值,并且合并深度值。以这种方式,距离测量装置500可以提高距离测量精度,同时抑制距离可测量范围的减小。
注意,图20仅描述处理单元和数据流的主要部分,且因此不一定说明所有处理单元和数据流。具体地,距离测量装置500可以包括在图20中未作为块示出的处理单元,或者在图20中未由箭头等指示的处理或数据流。
如图20所示,距离测量装置500包括控制单元501、光输出单元511、检测单元512、iToF测量单元513、RAM(随机存取存储器)514以及数据合并单元515。iToF测量单元513包括深度值导出单元521和编码单元522。数据合并单元515包括解码单元531和合并单元532。
控制单元501控制距离测量装置500的各个处理单元。如图20所示,距离测量装置500仅包括一组光输出单元511、检测单元512和iToF测量单元513。距离测量装置500操作这一组光输出单元511、检测单元512和iToF测量单元513以实现使用高调制频率的iToF和使用低调制频率的iToF两者。因此,控制单元501对一组光输出单元511、检测单元512和iToF测量单元513进行时间划分,以执行使用高调制频率的iToF和使用低调制频率的iToF两者。
光输出单元511以时分方式输出具有高调制频率的光(例如,IR激光)和具有低调制频率的光(例如,IR激光)。
检测单元512检测从光输出单元511照射的照射光的反射的光。检测单元512在与当从光输出单元511照射具有高调制频率的光时的定时相对应的定时检测反射的光(具有高调制频率的反射的光)。检测单元512进一步在与从光输出单元511照射具有低调制频率的光时的定时相对应的定时检测反射的光(具有低调制频率的反射的光)。检测单元512将检测结果的数据(表示各个像素接收到的光量的数据)提供至iToF测量单元513(iToF测量单元513的深度值导出单元521)。
深度值导出单元521基于检测结果通过使用间接ToF方法导出到对象的深度值。深度值导出单元521通过使用具有高调制频率的光的iToF实现对深度值的时分导出以及通过使用具有低调制频率的光的iToF对深度值的导出。
数据合并单元515的合并单元532合并这些深度值。为了合并,至少将通过使用具有高调制频率的光的iToF导出的深度值存储在RAM 514中。因此,深度值导出单元521至少将通过使用具有高调制频率的光的iToF导出的深度值提供到编码单元522。此外,在不将通过使用具有低调制频率的光的iToF导出的深度值存储在RAM 514中的情况下,深度值导出单元521将深度值提供至数据合并单元515的合并单元532。
编码单元522对深度值进行编码以生成编码数据。编码单元522将编码数据提供至RAM 514并且使RAM 514存储编码数据。
RAM 514存储从编码单元522提供的编码数据。此外,RAM 514响应于来自解码单元531的请求将存储的编码数据提供至解码单元531。
数据合并单元515的解码单元531读取存储在RAM 514中的编码数据,并且对编码数据进行解码以导出深度值。解码单元531将所导出的深度值提供至合并单元532。
合并单元532获取通过使用具有高调制频率的光的iToF导出的深度值和通过使用具有低调制频率的光的iToF导出的深度值,并且合并这些深度值。合并单元532输出合并的深度值。
本技术可应用于由此配置的距离测量装置500。例如,在第一实施方式或者第三实施方式中描述的编码装置100可以应用于编码单元522。此外,在第二实施方式或第四实施方式中描述的解码装置200可应用于解码单元531。
以这种方式,可实现对存储在RAM 514中的编码数据的编码效率的降低的抑制。结果,可抑制RAM 514的存储容量的增加。因此,可实现抑制成本增加,并且还可实现抑制电路规模和功耗的增加。
<距离测量处理的流程>
根据图21的流程图说明由距离测量装置500执行的距离测量处理的流程的实例。
在距离测量处理开始时,在步骤S501中,控制单元501将调制频率设置为高频。
在步骤S502中,光输出单元511照射具有高调制频率的光。检测单元512检测所照射的光的反射的光。
在步骤S503中,深度值导出单元521通过使用具有高调制频率的光的iToF导出深度值。
在步骤S504中,编码单元522执行编码处理以对深度值进行编码。
在步骤S505中,RAM 514存储在步骤S504中导出的编码数据。
在步骤S506中,控制单元501将调制频率设置为低频。
在步骤S507中,光输出单元511照射具有低调制频率的光。检测单元512检测所照射的光的反射的光。
在步骤S508中,深度值导出单元521通过使用具有低调制频率的光的iToF导出深度值。
在步骤S509中,解码单元531读取在步骤S506中存储的编码数据。在步骤S510中,解码单元531执行解码处理以对读取的编码数据进行解码。
在步骤S511中,合并单元532将通过使用具有高调制频率的光的iToF导出的深度值与通过使用具有低调制频率的光的iToF导出的深度值合并。
在步骤S512中,控制单元501确定是否结束距离测量处理。在确定为不结束距离测量处理的情况下,返回到步骤S501,重复进行从步骤S501起的处理。另一方面,在步骤S512中确定为距离测量处理结束的情况下,距离测量处理结束。
本技术可应用于上述距离测量处理。例如,参考图12中的流程图描述的编码处理或者参考图17中的流程图描述的编码处理可以应用于步骤S504中的编码处理。此外,参考图15中的流程图描述的解码处理或者参考图19中的流程图描述的解码处理可应用于步骤S510中的解码处理。
以这种方式,可实现对存储在RAM 514中的编码数据的编码效率的降低的抑制。结果,可抑制RAM 514的存储容量的增加。因此,可实现抑制成本增加,并且还可实现抑制电路规模和功耗的增加。
<7.第六实施方式>
<并行配置>
距离测量装置可以具有多个系统,每个系统执行iToF。例如,如图22所示,通过使用具有高调制频率的光的iToF导出深度值的配置和通过使用具有低调制频率的光的iToF导出深度值的配置可彼此不同。
<距离测量装置>
图23是示出这种情况下的距离测量装置的主要配置的实例的框图。与距离测量装置500一样,图23所示的距离测量装置600通过使用组合多个调制频率的iToF来测量距离。例如,距离测量装置600通过使用低调制频率的iToF导出深度值,通过使用高调制频率的iToF导出深度值,并合并深度值。以这种方式,距离测量装置600可以提高距离测量精度,同时抑制距离可测量范围的减小。
如图23所示,距离测量装置600包括高频距离测量单元601、低频距离测量单元602和数据合并单元603。高频距离测量单元601通过使用高调制频率的iToF导出深度值。低频距离测量单元602通过使用低调制频率的iToF导出深度值。数据合并单元603获取由高频距离测量单元601导出的深度值和由低频距离测量单元602导出的深度值,并合并深度值。
高频距离测量单元601包括光输出单元611、检测单元612和iToF测量单元613。iToF测量单元613包括深度值导出单元621和编码单元622。
光输出单元611照射具有高调制频率的光(例如,IR激光)。检测单元612检测所照射的光的反射的光,并将表示检测结果的数据提供至iToF测量单元613(iToF测量单元613的深度值导出单元621)。
深度值导出单元621通过使用间接ToF方法,基于从检测单元612提供的数据作为检测结果,导出到对象的深度值。换句话说,深度值导出单元621通过使用具有高调制频率的光的iToF导出深度值。编码单元622对由深度值导出单元621导出的深度值进行编码。编码单元622将生成的编码数据(通过使用具有高调制频率的光的iToF导出的深度值的编码数据)提供至数据合并单元603(数据合并单元603的解码单元651)。
低频距离测量单元602包括光输出单元631、检测单元632和iToF测量单元633。iToF测量单元633包括深度值导出单元641和编码单元642。
光输出单元631照射具有低调制频率的光(例如,IR激光)。检测单元632检测所照射的光的反射的光并将表示检测结果的数据提供至iToF测量单元633(iToF测量单元633的深度值导出单元641)。
深度值导出单元641通过使用间接ToF方法,基于从检测单元632提供的数据作为检测结果,导出到对象的深度值。换句话说,深度值导出单元641通过使用具有低调制频率的光的iToF导出深度值。编码单元642对由深度值导出单元641导出的深度值进行编码。编码单元642将生成的编码数据(通过使用具有低调制频率的光的iToF导出的深度值的编码数据)提供至数据合并单元603(数据合并单元603的解码单元652)。
数据合并单元603包括解码单元651、解码单元652和合并单元653。
解码单元651对从编码单元622提供的编码数据进行解码,以生成通过使用具有高调制频率的光(还原)的iToF导出的深度值。解码单元651将深度值提供至合并单元653。
解码单元652对从编码单元642提供的编码数据进行解码,以生成通过使用具有低调制频率的光(还原)的iToF导出的深度值。解码单元652将深度值提供至合并单元653。
合并单元653合并从解码单元651和解码单元652提供的深度值。具体地,合并单元653将通过使用具有高调制频率的光的iToF导出的深度值与通过使用具有低调制频率的光的iToF导出的深度值合并。合并单元653输出合并的深度值。
本技术可应用于由此配置的距离测量装置600。例如,在第一实施方式或者第三实施方式中描述的编码装置100可应用于编码单元622。此外,在第二实施方式或第四实施方式中描述的解码装置200可应用于解码单元651。
以这种方式,可以抑制从高频距离测量单元601传送到数据合并单元603的编码数据的编码效率的降低。因此,可抑制将深度值从高频距离测量单元601传送到数据合并单元603所需的带宽的增加,因此,可抑制成本增加。此外,可实现抑制电路规模和功耗的增加。
<折回值提供方法>
要注意的是,如在图24中描述的实例中,可从编码侧将折回值提供至解码侧。例如,折回值可从编码单元622提供至解码单元651。此外,折回值可从编码单元642提供至解码单元652。
另外,如图25所示的实例,也可以从与高频距离测量单元601和低频距离测量单元602分开设置的处理单元(例如主机系统控制器701)提供折回值。例如,可以从主机系统控制器701向编码单元622和解码单元651提供折回值。此外,可从主机系统控制器701向编码单元642和解码单元652提供折回值。
<距离测量处理的流程>
根据图26的流程图说明由距离测量装置600执行的距离测量处理的流程的实例。
在距离测量处理开始时,在步骤S601中,高频距离测量单元601的光输出单元611照射具有高调制频率的光。检测单元612检测所照射的光的反射的光。
在步骤S602中,深度值导出单元621通过使用具有高调制频率的光的iToF导出深度值。
在步骤S603中,编码单元622执行编码处理以对深度值进行编码。在步骤S604中,编码单元622将生成的编码数据(通过使用具有高调制频率的光的iToF导出的深度值的编码数据)传送到数据合并单元603的解码单元651。解码单元651获取编码数据。
在步骤S605中,解码单元651执行解码处理,以对编码数据进行解码,并且生成通过使用具有高调制频率的光(还原)的iToF导出的深度值。
在步骤S606中,低频距离测量单元602的光输出单元631照射具有低调制频率的光。检测单元632检测所照射的光的反射的光。
在步骤S607中,深度值导出单元641通过使用具有低调制频率的光的iToF导出深度值。
在步骤S608中,编码单元642执行编码处理以对深度值进行编码。在步骤S609中,编码单元642将生成的编码数据(通过使用具有低调制频率的光的iToF导出的深度值的编码数据)传送至数据合并单元603的解码单元652。解码单元652获取编码数据。
在步骤S610中,解码单元652执行解码处理,以对编码数据进行解码,并且生成通过使用具有低调制频率的光(还原)的iToF导出的深度值。
在步骤S611中,合并单元653将在步骤S606中生成的通过使用具有高调制频率的光的iToF导出的深度值与在步骤S610中生成的通过使用具有低调制频率的光的iToF导出的深度值合并。
在步骤S612中,合并单元653确定是否结束距离测量处理。在确定为不结束距离测量处理的情况下,处理返回至步骤S601以重复进行从步骤S601起的处理。另一方面,在步骤S612中确定为结束距离测量处理的情况下,结束距离测量处理。
本技术可应用于上述距离测量处理。例如,参考图12中的流程图描述的编码处理或者参考图17中的流程图描述的编码处理可以应用于步骤S603中的编码处理。此外,参考图15中的流程图描述的解码处理或者参考图19中的流程图描述的解码处理可应用于步骤S605中的解码处理。
以这种方式,可以抑制从高频距离测量单元601传送到数据合并单元603的编码数据的编码效率的降低。因此,可抑制将深度值从高频距离测量单元601传送到数据合并单元603所需的带宽的增加,因此,可抑制成本增加。此外,可实现抑制电路规模和功耗的增加。
<8.补充说明>
<使用三个或更多个调制频率>
虽然以上已经描述了使用iToF组合两种类型的调制频率,即,高频和低频的实例,作为使用iToF组合多个调制频率的实例,频率的组合不限于该实例并且可以是任意组合。例如,可以应用使用三个或更多个调制频率的iToF。
在这种情况下,仅需要通过使用具有最低调制频率的光的iToF导出的至少深度值不环绕。换言之,通过使用调制频率高于最低频率的光的iToF导出的深度值可环绕对应的值范围(折回值)。因此,通过应用本技术可以抑制这些深度值的编码效率的降低。
<预测方法>
虽然以上已经描述将前一个像素处理的目标像素的数据指定为预测值的DPCM(逆DPCM)的实例,但是预测方法不限于该实例并且可以是任意方法。例如,可采用P2预测,如图27所示。
如图27的A所示,通过P2预测,使用位于处理目标像素的左侧的像素的像素值A、位于处理目标像素的上方的像素的像素值B以及位于处理目标像素的左上的像素的像素值C来导出用灰色表示的处理目标像素的像素值X的预测值。此时,如图27中的B所示,基于像素值C是否大于值D和值E来设置预测方法。如图27中的A所示,像素值A和像素值B中的较小者被设置为值D,而像素值A和像素值B中的较大者被设置为值E。另外,在像素值C小于值D的情况下,将值E指定为像素值X的预测值。此外,在像素值C等于或大于值D但小于值E的情况下,指定值(A+B-C)作为像素值X的预测值。此外,在像素值C等于或大于值E的情况下,指定值D作为像素值X的预测值。
而且,在应用这种P2预测的情况下,与上述DPCM的情况一样,可实现编码效率降低的抑制。
此外,可通过使用在比特流中传送的精化引入用于提高通过逆量化获得的数据的精度的机制。
<计算机>
上述一系列过程可由硬件或软件执行。在所述一系列处理由软件执行的情况下,在计算机中安装构成所述软件的程序。计算机的实例包括结合在专用硬件中的计算机,和能够在安装在计算机中的各种程序下执行各种功能的计算机,诸如通用计算机。
图28是示出了在程序下执行上述一系列处理的计算机的硬件的配置实例的框图。
图28中所示的计算机900包括经由总线904彼此连接的CPU(中央处理单元)901、ROM(只读存储器)902以及RAM(随机存取存储器)903。
输入/输出接口910进一步连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动915连接至输入/输出接口910。
例如,输入单元911包括键盘、鼠标、麦克风、触摸面板、输入端子等。例如,输出单元912包括显示器、扬声器、输出端子等。例如,存储单元913包括硬盘、RAM盘、非易失性存储器等。例如,通信单元914包括网络接口。驱动915驱动可移除介质921(诸如磁盘、光盘、磁光盘或半导体存储器)。
根据如上所述配置的计算机,例如,CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中,并且执行所加载的程序以执行上述一系列处理。CPU 901执行各种处理时所需的数据等也根据需要存储在RAM 903中。
例如,允许由计算机执行的程序记录在作为封装介质等的可移除介质921中并且以这种形式应用。在这种情况下,允许程序经由输入/输出接口910从附接至驱动915的可移除介质921安装到存储单元913中。
此外,允许经由诸如局域网、因特网以及数字卫星广播等有线或无线传输介质提供程序。在这种情况下,允许由通信单元914接收该程序并且将该程序安装到存储单元913中。
此外,允许程序预先安装在ROM 902或存储单元913中。
<本技术适用的配置>
本技术适用于任意配置。例如,本技术可应用于各种类型的电子装置。
此外,例如,本技术还可实施为装置的部分配置,诸如,作为系统LSI(大规模集成)等的处理器(例如,视频处理器)、使用多个处理器等的模块(例如,视频模块)、使用多个模块等的单元(例如,视频单元)、或作为添加其他功能的单元的集合(例如,视频集合)。
此外,例如,本技术可应用于包括多个装置的网络系统。例如,本技术可以被实践为云计算,其中多个装置共享进程并且经由网络彼此协作地执行进程。
注意,本说明书中的系统指的是一组多个组成元件(例如,装置、模块(部分))并且不要求所有的组成元件被容纳在相同的外壳内。因此,容纳在分开的壳体中并且经由网络连接的多个装置和具有容纳在一个壳体中的多个模块的一个装置都被定义为系统。
<本技术适用的领域/用途>
应用本技术的系统、装置、处理单元等可用于任意领域,诸如交通、医疗、犯罪预防、农业、库存养殖、采矿、美容、植物、家用电器、气象和自然监视。此外,它们的使用应用可以是任意使用应用。
<其他>
根据本技术的实施方式不限于上述实施方式并且可以在不偏离本技术的主题的范围内以各种方式进行修改。
例如,描述为一个装置(或处理单元)的配置可以被划分成多个装置(或处理单元)。相反,描述为多个装置(或处理单元)的配置可以合并成一个装置(或处理单元)。此外,不用说,除了上述配置之外的配置可被添加到装置(或处理单元)的每个配置。此外,如果整个系统中的配置或操作基本相同,则特定装置(或处理单元)的配置的一部分可被包括在不同装置(或不同处理单元)的配置中。
此外,例如,上述程序可以由任意装置执行。在这种情况下,装置仅需要具有必要的功能(例如,功能块)并且能够获取必要的信息。
此外,例如,一个流程图中包括的各个步骤可以由一个装置执行或者可以由多个装置共享和执行。此外,在一个步骤中包括多个进程的情况下,该多个进程可以由一个装置执行或者可以由多个装置共享和执行。换言之,包括在一个步骤中的多个处理可以作为多个步骤中的处理被执行。相反,描述为多个步骤的过程可以在一个步骤中共同执行。
此外,例如,描述由计算机执行的程序的步骤中的处理可以按照本说明书中描述的顺序按时间序列执行,或者可以在必要的时间,诸如,进行调用时的时机并行或单独执行。换言之,只要不引起矛盾,就可以以与上述顺序不同的顺序执行各个步骤中的处理。此外,描述该程序的步骤中的处理可以与不同程序的处理并行执行或者与不同程序的处理结合执行。
此外,例如,只要不引起矛盾,与本技术相关联的多个技术中的每个可以被独立地实践为单个技术。不用说,本技术的任意多种技术可以被组合并实践。例如,任意实施方式中描述的本技术的一部分或全部可与实施方式中的不同实施方式中描述的本技术的一部分或全部组合和实践。此外,可以结合上述未描述的不同技术组合和实践上述本技术的任意技术的一部分或全部。
应注意,本技术还可采用以下配置。
(1)
一种信息处理装置,包括:
第一量化单元,通过使用预定的量化步长来对环绕预定值范围的深度值进行量化;
差值导出单元,导出由第一量化单元量化的深度值和深度值的预测值之间的差值;
第二量化单元,通过使用量化步长对深度值的折回值进行量化;
校正单元,通过使用由第二量化单元量化的折回值,适当地校正由差值导出单元导出的差值;以及
编码单元,对由校正单元适当地校正的差值进行编码。
(2)
根据(1)所述的信息处理装置,其中,
校正单元包括:
加法单元,将量化的折回值与差值相加,
减法单元,从差值中减去量化的折回值,以及
选择单元,从差值、由加法单元导出的作为差值与量化的折回值的和的加法结果、以及由减法单元导出的作为差值与量化的折回值之间的差的减法结果的绝对值之中选择最小绝对值,并且
编码单元被配置为对由选择单元从差值、加法结果和减法结果之中选择的值进行编码。
(3)
根据(1)所述的信息处理装置,其中,
校正单元包括:
选择单元,基于差值和量化的折回值,选择省略差值的校正、或将量化的折回值与差值相加、或从差值中减去量化的折回值,
加法单元,在选择单元选择加上量化的折回值的情况下,将量化的折回值与所述差值相加,以及
减法单元,在选择单元选择减去量化的折回值的情况下,从差值中减去所量化后的折回值,以及
编码单元被配置为:
在选择单元选择省略差值的校正的情况下,对差值进行编码,
在选择单元选择加上量化的折回值的情况下,对由加法单元导出的作为差值与量化的折回值的和的加法结果进行编码,并且
在选择单元选择减去量化的折回值的情况下,对由减法单元导出的作为差值与量化的折回值之间的差的减法结果进行编码。
(4)
根据(1)至(3)中任一项所述的信息处理装置,其中,
第一量化单元通过使用针对深度值的每个块设置的量化步长来对深度值进行量化,并且
第二量化单元通过使用针对深度值的每个块设置的量化步长来对折回值进行量化。
(5)
根据(1)至(4)中任一项所述的信息处理装置,其中,第二量化单元对从设置在信息处理装置外部的系统控制器提供的折回值进行量化。
(6)
根据(1)至(5)中任一项所述的信息处理装置,其中,深度值指示通过使用间接ToF(飞行时间)方法针对每个像素导出的到对象的距离。
(7)
根据(6)所述的信息处理装置,其中,深度值指示通过照射具有调制频率的光并且检测所照射的光的反射的光来针对每个像素导出的到对象的距离,调制频率的距离可测量范围比到对象的距离的可能值的范围窄。
(8)
根据(7)所述的信息处理装置,其中,差值导出单元指定先前处理目标像素的深度值作为当前处理目标像素的预测值,先前处理目标像素是前一个处理的像素,当前处理目标像素是目前处理的目标像素,并且导出当前处理目标像素的深度值与先前处理目标像素的深度值之间的差值。
(9)
根据(1)至(8)中任一项所述的信息处理装置,其中,编码单元使存储单元存储通过对由校正单元适当地校正的差值进行编码而导出的编码数据。
(10)
一种信息处理方法,包括:
通过使用预定的量化步长来对环绕预定值范围的深度值进行量化;
导出所量化的深度值和深度值的预测值之间的差值;
通过使用量化步长来对深度值的折回值进行量化;
通过使用量化的折回值来适当地校正所导出的差值;以及
对适当地校正的差值进行编码。
(11)
一种信息处理装置,包括:
解码单元,对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据与系数数据的预测值之间的差值;
系数数据导出单元,将预测值与由解码单元导出的差值相加,以导出系数数据;
量化单元,通过使用预定的量化步长来对深度值的折回值进行量化;
校正单元,通过使用由量化单元量化的所述折回值,适当地校正由系数数据导出单元导出的系数数据;以及
逆量化单元,通过使用量化步长来对由校正单元适当地校正的系数数据进行逆量化,以导出深度值。
(12)
根据(11)所述的信息处理装置,其中,
校正单元包括:
加法单元,将量化的折回值与系数数据相加,
减法单元,从系数数据中减去量化的折回值,以及
选择单元,从系数数据、由加法单元导出的作为系数数据与量化的折回值的和的加法结果、以及由减法单元导出的作为系数数据与量化的折回值之间的差的减法结果之中选择落入值范围内的值,并且
逆量化单元被配置为对由选择单元从系数数据、加法结果和减法结果之中选择的值进行逆量化。
(13)
根据(11)所述的信息处理装置,其中,
校正单元包括:
选择单元,基于系数数据和量化的折回值,选择省略系数数据的校正、或将量化的折回值与系数数据相加、或从系数数据中减去量化的折回值,
加法单元,在选择单元选择加上量化的折回值的情况下,将量化的折回值与系数数据相加,以及
减法单元,在选择单元选择减去量化的折回值的情况下,从系数数据中减去量化的折回值,以及
逆量化单元被配置为:
在选择单元选择省略系数数据的校正的情况下,对系数数据进行逆量化,
在选择单元选择加上量化的折回值的情况下,对由加法单元导出的作为系数数据与量化的折回值的和的加法结果进行逆量化,并且
在选择单元选择减去量化的折回值的情况下,对由减法单元导出的作为系数数据与量化的折回值之间的差的减法结果进行逆量化。
(14)
根据(11)至(13)中任一项所述的信息处理装置,其中,
量化单元通过使用针对深度值的每个块设置的量化步长来对折回值进行量化,并且
逆量化单元通过使用针对深度值的每个块设置的量化步长来对由校正单元适当地校正的系数数据进行逆量化。
(15)
根据(11)至(14)中任一项所述的信息处理装置,其中,量化单元对从设置在信息处理装置外部的系统控制器或者从生成编码数据的编码单元提供的折回值进行量化。
(16)
根据(11)至(15)中任一项所述的信息处理装置,其中,深度值指示通过使用间接ToF(飞行时间)方法针对每个像素导出的到对象的距离。
(17)
根据(16)所述的信息处理装置,其中,深度值指示通过照射具有调制频率的光并且检测所照射的光的反射的光来针对每个像素导出的到对象的距离深度值,调制频率的距离可测量范围比到对象的距离的可能值的范围窄。
(18)
根据(17)所述的信息处理装置,其中,系数数据导出单元指定先前处理目标像素的系数数据作为当前处理目标像素的预测值,先前处理目标像素是前一个处理的像素,当前处理目标像素是目前处理的目标像素,并且将先前处理目标像素的深度值与当前处理目标像素的深度值相加以导出系数数据。
(19)
根据(11)至(18)中任一项所述的信息处理装置,其中,解码单元读取并对存储在存储单元中的编码数据进行解码。
(20)
一种信息处理方法,包括:
对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据与系数数据的预测值之间的差值;
将预测值与所导出的差值相加以导出系数数据;
通过使用预定的量化步长来对深度值的折回值进行量化;
通过使用量化的折回值来适当地校正所导出的系数数据;以及
通过使用所量化步长来对适当地校正的系数数据进行逆量化以导出深度值。
[参考标号列表]
100:编码装置
111、112:量化单元
113:DPCM处理单元
114、115:运算单元
116:选择控制单元
117:选择单元
118:编码单元
121:校正单元
200:解码装置
211:量化单元
212:解码单元
213:逆DPCM处理单元
214、215:运算单元
216:选择控制单元
217:选择单元
218:逆量化单元
221:校正单元
500:距离测量装置
501:控制单元
511:光输出单元
512:检测单元
513:iToF测量单元
514:RAM
515:数据合并单元
521:深度值导出单元
522:编码单元
531:解码单元
532:合并单元
600:距离测量装置
601:高频距离测量单元
602:低频距离测量单元
603:数据合并单元
611:光输出单元
612:检测单元
613:iToF测量单元
621:深度值导出单元
622:编码单元
631:光输出单元
632:检测单元
633:iToF测量单元
641:深度值导出单元
642:编码单元
651:解码单元
652:解码单元
653:合并单元
701:主机系统控制器
900:计算机。

Claims (20)

1.一种信息处理装置,包括:
第一量化单元,通过使用预定的量化步长来对环绕预定值范围的深度值进行量化;
差值导出单元,导出由所述第一量化单元量化的深度值和所述深度值的预测值之间的差值;
第二量化单元,通过使用所述量化步长对所述深度值的折回值进行量化;
校正单元,通过使用由所述第二量化单元量化的所述折回值,适当地校正由所述差值导出单元导出的所述差值;以及
编码单元,对由所述校正单元适当地校正的所述差值进行编码。
2.根据权利要求1所述的信息处理装置,其中,
所述校正单元包括:
加法单元,将量化的折回值与所述差值相加,
减法单元,从所述差值中减去所述量化的折回值,以及
选择单元,从所述差值、由所述加法单元导出的作为所述差值与所述量化的折回值的和的加法结果、以及由所述减法单元导出的作为所述差值与所述量化的折回值之间的差的减法结果的绝对值之中选择最小绝对值,并且
所述编码单元被配置为对由所述选择单元从所述差值、所述加法结果和所述减法结果之中选择的值进行编码。
3.根据权利要求1所述的信息处理装置,其中,
所述校正单元包括:
选择单元,基于所述差值和量化的折回值,选择省略所述差值的校正、或将所述量化的折回值与所述差值相加、或从所述差值中减去所述量化的折回值,
加法单元,在所述选择单元选择加上所述量化的折回值的情况下,将所述量化的折回值与所述差值相加,以及
减法单元,在所述选择单元选择减去所述量化的折回值的情况下,从所述差值中减去所述量化的折回值,并且
所述编码单元被配置为:
在所述选择单元选择省略所述差值的校正的情况下,对所述差值进行编码,
在所述选择单元选择加上所述量化的折回值的情况下,对由所述加法单元导出的作为所述差值与所述量化的折回值的和的加法结果进行编码,并且
在所述选择单元选择减去所述量化的折回值的情况下,对由所述减法单元导出的作为所述差值与所述量化的折回值之间的差的减法结果进行编码。
4.根据权利要求1所述的信息处理装置,其中,
所述第一量化单元通过使用针对所述深度值的每个块设置的量化步长来对所述深度值进行量化,并且
所述第二量化单元通过使用针对所述深度值的每个块设置的量化步长来对所述折回值进行量化。
5.根据权利要求1所述的信息处理装置,其中,所述第二量化单元对从所述信息处理装置外部的系统控制器提供的所述折回值进行量化。
6.根据权利要求1所述的信息处理装置,其中,所述深度值指示通过使用间接ToF(飞行时间)方法针对每个像素导出的到对象的距离。
7.根据权利要求6所述的信息处理装置,其中,所述深度值指示通过照射具有调制频率的光并且检测反射的光来针对每个所述像素导出的到所述对象的距离,所述调制频率的距离能测量范围比到所述对象的距离的可能值的范围窄。
8.根据权利要求7所述的信息处理装置,其中,所述差值导出单元指定先前处理目标像素的深度值作为当前处理目标像素的预测值,所述先前处理目标像素是前一个处理的像素,所述当前处理目标像素是目前处理的目标像素,并且导出所述当前处理目标像素的深度值与所述先前处理目标像素的深度值之间的差值。
9.根据权利要求1所述的信息处理装置,其中,所述编码单元使存储单元存储通过对由所述校正单元适当地校正的所述差值进行编码而导出的编码数据。
10.一种信息处理方法,包括:
通过使用预定的量化步长来对环绕预定值范围的深度值进行量化;
导出所量化的深度值和所述深度值的预测值之间的差值;
通过使用所述量化步长对所述深度值的折回值进行量化;
通过使用量化的折回值来适当地校正所导出的差值;以及
对适当地校正的差值进行编码。
11.一种信息处理装置,包括:
解码单元,对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据与所述系数数据的预测值之间的差值;
系数数据导出单元,将所述预测值与由所述解码单元导出的所述差值相加,以导出所述系数数据;
量化单元,通过使用预定的量化步长来对所述深度值的折回值进行量化;
校正单元,通过使用由所述量化单元量化的所述折回值,适当地校正由所述系数数据导出单元导出的所述系数数据;以及
逆量化单元,通过使用所述量化步长来对由所述校正单元适当地校正的所述系数数据进行逆量化,以导出所述深度值。
12.根据权利要求11所述的信息处理装置,其中,
所述校正单元包括:
加法单元,将量化的折回值与所述系数数据相加,
减法单元,从所述系数数据中减去所述量化的折回值,以及
选择单元,从所述系数数据、由所述加法单元导出的作为所述系数数据与所述量化的折回值的和的加法结果、以及由所述减法单元导出的作为所述系数数据与所述量化的折回值之间的差的减法结果之中选择落入值范围内的值,并且
所述逆量化单元被配置为对由所述选择单元从所述系数数据、所述加法结果和所述减法结果之中选择的值进行逆量化。
13.根据权利要求11所述的信息处理装置,其中,
所述校正单元包括:
选择单元,基于所述系数数据和量化的折回值,选择省略所述系数数据的校正、或将所述量化的折回值与所述系数数据相加、或从所述系数数据中减去所述量化的折回值,
加法单元,在所述选择单元选择加上所述量化的折回值的情况下,将所述量化的折回值与所述系数数据相加,以及
减法单元,在所述选择单元选择减去量化的折回值的情况下,从所述系数数据中减去量化的折回值,并且
所述逆量化单元被配置为:
在所述选择单元选择省略所述系数数据的校正的情况下,对所述系数数据进行逆量化,
在所述选择单元选择加上所述量化的折回值的情况下,对由所述加法单元导出的作为所述系数数据与所述量化的折回值的和的加法结果进行逆量化,并且
在所述选择单元选择减去所述量化的折回值的情况下,对由所述减法单元导出的作为所述系数数据与所述量化的折回值之间的差的减法结果进行逆量化。
14.根据权利要求11所述的信息处理装置,其中,
所述量化单元通过使用针对所述深度值的每个块设置的量化步长来对所述折回值进行量化,并且
所述逆量化单元通过使用针对所述深度值的每个块设置的量化步长来对由所述校正单元适当地校正的系数数据进行逆量化。
15.根据权利要求11所述的信息处理装置,其中,所述量化单元对从所述信息处理装置外部的系统控制器或者从生成所述编码数据的编码单元提供的所述折回值进行量化。
16.根据权利要求11所述的信息处理装置,其中,所述深度值指示通过使用间接ToF(飞行时间)方法针对每个像素导出的到对象的距离。
17.根据权利要求16所述的信息处理装置,其中,所述深度值指示通过照射具有调制频率的光并且检测反射的光来针对每个所述像素导出的到所述对象的距离,所述调制频率的距离能测量范围比到所述对象的距离的可能值的范围窄。
18.根据权利要求17所述的信息处理装置,其中,所述系数数据导出单元指定先前处理目标像素的系数数据作为当前处理目标像素的预测值,所述先前处理目标像素是前一个处理的像素,所述当前处理目标像素是目前处理的目标像素,并且将所述先前处理目标像素的深度值与所述当前处理目标像素的深度值相加以导出所述系数数据。
19.根据权利要求11所述的信息处理装置,其中,所述解码单元读取并对存储在存储单元中的所述编码数据进行解码。
20.一种信息处理方法,包括:
对编码数据进行解码以导出与环绕预定值范围的深度值相关联的系数数据与所述系数数据的预测值之间的差值;
将所述预测值与所导出的差值相加以导出所述系数数据;
通过使用预定的量化步长来对所述深度值的折回值进行量化;
通过使用量化的折回值来适当地校正所导出的系数数据;以及
通过使用所述量化步长来对适当地校正的系数数据进行逆量化以导出所述深度值。
CN202280015703.4A 2021-02-26 2022-01-13 信息处理装置和方法 Pending CN116917691A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021029716 2021-02-26
JP2021-029716 2021-02-26
PCT/JP2022/000817 WO2022181096A1 (ja) 2021-02-26 2022-01-13 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN116917691A true CN116917691A (zh) 2023-10-20

Family

ID=83048807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280015703.4A Pending CN116917691A (zh) 2021-02-26 2022-01-13 信息处理装置和方法

Country Status (5)

Country Link
US (1) US20240134019A1 (zh)
EP (1) EP4300038A4 (zh)
JP (1) JPWO2022181096A1 (zh)
CN (1) CN116917691A (zh)
WO (1) WO2022181096A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344477A (ja) 2001-05-16 2002-11-29 Mitsubishi Electric Corp マルチキャスト配信システム及びその端末用装置
JP2005129972A (ja) * 2003-08-07 2005-05-19 Nec Engineering Ltd 予測符号化復号化装置
FR2923314B1 (fr) * 2007-11-02 2010-09-03 Commissariat Energie Atomique Procede de detection d'une impulsion lumineuse reflechie sur un objet pour determiner la distance de l'objet, capteur et dispositif de mise en oeuvre.
US8810439B1 (en) 2013-03-01 2014-08-19 Gurulogic Microsystems Oy Encoder, decoder and method
EP3271747B1 (en) * 2015-03-17 2022-05-25 Cornell University Depth field imaging apparatus, methods, and applications
US20210263137A1 (en) * 2018-07-24 2021-08-26 Sense Photonics, Inc. Phase noise and methods of correction in multi-frequency mode lidar
US11668829B2 (en) * 2019-03-18 2023-06-06 Infineon Technologies Ag Resolving distance measurement ambiguities using coded-modulation phase image frames
US10929956B2 (en) * 2019-07-02 2021-02-23 Microsoft Technology Licensing, Llc Machine-learned depth dealiasing

Also Published As

Publication number Publication date
JPWO2022181096A1 (zh) 2022-09-01
EP4300038A1 (en) 2024-01-03
EP4300038A4 (en) 2024-08-07
WO2022181096A1 (ja) 2022-09-01
US20240134019A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
RU2527737C2 (ru) Способ кодирования многопроекционного видео, способ декодирования многопроекционного видео, устройство кодирования многопроекционного видео, устройство декодирования многопроекционного видео, и программа
JP5545783B2 (ja) 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法
US9641850B2 (en) Video compression device
US9877025B2 (en) Video encoding and decoding with prediction at higher precision
US20170310969A1 (en) Image encoding method and apparatus with color space transform performed upon predictor and associated image decoding method and apparatus
CN114342396B (zh) 图像处理装置和方法
KR20170137076A (ko) 복잡도 측정에 기초한 디스플레이 스트림 압축 (dsc) 을 위한 양자화 파라미터 (qp) 계산
JP2006310941A (ja) 画像符号化装置
US20240121428A1 (en) Prediction image correcting device, image encoding device, image decoding device, and program
US11818360B2 (en) Image encoding device, image decoding device and program
US20150365682A1 (en) Autogressive pixel prediction in the neighborhood of image borders
US20240297995A1 (en) Image encoding device, image decoding device and program
JP6093546B2 (ja) ブロックの再構成方法、符号化方法、復号化装置及び符号化装置
US20210084313A1 (en) Refined block-based predictive coding and decoding of a picture
JP2013098984A5 (ja) ブロックの再構成方法、符号化方法、復号化装置及び符号化装置
CN116917691A (zh) 信息处理装置和方法
US11677965B2 (en) Decoding device, program, and decoding method
US11729426B2 (en) Block-based predictive coding and decoding of a picture
CN111801948A (zh) 图像处理装置和方法、成像元件和成像装置
US8422807B2 (en) Encoder and image conversion apparatus
US9020289B2 (en) Image processing apparatus and image processing method for compressing image data by combining spatial frequency conversion, quantization, and entropy coding
JP2012054875A (ja) 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
KR20180032570A (ko) 디스플레이 스트림 압축에서의 변환 모드를 위한 블록 크기에 대한 수정
US9948956B2 (en) Method for encoding and decoding image block, encoder and decoder
JP2006237765A (ja) 画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination