CN112104810A - 全景拍照装置、全景拍照方法和计算机可读存储介质 - Google Patents
全景拍照装置、全景拍照方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112104810A CN112104810A CN202010739397.1A CN202010739397A CN112104810A CN 112104810 A CN112104810 A CN 112104810A CN 202010739397 A CN202010739397 A CN 202010739397A CN 112104810 A CN112104810 A CN 112104810A
- Authority
- CN
- China
- Prior art keywords
- sound
- detection module
- sound signal
- sound detection
- panoramic photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供全景拍照装置、全景拍照方法和计算机可读存储介质。包括:第一声音检测模块,用于检测从被拍摄对象直达的第一声音信号;第二声音检测模块,用于检测从被拍摄对象直达的第二声音信号;其中第一声音信号和第二声音信号为被拍摄对象同时发射的;角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;基于第一声音检测模块与第二声音检测模块之间的距离以及时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;拍摄模块,用于当相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;拼接模块,用于将拍摄图片拼接为全景图片。自动确定拍摄点以实现自动拍摄,既方便了用户,还保证成像质量。
Description
技术领域
本发明实施方式涉及摄影技术领域,更具体地,涉及全景拍照装置、全景拍照方法和计算机可读存储介质。
背景技术
在全景拍照中,对单一景象拍摄多张连续照片,然后将这些连续照片合成一张广角照片。其具体过程大致包括:在面对某一景象时,使用者先确定第一拍摄点,使用成像设备在第一拍摄点进行拍照。之后,以在第一拍摄点拍摄得到的影像的边缘为参考,相对于该景象,水平旋转成像设备到第二个拍摄点以拍摄与该第一拍摄点的影像的边缘相邻的影像,按照这样的方式直到将整个景象全部拍摄完毕,之后将得到的多张照片依次合成一张广角照片。
在现有技术中,在移动过程中何时执行拍摄基本由用户自主决定,这就对了用户经验提出高要求。而且,不恰当的拍摄时刻可能导致图像不连续,从而导致合成的图像失真。
发明内容
本发明实施方式提出全景拍照装置、全景拍照方法和计算机可读存储介质。
本发明实施方式的技术方案如下:
一种全景拍照装置,包括:第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;第二声音检测模块,用于检测从被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为所述被拍摄对象同时发射的;角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;拼接模块,用于将所述拍摄图片拼接为全景图片。
在一个实施方式中,角度确定模块,用于基于确定θ;其中arcsin为反正弦函数,d=t*c,t为所述时间差,c为声音的传播速度,D为第一声音检测模块与第二声音检测模块之间的距离;基于θ确定全景拍照装置与该被拍摄对象之间的相对角度其中
在一个实施方式中,所述全景拍照装置包括智能手机、平板电脑或照相机。
一种全景拍照装置,包括:第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;第二声音检测模块,用于检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为该被拍摄对象同时发射的;角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;其中所述被拍摄对象与所述全景拍照装置保持时间同步,所述第一声音信号进一步包含第一声音信号的发送时刻T1;其中所述角度确定模块,还用于计算该全景拍照装置与被拍摄对象之间的距离L;其中L=(T2-T1)×c;c为声音在空气中的传播速度;T2为第一声音信号的接收时刻;当确定所述距离L等于预定值时,基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;当确定所述距离L不等于预定值时,发出报警提示;所述全景拍照装置还包括:拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;拼接模块,用于将所述拍摄图片拼接为全景图片。
一种全景拍照装置,包括:第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;第二声音检测模块,用于检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为该被拍摄对象同时发射的;角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;其中所述被拍摄对象与所述全景拍照装置保持时间同步,所述第二声音信号进一步包含第二声音信号的发送时刻T3;其中所述角度确定模块,还用于计算该全景拍照装置与被拍摄对象之间的距离L;其中L=(T4-T3)×c;c为声音在空气中的传播速度;T4为第二声音信号的接收时刻;当确定所述距离L等于预定值时,基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;当确定所述距离L不等于预定值时,发出报警提示;所述全景拍照装置还包括:拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;拼接模块,用于将所述拍摄图片拼接为全景图片。
一种全景拍照方法,适用于包含第一声音检测模块和第二声音检测模块的全景拍照装置,该方法包括:使能第一声音检测模块检测从被拍摄对象直达所述第一声音检测模块的第一声音信号,使能第二声音检测模块检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号,其中所述第一声音信号和所述第二声音信号为被拍摄对象同时发射的;确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;将所述拍摄图片拼接为全景图片。
在一个实施方式中,所述确定该全景拍照装置与该被拍摄对象之间的相对角度包括:基于确定θ;其中arcsin为反正弦函数,d=t*c,t为所述时间差,c为声音的传播速度,D为第一声音检测模块与第二声音检测模块之间的距离;基于θ确定全景拍照装置与该被拍摄对象之间的相对角度其中
在一个实施方式中,所述预定的角度包括K,其中K=K0+N*α,其中K0为拍摄起始点处全景拍照装置与该被拍摄对象之间的相对角度,N为整数,α为全景拍照装置的视场角或小于所述视场角的任意角度。
在一个实施方式中,还预先包括:在被拍摄对象上布置用于发出所述第一声音信号和所述第二声音信号的声源。
一种计算机可读存储介质,其中存储有计算机可读指令,该计算机可读指令用于执行如上任一项所述的全景拍照方法。
从上述技术方案可以看出,本发明实现基于拍照装置与被拍摄对象之间角度计算的全景拍照方法,可以自动确定拍摄点以实现自动拍摄,既方便了用户,还可以保证成像质量。
附图说明
图1为本发明智能设备间的相对角度确定方法的示范性流程图。
图2为本发明智能设备间相对角度确定的原理示意图。
图3为本发明智能设备间相对角度的计算原理图。
图4为本发明确定一对直达信号的第一示范性示意图。
图5为本发明确定一对直达信号的第二示范性示意图。
图6为本发明的第一声音检测模块和第二声音检测模块在智能设备中的第一示范性布置示意图。
图7为本发明的第一声音检测模块和第二声音检测模块在智能设备中的第二示范性布置示意图。
图8为本发明第一智能设备和第二智能设备的相对定位示意图。
图9为本发明在智能设备界面中展示相对角度的示意图。
图10为本发明智能设备间相对定位的示范性处理流程图。
图11为本发明全景拍照装置的结构图。
图12为本发明全景拍照的示范性示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
为不额外添加硬件地、利用软件实现智能设备间相对方向定位,使得该相对定位具备普适性,不同厂家的设备都能实现互操作和互兼容,并基于此探索智能设备的创新应用,本发明实施方式提出一种基于声音(优选为超声)的智能设备间相对方向识别方案,无需额外添加硬件,可以利用软件实现两台智能设备间的相对方向识别,定位结果准确且可靠。
首先,智能设备(intelligent device)是指任何一种具有计算处理能力的设备、器械或者机器。图1为本发明智能设备间的相对角度确定方法的示范性流程图。该方法适用于第一智能设备,第一智能设备包括第一声音检测模块和第二声音检测模块。第一声音检测模块和第二声音检测模块在第一智能设备中被固定安装。比如,第一声音检测模块可以实施为布置在第一智能设备中的一个麦克风或一组麦克风阵列。同样地,第二声音检测模块可以实施为布置在第一智能设备中的、不同于第一声音检测模块的一个麦克风或一组麦克风阵列。如图1所示,该方法包括:
步骤101:使能第一声音检测模块检测第二智能设备发出并直达第一声音检测模块的第一声音信号,使能第二声音检测模块检测第二智能设备发出并直达第二声音检测模块的第二声音信号,其中第一声音信号和第二声音信号为第二智能设备同时发出的。
在这里,第二智能设备可以发出一个声音信号或同时发出多个声音信号。比如:当第二智能设备发出一个声音信号时,第二智能设备中的第一声音检测模块和第二声音检测模块分别检测该声音信号。其中:第一声音检测模块检测到的、该声音信号直达第一声音检测模块的检测信号被确定为第一声音信号;第二声音检测模块检测到的、该声音信号直达第一声音检测模块的检测信号,被确定为第二声音信号。
再比如,当第二智能设备同时发出多个声音信号时,比如发出一个超声波信号,一个可听声音信号。第二智能设备中的第一声音检测模块适配于检测超声波信号,第二声音检测模块适配于检测可听声音信号。第一声音检测模块检测该超声波信号,第二声音检测模块该可听声音信号。其中:第一声音检测模块检测到的、该超声波信号直达第一声音检测模块的检测信号被确定为第一声音信号;第二声音检测模块检测到的、该可听声音信号直达第二声音检测模块的检测信号,被确定为第二声音信号。换句话说,第一声音信号和第二声音信号,可以为第一声音检测模块和第二声音检测模块针对第二智能设备发出的同一声音信号的分别检测信号。或,第一声音信号和第二声音信号,可以为第一声音检测模块和第二声音检测模块针对第二智能设备同时发出的不同声音信号的分别检测信号。
步骤102:确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差。
在这里,第一智能设备(比如,第一智能设备中的CPU)可以记录第一声音信号的接收时刻以及第二声音信号的接收时刻,并计算这两者之间的时间差。
步骤103:基于第一声音检测模块与第二声音检测模块之间的距离以及时间差,确定第一智能设备与第二智能设备之间的相对角度。
比如,可以由第一智能设备的CPU执行步骤103。在一个实施方式中,步骤103中确定第一智能设备与第二智能设备之间的相对角度包括:基于确定θ;其中arcsin为反正弦函数,d=t*c,t为所述时间差,c为声音的传播速度,D为第一声音检测模块与第二声音检测模块之间的距离;基于θ确定第一智能设备与第二智能设备之间的相对角度其中其中,步骤102中确定出的时间差的值可以为正数,也可以为负数。当所述时间差的值为正数时,第二声音信号的接收时刻早于第一声音信号的接收时刻,因此第一智能设备与第二智能设备之间的相对角度φ通常为锐角;当时间差的值为负数时,第一声音信号的接收时刻早于第二声音信号的接收时刻,因此第一智能设备与第二智能设备之间的相对角度φ通常为钝角。
在本发明实施方式中,第一声音信号为自第二智能设备直达第一声音检测模块的信号,第二声音信号为自第二智能设备直达第二声音检测模块的信号。实际上,无论是第一声音检测模块还是第二声音检测模块,都可能收到自第二智能设备发出且非直达的信号(比如,经过障碍物的一次反射或多次发射)。因此,如何从接收到的多个信号中确定出直达信号具有显著意义。
申请人发现:通常情况下,每个声音检测模块的接收信号流(steam)都包含直达信道与反射信道。可以依据如下原则简单且便利地确定直达信道:在声音检测模块检测到的所有信号中,直达信道的信号强度一般是最强的。
因此,在一个实施方式中,该方法还包括:将第一声音检测模块接收第二智能设备的声音信号流中的、在预定时间窗口内强度大于预定门限值的声音信号,确定为所述第一声音信号;将第二声音检测模块接收第二智能设备的声音信号流中的、在所述预定时间窗口内强度大于所述预定门限值的声音信号,确定为所述第二声音信号。
图4为本发明确定一对直达信号的第一示范性示意图。在图4中,第一声音检测模块检测到的声音信号流为steam1,steam1包含沿着时间(t)变化的多个脉冲信号,预定信号强度的门限值为T。可见,在时间窗口90的范围内,steam1中的脉冲信号50的信号强度大于门限值T。第二声音检测模块检测到的声音信号流为steam2,steam2包含沿着时间(t)变化的多个脉冲信号,预定信号强度的门限值同样为T。可见,在时间窗口90的范围内,steam2中的脉冲信号60的信号强度大于门限值T。因此,确定脉冲信号50为第一声音信号;脉冲信号60为第二声音信号。
另外,申请人还发现:可以综合考虑以下两个原则准确地确定直达信道:原则(1)、在声音检测模块检测到的所有信号中,直达信道的信号强度一般是最强的;原则(2)、联合判别法:两条直达信道信号(第一声音信号和第二声音信号)的到达时间差所换算出的距离差d不应大于第一声音检测模块和第二声音检测模块之间的距离。因此,在一个实施方式中,该方法还包括:在第一声音检测模块检测第二智能设备的声音信号流中确定出强度大于预定门限值的声音信号,以形成第一候选信号集;在第二声音检测模块检测第二智能设备的声音信号流中确定出强度大于所述预定门限值的声音信号,以形成第二候选信号集;确定第一候选信号集中的每个声音信号的接收时刻与第二候选信号集中的每个声音信号的接收时刻之间的各自的时间差;将所述时间差小于M的一对声音信号,确定为所述第一声音信号和第二声音信号,其中M=(D/c),D为第一声音检测模块与第二声音检测模块之间的距离,c为声音的传播速度。
图5为本发明确定一对直达信号的第二示范性示意图。在图5中,第一声音检测模块检测到的声音信号流为steam1,steam1包含沿着时间(t)变化的多个脉冲信号,预定信号强度的门限值为T。可见,在steam1中,脉冲信号50的信号强度大于门限值T,因此第一候选信号集包含脉冲信号50。第二声音检测模块检测到的声音信号流为steam2,steam1包含沿着时间(t)变化的多个脉冲信号,预定信号强度的门限值同样为T。可见,在steam2中,脉冲信号60和脉冲信号70的信号强度都大于门限值T,因此第二候选信号集包含脉冲信号60和脉冲信号70。而且,确定第一候选信号集中的脉冲信号50与第二候选信号集中的脉冲信号60的接收时刻之间的时间差d1,以及确定第一候选信号集中的脉冲信号50与第二候选信号集中的脉冲信号70的接收时刻之间的时间差d2。假定d1小于M,d2大于M,其中M=(D/c),D为第一声音检测模块与第二声音检测模块之间的距离,c为声音的传播速度。因此,将与d1相关的一对声音信号中的脉冲信号50确定为第一声音信号,且该对声音信号中的脉冲信号60确定为第二声音信号。
优选地,第一声音信号和第二声音信号为具有码分多址格式的超声波且包含第二智能设备的媒体访问控制地址(MAC)。
因此,第一智能设备可以基于包含在声音信号中的第二智能设备的MAC地址,准确识别声音信号的来源。当环境中存在多个发出声音信号的声源时,第一智能设备基于提取声音信号中的MAC地址,可以准确利用来自于同一声源的两个直达信号确定与该声源的相对角度,而不会受到其它声源的干扰。本发明实施方式还提出了一种智能设备间的相对角度确定方法。该方法适用于第一智能设备,第一智能设备包括第一声音检测模块和第二声音检测模块,该方法包括:确定第二智能设备发出的超声波信号直达第一声音检测模块的第一时刻;确定超声波信号直达第二声音检测模块的第二时刻;确定第一时刻与第二时刻之间的时间差;基于第一声音检测模块与第二声音检测模块之间的距离以及时间差,确定第一智能设备与第二智能设备之间的相对角度。
在一个实施方式中,确定第一智能设备与第二智能设备之间的相对角度包括:基于确定θ;其中arcsin为反正弦函数,d=t*c,t为时间差,c为声音的传播速度,D为第一声音检测模块与第二声音检测模块之间的距离;基于θ确定第一智能设备与第二智能设备之间的相对角度其中
在一个实施方式中,该方法还包括下列处理中的至少一个:
(1)、将第一声音检测模块接收第二智能设备的超声波信号流中的、在预定时间窗口内强度大于预定门限值的超声波信号,确定为直达第一声音检测模块的超声波信号,将接收到该直达第一声音检测模块的超声波信号的时刻确定为所述第一时刻;将第二声音检测模块接收第二智能设备的超声波信号流中的、在所述预定时间窗口内强度大于所述预定门限值的超声波信号,确定为直达第二声音检测模块的超声波信号,将接收到该直达第二声音检测模块的超声波信号的时刻确定为所述第二时刻。
(2)、在第一声音检测模块检测第二智能设备的超声波信号流中确定出强度大于预定门限值的超声波信号,以形成第一候选信号集;在第二声音检测模块检测第二智能设备的超声波信号流中确定出强度大于所述预定门限值的超声波信号,以形成第二候选信号集;确定第一候选信号集中的每个超声波信号的接收时刻与第二候选信号集中的每个超声波信号的接收时刻之间的各自的时间差;将时间差小于M的一对超声波信号的接收时刻,确定为第一时刻和第二时刻,其中M=(D/c),D为第一声音检测模块与第二声音检测模块之间的距离,c为声音的传播速度。下面对本发明的相对定位的原理和计算过程进行示范性说明。
图2为本发明智能设备间相对角度确定的原理示意图。图3为本发明智能设备间相对角度的计算原理图。如图2所示,布置在智能设备A底部的麦克风a1发射超声信号,该超声信号包含智能设备A的MAC地址,智能设备B(图2中没有示出)具有相隔布置的两个麦克风,分别为麦克风b1和麦克风b2。其中:麦克风b1接收该超声信号的直达信号L1,麦克风b2接收该超声信号的直达信号L2。该超声信号经过障碍物发射后到达麦克风b1和麦克风b2的非直达信号,不参与后续的相对角度计算。由于智能设备较小,特别是两台智能设备相距较远时,因此直达信号L1、L2可以视为平行线。
如图3所示,L1、L2分别表示智能设备B的麦克风b1、麦克风b2接收到的直达信号(不是经障碍物反射的信号);D为麦克风b1和麦克风b2之间的距离。比如,如果麦克风b1和麦克风b2分别布置在智能设备B的上下两端,那么D可以为智能设备B的长度;d为L1和L2的距离差,运用信号的相关算法可以确定直达信号L1相对于直达信号L2的延迟时间差t,可以基于延迟时间差t计算出d,其中d=t*c,c为声音在介质(比如空气)中的传播速度;θ为辅助角度,其中因此,可以计算出智能设备A与智能设备B的相对角度其中
优选地,智能设备A与智能设备B可以实施为下列中的至少一个:智能手机;平板电脑;智能手表;智能手环;智能音箱;智能电视;智能耳机;智能机器人;智能取号机;照相机等等。可以在智能设备的多个位置处布置第一声音检测模块和第二声音检测模块。图6为本发明的第一声音检测模块和第二声音检测模块在智能设备中的第一示范性布置示意图。在图6中,第一声音检测模块18和第二声音检测模块19分别布置在智能设备在长度方向上的两端,因此可以直接将智能设备的长度D确定为第一声音检测模块18和第二声音检测模块19之间的距离。图7为本发明的第一声音检测模块和第二声音检测模块在智能设备中的第二示范性布置示意图。在图7中,第一声音检测模块18和第二声音检测模块19分别布置在智能设备在宽度方向上的两端,因此可以直接将智能设备的宽度D确定为第一声音检测模块18和第二声音检测模块19之间的距离。
以上示范性描述了第一声音检测模块和第二声音检测模块在智能设备中的布置示意图,本领域技术人员可以意识到,这种描述仅是示范性的,并不用于限定本发明实施方式的保护范围。实际上,目前智能设备通常都具有两组麦克风,可以将这两组麦克风作为第一声音检测模块和第二声音检测模块应用在本发明实施方式中,而无需在硬件上改动智能设备。下面描述基于本发明实施方式利用超声计算智能设备间的相对角度的典型实例。
图8为本发明第一智能设备和第二智能设备的相对定位示意图。图10为本发明智能设备间相对定位的示范性处理流程图。在图7中,示意出检测声音信号的两组合麦克风的各自的处理路径,其中,模/数转换器(Analog-to-Digital Converter,ADC)是将连续变量的模拟信号转换为离散的数字信号的器件;带通滤波器(band-pass filter,BPF)是允许特定频段的波通过同时屏蔽其他频段的设备。基于超声的两台智能设备间相对方向识别步骤包括:
第一步:第一智能设备发射超声格式的定位信号,该定位信号包含智能设备1的Mac地址。第二步:第二智能设备的两组麦克风分别检测定位信号,从各自检测到的定位信号中解析出Mac地址,并基于Mac地址确认各自检测到的定位信号源自同一声源。第三步:第二智能设备基于自身所包含的两组麦克风分别检测出的、针对定位信号的两个直达信号之间的时间差计算出这两个直达信号的距离差d。第四步:第二智能设备计算则信号入射角度 即为第一智能设备与第二智能设备的相对角度,其中D为第二智能设备中这两组麦克风的距离。第五步:第二智能设备在自身的显示界面上显示相对角度从而提示用户第一智能设备的相对方向。比如,图9为本发明在智能设备界面中展示相对角度的示意图。举例说明,假定在图8所示的环境中,第一智能设备具体实施为智能音箱,第一智能设备具体实施为智能手机。步骤一:该智能音箱发射超声信号,该超声信号包含智能音箱的Mac地址,且为基于CDMA码分多址技术架构的信号。步骤二:智能手机的两组麦克风阵列接收超声信号并解算出智能音箱的Mac地址,同时,智能手机解算出两组麦克风阵列的两个直达信号之间的距离差d。其中:假定两组克风阵列的各自接收信号流stream1和stream2中,分别存在信号强度峰值大于门限值T的直达信号,因此满足原则1;再假定这两个直达信号的到达时间差计算对应于该Δt的d,其中两组麦克风距离D为已知(即手机长度),假定为0.145m,可见d<D,因此满足原则2。因此,可以选定这两个直达信号计算相对角度,其中d=0.014(m)。步骤三:智能手机计算那么信号入射角度智能手机在自己的显示屏幕上显示角度84.4°,即智能音箱在智能手机的84.4°方向。
利用两个智能设备间相对方向的识别方法,可进一步获得两个智能设备间的相对距离。设想如下场景:有至少两个智能设备,其中,至少一个智能设备a,用于发射超声定位信号,该超声定位信号包含智能设备a的MAC地址;至少一个智能设备b,用于接收超声定位信号并解算信号入射角度,并在进一步发生移动后计算与智能设备a的相对距离。
基于上述描述,本发明实施方式还提出了基于上述相对角度计算方式,实现全景拍照的技术方案。
图11为本发明的全景拍照装置的结构图。全景拍照装置包括:第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;第二声音检测模块,用于检测从被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为所述被拍摄对象同时发射的;角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;拼接模块,用于将所述拍摄图片拼接为全景图片。在一个实施方式中,角度确定模块,用于基于确定θ;其中arcsin为反正弦函数,d=t*c,t为所述时间差,c为声音的传播速度,D为第一声音检测模块与第二声音检测模块之间的距离;基于θ确定全景拍照装置与该被拍摄对象之间的相对角度其中优选地,全景拍照装置包括智能手机、平板电脑或照相机,等等。
其中,在被拍摄对象(比如,宫殿、艺术品,等等)上预先布置有可以发出声音(比如超声波)的声源(比如麦克风)。优选地,该声源可以布置在被拍摄对象的几何中心、侧面或顶部。
可见,在相对角度确定过程中,图11中的全景拍照装置相当于图1所示方法中的第一智能设备;图11中含声源的被拍摄对象相当于图1所示方法中的第二智能设备。
在本发明的全景拍照过程中,全景拍照装置的图像采集元件(比如摄像头)的拍摄方向朝向被拍摄对象。而且,全景拍照装置在以被拍摄对象为圆心的圆弧上移动(优选地,移动时,全景拍照装置的高度保持不变),因此全景拍照装置与该被拍摄对象之间的相对角度也在持续变化。当相对角度变化为等于预定的角度时,拍摄模块拍摄被拍摄对象以生成拍摄图片。然后,拼接模块将这些拍摄图片拼接为全景图片。
优选地,预定角度包括K,其中K=K0+N*α,其中K0为预定的拍摄起始点处全景拍照装置与该被拍摄对象之间的相对角度,N为整数,α为全景拍照装置的视场角(FOV)或小于该FOV的任意角度。具体地,以全景拍照装置的镜头为顶点,以被拍摄对象的物像可通过镜头的最大范围的两条边缘构成的夹角即为FOV。
拍摄点的数量依据如下公式来确定:N=T/α+1,其中,N为拍摄点的个数,T为全景照片的全景角度,α为FOV为或小于FOV的任意角度。
图12为本发明全景拍照的示范性示意图。如图12所示,被拍摄物体44为具有声源(比如麦克风)的电子设备。假定期望拍摄出的全景照片的全景角度为240°、α等于全景拍照装置33的FOV,具体为60°,则拍摄模块的拍摄点的数量N=240°/60°+1=5个。因此,预定的角度包括:第一个预定角度:K0+0*60°;第二个预定角度:K0+1*60°;第三个预定角度K0+2*60°=K0+120°;第四个预定角度:K0+3*60°=K0+180°;第五个预定角度K0+4*60°=K0+240°。其中,K0值可以由用户自行确定,优选为零。
举例(1):K0等于0:
拍摄点1为用户自行确定的起始拍摄点,此时全景拍照装置33(比如智能手机)中的角度确定模块确定出的全景拍照装置与该被拍摄对象之间的相对角度K0为0°,则相对角度等于第一个预定角度K0+0°。在位置点1处,全景拍照装置33中的拍摄模块拍摄被拍摄物体44的第一张图像。
然后,全景拍照装置33在以被拍摄物体44为圆心的圆弧上移动。当全景拍照装置33中的角度确定模块确定该全景拍照装置与该被拍摄对象之间的相对角度从第一个预定角度0°变为第二个预定角度K0+60°(即60°)时,即判定移动到达拍摄点2,此时全景拍照装置33中的拍摄模块在拍摄点2拍摄被拍摄物体44的第二张图像。接着,全景拍照装置33以相同旋转方向,继续从拍摄点2开始在以被拍摄物体44为圆心的圆弧上开始移动,依次移动到拍摄点3(此时相对角度从第二个预定角度60°变为第三个预定角度K0+120°(即120°))、拍摄点4(此时相对角度从第三个预定角度120°变为第四个预定角度(K0+180°,即180°))、拍摄点5(此时相对角度从第四个预定角度(180°)变为第五个预定角度(K0+240°,即240°)。在拍摄点3、拍摄点4和拍摄点5时,全景拍照装置33中的拍摄模块分别拍摄被拍摄物体44的第三张图像、第四张图像和第五张图像。然后,全景拍照装置33中的拼接模块将这五张图像拼接为一张全景图像。
举例(2):此时K0不等于0;
拍摄点1为用户自行确定的起始拍摄点,假定此时全景拍照装置33中的角度确定模块确定出的全景拍照装置与该被拍摄对象之间的相对角度K0为5°,相对角度等于第一个预定角度K0+0°=5°。在位置点1处,全景拍照装置33中的拍摄模块拍摄被拍摄物体44的第一张图像。
然后,全景拍照装置33在以被拍摄物体44为圆心的圆弧上移动。当全景拍照装置33中的角度确定模块确定该全景拍照装置与该被拍摄对象之间的相对角度从第一个预定角度5°变为第二个预定角度K0+60°(即65°)时,即判定移动到达拍摄点2,此时全景拍照装置33中的拍摄模块在拍摄点2拍摄被拍摄物体44的第二张图像。接着,全景拍照装置33以相同旋转方向,继续从拍摄点2开始在以被拍摄物体44为圆心的圆弧上开始移动,依次移动到拍摄点3(此时相对角度从第二个预定角度65°变为第三个预定角度K0+120°(即125°))、拍摄点4(此时相对角度从第三个预定角度125°变为第四个预定角度K0+180°(即185°))、拍摄点5(此时相对角度从第四个预定角度(185°)变为第五个预定角度K0+240°(即245°))。在拍摄点3、拍摄点4和拍摄点5时,全景拍照装置33中的拍摄模块分别拍摄被拍摄物体44的第三张图像、第四张图像和第五张图像。然后,全景拍照装置33中的拼接模块将这五张图像拼接为一张全景图像。
实际上,全景照片的全景角度还可以为其它角度(比如,180度,360度,等等),本发明实施方式对此并无限定。而且,预设角度还可以小于FOV。当预设角度小于FOV时,拼接模块在拼接出全景图像时,需要去除相邻的拍摄图片之间的多余重叠部分。
在具体应用中,用户在手持全景拍照装置的移动过程中,难以保证精确沿着圆弧移动。在本发明中,还提出了一种具有报警功能的全景拍照装置,从而当用户在手持全景拍照装置的移动过程中,如果移动偏离圆弧则提出报警。
本发明实施方式还提出了一种全景拍照装置,包括:第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;第二声音检测模块,用于检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为该被拍摄对象同时发射的;角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;其中所述被拍摄对象与所述全景拍照装置保持时间同步,所述第一声音信号进一步包含第一声音信号的发送时刻T1;其中所述角度确定模块,还用于计算该全景拍照装置与被拍摄对象之间的距离L;其中L=(T2-T1)×c;c为声音在空气中的传播速度;T2为第一声音信号的接收时刻;当确定所述距离L等于预定值(即为预先设定的圆弧移动所对应的圆形的半径)时,基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;当确定所述距离L不等于预定值时,发出报警提示;所述全景拍照装置还包括:拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;拼接模块,用于将所述拍摄图片拼接为全景图片。
本发明实施方式还提出了一种全景拍照装置,包括:第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;第二声音检测模块,用于检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为该被拍摄对象同时发射的;角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;其中所述被拍摄对象与所述全景拍照装置保持时间同步,所述第二声音信号进一步包含第二声音信号的发送时刻T3;其中所述角度确定模块,还用于计算该全景拍照装置与被拍摄对象之间的距离L;其中L=(T4-T3)×c;c为声音在空气中的传播速度;T4为第二声音信号的接收时刻;当确定所述距离L等于预定值时,基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;当确定所述距离L不等于预定值时,发出报警提示;所述全景拍照装置还包括:拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;拼接模块,用于将所述拍摄图片拼接为全景图片。
基于上述描述,本发明还提出了一种全景拍照方法,适用于包含第一声音检测模块和第二声音检测模块的全景拍照装置,该方法包括:
步骤1:使能第一声音检测模块检测从被拍摄对象直达所述第一声音检测模块的第一声音信号,使能第二声音检测模块检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号,其中所述第一声音信号和所述第二声音信号为被拍摄对象同时发射的。
步骤2:确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差。
步骤3:基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度。
步骤4:当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片。
步骤5:将所述拍摄图片拼接为全景图片。
在一个实施方式中,所述确定该全景拍照装置与该被拍摄对象之间的相对角度包括:基于确定θ;其中arcsin为反正弦函数,d=t*c,t为所述时间差,c为声音的传播速度,D为第一声音检测模块与第二声音检测模块之间的距离;基于θ确定全景拍照装置与该被拍摄对象之间的相对角度其中
在一个实施方式中,预定的角度包括K,其中K=K0+N*α,其中K0为拍摄起始点处全景拍照装置与该被拍摄对象之间的相对角度,N为整数,α为全景拍照装置的视场角或小于所述视场角的任意角度。在一个实施方式中,该方法还预先包括:在被拍摄对象上布置用于发出所述第一声音信号和所述第二声音信号的声源。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明上述各实施例中实现的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (10)
1.一种全景拍照装置,其特征在于,包括:
第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;
第二声音检测模块,用于检测从被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为所述被拍摄对象同时发射的;
角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;
拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;
拼接模块,用于将所述拍摄图片拼接为全景图片。
3.根据权利要求1或2所述的全景拍照装置,其特征在于,所述全景拍照装置包括智能手机、平板电脑或照相机。
4.一种全景拍照装置,其特征在于,包括:
第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;
第二声音检测模块,用于检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为该被拍摄对象同时发射的;
角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;
其中所述被拍摄对象与所述全景拍照装置保持时间同步,所述第一声音信号进一步包含第一声音信号的发送时刻T1;其中所述角度确定模块,还用于计算该全景拍照装置与被拍摄对象之间的距离L;其中L=(T2-T1)×c;c为声音在空气中的传播速度;T2为第一声音信号的接收时刻;当确定所述距离L等于预定值时,基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;当确定所述距离L不等于预定值时,发出报警提示;
所述全景拍照装置还包括:
拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;
拼接模块,用于将所述拍摄图片拼接为全景图片。
5.一种全景拍照装置,其特征在于,包括:
第一声音检测模块,用于检测从被拍摄对象直达所述第一声音检测模块的第一声音信号;
第二声音检测模块,用于检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号;其中所述第一声音信号和所述第二声音信号为该被拍摄对象同时发射的;
角度确定模块,用于确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;
其中所述被拍摄对象与所述全景拍照装置保持时间同步,所述第二声音信号进一步包含第二声音信号的发送时刻T3;其中所述角度确定模块,还用于计算该全景拍照装置与被拍摄对象之间的距离L;其中L=(T4-T3)×c;c为声音在空气中的传播速度;T4为第二声音信号的接收时刻;当确定所述距离L等于预定值时,基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;当确定所述距离L不等于预定值时,发出报警提示;
所述全景拍照装置还包括:
拍摄模块,用于当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;
拼接模块,用于将所述拍摄图片拼接为全景图片。
6.一种全景拍照方法,其特征在于,适用于包含第一声音检测模块和第二声音检测模块的全景拍照装置,该方法包括:
使能第一声音检测模块检测从被拍摄对象直达所述第一声音检测模块的第一声音信号,使能第二声音检测模块检测从该被拍摄对象直达所述第二声音检测模块的第二声音信号,其中所述第一声音信号和所述第二声音信号为被拍摄对象同时发射的;
确定第一声音信号的接收时刻与第二声音信号的接收时刻之间的时间差;
基于第一声音检测模块与第二声音检测模块之间的距离以及所述时间差,确定该全景拍照装置与该被拍摄对象之间的相对角度;
当所述相对角度符合预定的角度时,拍摄被拍摄对象以生成拍摄图片;
将所述拍摄图片拼接为全景图片。
8.根据权利要求6所述的全景拍照方法,其特征在于,所述预定的角度包括K,其中K=K0+N*α,其中K0为拍摄起始点处全景拍照装置与该被拍摄对象之间的相对角度,N为整数,α为全景拍照装置的视场角或小于所述视场角的任意角度。
9.根据权利要求6所述的全景拍照方法,其特征在于,还预先包括:
在被拍摄对象上布置用于发出所述第一声音信号和所述第二声音信号的声源。
10.一种计算机可读存储介质,其特征在于,其中存储有计算机可读指令,该计算机可读指令用于执行如权利要求6至9中任一项所述的全景拍照方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010739397.1A CN112104810A (zh) | 2020-07-28 | 2020-07-28 | 全景拍照装置、全景拍照方法和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010739397.1A CN112104810A (zh) | 2020-07-28 | 2020-07-28 | 全景拍照装置、全景拍照方法和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112104810A true CN112104810A (zh) | 2020-12-18 |
Family
ID=73750590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010739397.1A Withdrawn CN112104810A (zh) | 2020-07-28 | 2020-07-28 | 全景拍照装置、全景拍照方法和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112104810A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11304906A (ja) * | 1998-04-20 | 1999-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 音源位置推定方法およびそのプログラムを記録した記録媒体 |
CN102279515A (zh) * | 2010-06-09 | 2011-12-14 | 鸿富锦精密工业(深圳)有限公司 | 全景拍照装置及方法 |
CN105827937A (zh) * | 2015-08-28 | 2016-08-03 | 维沃移动通信有限公司 | 一种摄像装置及摄像方法 |
CN107705785A (zh) * | 2017-08-01 | 2018-02-16 | 百度在线网络技术(北京)有限公司 | 智能音箱的声源定位方法、智能音箱及计算机可读介质 |
CN107800967A (zh) * | 2017-10-30 | 2018-03-13 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN109300471A (zh) * | 2018-10-23 | 2019-02-01 | 中冶东方工程技术有限公司 | 融合声音采集识别的场区智能视频监控方法、装置及系统 |
CN110691196A (zh) * | 2019-10-30 | 2020-01-14 | 歌尔股份有限公司 | 一种音频设备的声源定位的方法及音频设备 |
CN110830708A (zh) * | 2018-08-13 | 2020-02-21 | 深圳市冠旭电子股份有限公司 | 一种追踪摄像方法、装置及终端设备 |
-
2020
- 2020-07-28 CN CN202010739397.1A patent/CN112104810A/zh not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11304906A (ja) * | 1998-04-20 | 1999-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 音源位置推定方法およびそのプログラムを記録した記録媒体 |
CN102279515A (zh) * | 2010-06-09 | 2011-12-14 | 鸿富锦精密工业(深圳)有限公司 | 全景拍照装置及方法 |
CN105827937A (zh) * | 2015-08-28 | 2016-08-03 | 维沃移动通信有限公司 | 一种摄像装置及摄像方法 |
CN107705785A (zh) * | 2017-08-01 | 2018-02-16 | 百度在线网络技术(北京)有限公司 | 智能音箱的声源定位方法、智能音箱及计算机可读介质 |
CN107800967A (zh) * | 2017-10-30 | 2018-03-13 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN110830708A (zh) * | 2018-08-13 | 2020-02-21 | 深圳市冠旭电子股份有限公司 | 一种追踪摄像方法、装置及终端设备 |
CN109300471A (zh) * | 2018-10-23 | 2019-02-01 | 中冶东方工程技术有限公司 | 融合声音采集识别的场区智能视频监控方法、装置及系统 |
CN110691196A (zh) * | 2019-10-30 | 2020-01-14 | 歌尔股份有限公司 | 一种音频设备的声源定位的方法及音频设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4296197B2 (ja) | 音源追跡のための配置及び方法 | |
CN107067414B (zh) | 电子设备定向音频视频采集 | |
US9516241B2 (en) | Beamforming method and apparatus for sound signal | |
US20170133036A1 (en) | Enhancement of audio captured by multiple microphones at unspecified positions | |
JP2019186929A (ja) | カメラ撮影制御方法、装置、インテリジェント装置および記憶媒体 | |
CN107534725A (zh) | 一种语音信号处理方法及装置 | |
CN105611167B (zh) | 一种对焦平面调整方法及电子设备 | |
KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
CN102547332B (zh) | 图像拍摄装置和图像拍摄控制方法 | |
KR20180101466A (ko) | 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스 | |
JP6835853B6 (ja) | プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム | |
US20170265012A1 (en) | Electronic Device Directional Audio-Video Capture | |
CN104469167A (zh) | 自动对焦方法及装置 | |
CN105208287A (zh) | 一种拍摄方法和装置 | |
JP2011041096A (ja) | 携帯端末、並びにこれに用いる集音制御方法及びプログラム | |
CN106303214B (zh) | 一种对焦方法及装置 | |
CN113114975B (zh) | 图像拼接方法、装置、电子设备和存储介质 | |
CN113312985B (zh) | 一种视听双模态的360度全方位说话人定位方法 | |
CN110726971B (zh) | 可见光定位方法、装置、终端及存储介质 | |
CN112104810A (zh) | 全景拍照装置、全景拍照方法和计算机可读存储介质 | |
WO2011108377A1 (ja) | 連携動作機器、連携動作方法、連携動作制御プログラム及び機器連携システム | |
WO2016197444A1 (zh) | 一种实现拍摄的方法及终端 | |
CN114333831A (zh) | 信号处理的方法和电子设备 | |
CN112098935A (zh) | 一种寻找智能设备的方法和智能设备 | |
JP2006058572A (ja) | 電子機器および撮影モードの切り替え方法並びに撮影モードの切り替え用ソフトウェアプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201218 |