CN113596395A - 一种图像获取的方法及监控设备 - Google Patents

一种图像获取的方法及监控设备 Download PDF

Info

Publication number
CN113596395A
CN113596395A CN202110841502.7A CN202110841502A CN113596395A CN 113596395 A CN113596395 A CN 113596395A CN 202110841502 A CN202110841502 A CN 202110841502A CN 113596395 A CN113596395 A CN 113596395A
Authority
CN
China
Prior art keywords
image
image data
image sensor
type
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110841502.7A
Other languages
English (en)
Inventor
郝李鹏
路宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110841502.7A priority Critical patent/CN113596395A/zh
Publication of CN113596395A publication Critical patent/CN113596395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像获取的方法及监控设备,应用于图像处理技术领域;其中,图像获取的方法应用于包含有多个图像传感器的监控设备,多个图像传感器包括:智能分析对应的第一类图像传感器,和监控录像对应的第二类图像传感器;该方法包括:分别获取第一类图像传感器采集的第一图像数据,以及第二类图像传感器采集的第二图像数据;并将第一图像数据进行智能分析处理,以获取第一图像数据中包含的对象信息,以及将第二图像数据进行视频编码处理,生成监控录像对应的视频。通过两类图像传感器分别获第一图像数据和第二图像数据,避免出现在触发抓拍快门模式,获取用于取证的抓拍帧图像的情况下,监控录像下的视频卡顿不流畅的现象,提升了视频流畅度。

Description

一种图像获取的方法及监控设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像获取的方法及监控设备。
背景技术
为同时实现智能分析和监控录像,现有的监控设备普遍采用多快门方案获取图像。多快门方案,包括视频快门模式、图片快门模式和抓拍快门模式;其中,视频快门模式对应的图像数据用来实现视频监控,图片快门模式对应的图像数据用来实现对象跟踪与识别,抓拍快门模式对应的图像数据用于取证。
目前,在多快门方案中,当图像抓拍快门模式被触发时,为了及时获取抓拍快门模式对应的图像数据,以及时取证,在接收到抓拍快门模式的触发信号后,立即将下一帧图像设置为抓拍帧图像。若下一帧图像原本设定为视频帧图像,由于抓拍快门模式被触发,此时将视频帧图像替换为抓拍帧图像;因此,在抓拍快门模式被频发触发时,会导致视频帧图像的帧率降低,导致监控录像下的视频出现卡顿不流畅的现象。
综上,在及时获取用于取证的抓拍帧图像的情况下,如何提高监控录像下的视频流畅度是目前需要解决的技术问题。
发明内容
本申请提供一种图像获取的方法及监控设备,用以在及时获取用于取证的抓拍帧图像的情况下,提高监控录像下的视频流畅度。
第一方面,本申请实施例提供一种图像获取方法,应用于包含有多个图像传感器的监控设备,多个图像传感器包括:智能分析对应的第一类图像传感器,和监控录像对应的第二类图像传感器;该方法包括:
分别获取第一类图像传感器采集的第一图像数据,以及第二类图像传感器采集的第二图像数据;
将第一图像数据进行智能分析处理,以获取第一图像数据中包含的对象信息;以及将第二图像数据进行视频编码处理,生成监控录像对应的视频。
第二方面,本申请实施例提供一种图像获取的监控设备,监控设备为包含有中央处理器以及多个图像传感器的监控设备,多个图像传感器包括:智能分析对应的第一类图像传感器、监控录像对应的第二类图像传感器,其中:
第一类图像传感器,用于采集第一图像数据,并将第一图像数据传输给中央处理器;
第二类图像传感器,用于采集第二图像数据,并将第二图像数据传输给中央处理器;
中央处理器,用于接收第一图像数据和第二图像数据,并将第一图像数据进行智能分析处理,以获取第一图像数据中包含的对象信息;以及将第二图像数据进行视频编码处理,生成监控录像对应的视频。
在一种可能的实现方式中,第一类图像传感器的分辨率大于第二类图像传感器的分辨率。
在一种可能的实现方式中,监控设备还包括协处理器;
协处理器,用于通过第一类图像传感器获取第一图像数据,并基于第一图像数据对应的图像参数,与预设的快门模式信息进行匹配,获得匹配成功的目标快门模式信息,将目标快门模式信息和第一图像数据传输给中央处理器;
中央处理器,还用于通过预设的第一端口,获取协处理器传输的第一图像数据和目标快门模式信息。
在一种可能的实现方式中,中央处理器还用于:
通过预设的第二端口,获取第二类图像传感器传输的第二图像数据。
在一种可能的实现方式中,监控设备还包括分光器;
分光器,用于将接收到的入射光分成多路频段一致的可见光,并分别传输至第一类图像传感器和第二类图像传感器;
第一类图像传感器,用于基于补光参数以及配置的图像参数,采集相应视场角对应的图像数据,其中,视场角是基于可见光确定的;
第二类图像传感器,用于基于补光参数以及配置的图像参数,采集相应视场角对应的图像数据,其中,视场角是基于可见光确定的。
在一种可能的实现方式中,中央处理器获取第一类图像传感器采集的第一图像数据之后,还用于:
若基于目标快门模式信息确定第一图像数据为图片帧图像,则将第一图像数据进行对象跟踪识别处理,以在基于获取的对象信息确定开启抓拍快门模式后,向第一类图像传感器下发抓拍快门模式对应的图像参数;或
若基于目标快门模式信息确定第一图像数据为抓拍帧图像,则将第一图像数据进行对象取证处理,得到对象信息。
第三方面,本申请实施例提供一种图像获取的装置,该装置包括:
获取单元,用于分别获取第一类图像传感器采集的第一图像数据,以及第二类图像传感器采集的第二图像数据,其中,第一类图像传感器为智能分析对应的图像传感器,第二类图像传感器为监控录像对应的图像传感器;
处理单元,用于将第一图像数据进行智能分析处理,以获取第一图像数据中包含的对象信息;以及将第二图像数据进行视频编码处理,生成监控录像对应的视频。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令被处理器执行时实现本申请实施例提供的图像获取的方法。
本申请有益效果如下:
本申请实施例提供一种图像获取的方法及监控设备,应用于图像处理技术领域。其中,图像获取的方法应用于包含有多个图像传感器的监控设备,多个图像传感器包括:智能分析对应的第一类图像传感器和监控录像对应的第二类图像传感器;第一类图像传感器用于获取智能分析对应的第一图像数据,第二类图像传感器用于获取监控录像对应的第二图像数据,并将获取的第一图像数据和第二图像数据均传输给中央处理器,由中央处理器对第一图像数据进行智能分析处理,以获取第一图像中包含的对象信息,并对第二图像数据进行视频编码处理,生成监控录像的视频;因此,在抓拍快门模式被触发的情况下,通过第一类图像传感器及时获取抓拍帧图像,由中央处理器对抓拍帧图像进行智能分析,获取对象信息以用于取证,同时通过第二类图像传感器获取视频帧图像,视频帧图像用于监控录像的视频编码处理,生成监控录像对应的视频。通过两路图像传感器分别获取智能分析对应的第一图像数据,和监控录像对应的第二图像数据,此时抓拍帧图像不会抢占视频帧图像的位置,因此不会出现在获取用于取证的抓拍帧图像时,监控录像下的视频卡顿不流畅的现象,提升视频流畅度。
本申请的其它特征向量和优点将在随后的说明书中阐述,并且,子模型地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相关技术中一种图像获取的示意图;
图2为本申请实施例提供的一种应用场景示意图;
图3为本申请实施例提供的一种监控设备的结构图;
图4为本申请实施例提供的一种“Binning”模式的示意图;
图5为本申请实施例提供的一种图像获取的示意图;
图6为本申请实施例提供的另一种图像获取的示意图;
图7为本申请实施例提供的一种图像传感器驱动控制信号的示意图;
图8为本申请实施例提供的一种辅助设备驱动控制信号的示意图;
图9为本申请实施例提供的一种图像获取的方法流程图;
图10为本申请过实施例提供的一种图像获取的装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
下面对本申请实施例的设计构思进行简单介绍。
本申请实施例中提供的图像获取方法及设备主要应用于智能交通、安全防护等需要同时实现智能分析和监控录像的领域。
相关技术中,为了同时实现智能分析和监控录像,普遍采用多快门方案,多快门方案中包括视频快门模式、图片快门模式以及抓拍快门模式。视频快门模式对应的图像数据用来实现监控,图片快门模式对应的图像数据在智能分析中用来实现对象跟踪与识别,抓拍快门模式对应的图像数据在智能分析中用来取证。
在多快门方案,通过同一图像传感器采集视频快门模式、图片快门模式以及抓拍快门模式对应的图像数据,通过协处理器将图像传感器采集的图像数据传输给中央处理器,由中央处理器对图像数据进行相应处理。请参考图1,图1示例性提供相关技术中一种图像获取的示意图。
由于当前多快门方案中的图像传感器按照设定的模式,采用分时复用的方式依次输出不同快门模式对应的图像数据,且视频帧图像、抓片帧图像和图片帧图像每秒的帧数总和等于图像传感器设定的帧率。因此,当抓拍快门模式被触发时,为了确保抓拍及时性,协处理器在接收到抓拍快门模式的触发信号时,立即将下一帧图像设为抓拍帧图像。此时,将存在当抓拍快门模式被触发时,若下一帧图像原本为视频帧图像,抓拍帧图像将抢占视频帧图像的位置的现象。当抓拍快门模式被频繁触发时,抓拍帧图像总是抢占视频帧图像的位置,导致视频帧图像的帧率降低,直观的现象就是会导致监控录像出现卡顿不流畅。
相关技术中,图像传感器按照设定的模式,采用分时复用的方式依次输出不同快门模式数据对应的图像数据时,图像传感器常用设定模式,包括:
双快门半帧率:在抓拍快门模式未被触发时,视频快门模式对应的视频帧图像和图片快门模式对应的图片帧图像的帧率一致,均等于图像传感器实际输出帧率的一半;当抓拍快门模式被触发时,为确保抓拍及时性,协处理器在接收到抓拍快门模式触发信号时,立即将下一帧设定为抓拍帧图像;
双快门全帧率:在抓拍快门模式未被触发时,图片快门模式对应的图片帧图像的帧率为1帧/S,视频快门模式对应的视频帧图像的帧率等于图像传感器帧率减1;当抓拍快门模式被触发时,为确保抓拍及时性,协处理器在接收到抓拍触发信号时,立即将下一帧设定为抓拍帧图像;
单快门:在抓拍快门模式未被触发时,图片快门模式对应的图片帧图像的帧率为0帧/S,视频快门模式对应的视频帧图像的帧率等于图像传感器帧率;当抓拍快门模式被触发时,为确保抓拍及时性,协处理器在接收到抓拍触发信号时,立即将下一帧设定为抓拍帧图像;
三快门:三快门中不同快门模式的帧率与对应双快门模式一致,只是抓拍帧的曝光、增益等参数与图片帧不同。
综上,相关技术中在及时获取用于取证的抓拍帧图像的情况下,抓拍帧图像会抢占视频帧图像的位置,导致视频帧图像的帧率降低,使监控录像下的视频卡顿不流畅。
有鉴于此,本申请实施例为了在及时获取抓拍帧图像的情况下,不影响视频帧图像的帧率,即不影响监控录像下视频的流畅度,提出了一种图像获取的方法及监控设备,在监控设备中设置多个图像传感器,多个图像传感器包括:智能分析对应的第一类图像传感器,和监控录像对应的第二类图像传感器;在图像获取的方法中:分别获取第一类图像传感器采集的第一图像数据,以及第二类图像传感器采集的第二图像数据;将第一图像数据进行智能分析处理,以获取第一图像数据中包含的对象信息;以及将第二图像数据进行视频编码,生成监控录像对应的视频。单独使用一路图像传感器获取监控录像对应的第二图像数据,消除在抓拍快门模式被频繁触发的情况下,获取的抓拍帧图像频繁抢占视频帧图像的位置,导致视频帧图像的帧率降低,监控录像对应的视频卡顿不流畅的问题。
下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
请参考图2,图2示例性提供本申请实施例中一种应用场景,该应用场景中包括监控设备10(如图2中的监控设备10-1和监控设备10-2)以及服务器20;
其中,监控设备10为安装在路旁设备、商场等场景中,用于获取图像的设备;服务器20可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一种可能的实施方式中,监控设备10与服务器20之间可以通过通信网络进行通信,通信网络是有线网络或无线网络。因此监控设备10和服务器20可以通过有线或无线通信方式进行直接或间接地连接。比如,监控设备10还可以通过无线接入点12与服务器20间接地连接,或监控设备10通过因特网与服务器20直接地连接,本申请在此不做限制。
基于上述应用场景,下面结合上述描述的应用场景,根据附图来描述本申请示例性实施方式提供的监控设备,以及通过该监控设备进行图像获取的方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
请参考图3,图3示例性提供本申请实施例中一种监控设备的结构图,该监控设备中包括:镜头30、分光器31、多个传感器32、协处理器33、中央处理器34、以及辅助设备35;其中:
镜头30,用于获取入射光,并将入射光传输至监控设备中的分光器31。
分光器31,用于将镜头30进入监控设备的入射光分成多路频段一致的可见光,并将获取的各个可见光分别输入多个传感器32;
在一种可能的实现方式中,分光器31按照监控设备中设置的图像传感器的数量,将入射光分成多路频段一致的可见光;
显然的,可见光的路数与监控设备中设置的图像传感器的数量一致,以保证每个图像传感器均可以获取到可见光;且分光器将入射光分成多路频段一致的可见光,是为了保证多路可见光的范围相同,以确保各个图像传感器的视场角一致;
比如,监控设备中包含有两个图像传感器,分别为一路智能分析对应的第一类图像传感器321以及一路监控录像对应的第二类图像传感器322,如图3所示;此时,分光器将入射光分成可见光0和可见光1两路,然后将可见光0传输给第一类图像传感器321,将可见光1传输给第二类图像传感器322;由于可见光0和可见光1的范围一致,因此第一类图像传感器321和第二类图像传感器322的对应的视场角一致;视场角一致也就说明了第一类图像传感器和第二类图像传感器在相同的视场角获取的图像画面一致,换句话说,监控录像获取的图像画面与智能分析获取的图像画面一致,进行取证时对应的监控录像的图像画面一致。
多个图像传感器32,用于基于补光参数以及配置的图像参数,采集视场角对应的图像数据;
为了保证智能分析过程中用于取证时使用的图像数据,不会影响监控录像的视频显示的图像数据,本申请实施例中,要求多个图像传感器中必须包括至少一路智能分析对应的第一类图像传感器321,以及至少一路监控录像对应的第二类图像传感器322;
下面以监控设备中设置两个图像传感器,分别为一路第一类图像传感器321和一路第二类图像传感器322:
第一类图像传感器321,用于按照配置的图片快门模式的图像参数,以及辅助设备35提供的补光参数,采集相应视场角对应的图像数据;或按照配置的抓拍快门模式的图像参数,以及辅助设备35提供的补光参数,采集相应视场角对应的图像数据;
第二类图像传感器322,用于按照配置的视频宽门模式的图像参数,以及辅助设备35提供的补光参数,采集相应视场角对应的图像数据。
由于监控录像通路对图像细节的要求较低,对监控场景、图像画面亮度的要求较高;智能分析通路对图像细节、监控场景以及图像画面亮度的要求均较高;
因此,在保证监控场景的前提下,为了提升监控设备监控通路低照性能、降低协处理器33和中央处理器34的采集和传输带宽的压力,以及提升监控设备的计算性能,本申请实施例中,采用的第一类图像传感器321和第二类图像传感器322具有相同部件,但设置第一类图像传感器321的分辨率大于第二类图像传感器322的分辨率;
优选的,第一类图像传感器321的分辨率为第二类图像传感器322的2倍,也就是说,第一类图像传感器321的实际有效水平和垂直分辨率均是第二类图像传感器322的2倍。
在不影响第二图像传感器322的视场角的情况下,又有降低第二类图像传感器322的分辨率,本申请实施例中,将第二类图像传感器322的工作模式设置成“Binning”模式,以减少第二类图像传感器的分辨率。
其中,“Binning”模式是将相邻像元感应的电荷加在一起,以一个像素的模式读出。在环境光照低的情况下,提高监控设备的表现力,通常处理方式请参考图4。
在本申请实施例中,第一类图像传感器321以及第二类图像传感器322采集图像数据过程中所使用快门模式的图像参数是协处理器33下发的;以及
第一类图像传感器321以及第二类图像传感器322采集图像数据过程中,辅助设备35提供的补光参数也是协处理器33下发的;
其中,协处理器33基于中央处理器34传输的控制与参数信息,确定各个图像传感器32对应的驱动控制信号和图像参数,以及辅助设备35对应的驱动控制信号和补光参数;
请参考图5,图5示例性提供本申请实施例中一种图像获取的示意图,从图5中可知,中央处理器3向协处理器33传输驱动控制信号与参数信息;协处理器33将驱动控制信号和图像参数分别下发至相应的第一类图像传感器321以及第二类图像传感器322,并将驱动控制信号和补光参数下发至辅助设备35;第一类图像传感器321在辅助设备35的补光辅助下,采用获取的图像参数,采集第一图像数据,并通过协处理器33传输给中央处理器34;第二类图像传感器322在辅助设备35的补光辅助下,采用获取的图像参数采集第二图像数据,并直接传输给中央处理器34。
下面,主要对本申请实施例中的协处理器33和中央处理器34进行详细介绍。
本申请实施例中的协处理器33包括:图像采集模块331、匹配模块332、信息嵌入模块333、发送模块334、中央处理器协议解析模块335、驱动控制与参数信息下发模块336;请参考图6,图6示例性提供本申请实施例中另一种图像获取的示意图,其中:
图像采集模块331,用于通过协处理器的第一端口采集第一类图像传感器321传输的第一图像数据,并将采集的第一图像数据传输给匹配模块332。
匹配模块332,用于基于第一图像数据对应的图像参数,与预设的快门模式信息进行匹配,获得匹配成功的目标快门模式信息,并将匹配成功的目标快门模式信息传输给信息嵌入模块333;
由于第一类图像传感器是智能分析对应的图像传感器,用于获取抓拍帧图像和图片帧图像,因此匹配成功的目标快门模式信息为抓拍快门模式或图片快门模式;也就是说,匹配模块332主要用于对当前采集到的第一图像数据对应的快门模式进行分类,明确第一图像数据是抓拍快门模式下获取的抓拍帧图像,还是图片快门模式下获取的图片帧图像;
需要说明的是,在协处理器内部模块间传输目标快门模式信息时,利用1bit flag信号对快门模式[图片快门模式、抓拍快门模式]进行标记。比如当flag为低电平时,表示图像为图片帧图像;当flag为高电平时,表示图像为抓拍帧图像。
信息嵌入模块333,用于在第一图像数据的设定位置嵌入目标快门模式信息以及相关抓拍信息,并将嵌入目标快门模式信息以及相关抓拍信息的第一图像数据传输给发送模块334。
发送模块334,用于通过协处理器的第四端口将嵌入了目标快门模式信息和相关抓拍信息的第一图像数据传输给中央处理器34。
中央处理器协议解析模块335,用于通过协处理器的第三端口获取中央处器传输的控制和参数信息,并对接收的控制和参数信息进行解析;然后,将解析获得的驱动控制与参数信息传输给驱动控制与参数信息下发模块336。
驱动控制与参数信息下发模块336,用于通过协处理器的第二端口向各个图像传感器下发行、场同步信号和图像参数,以及通过协处理器的第二端口向辅助设备传输驱动控制信号和补光参数;
在一种可能的实现方式中,驱动控制与参数信息下发模块336中包括:图像传感器驱动控制与图像参数下发模块3361,以及辅助设备控制、与图像传感器参数同步模块3362;
其中,行、场同步信号和图像参数是协处理器33在图像传感器驱动控制与图像参数下发模块3361中按照图像分辨率和帧率的要求,产生的,且在场同步信号产生时刻,协处理器利用串行外设接口(Serial Peripheral Interface,SPI)、集成电路总线(Inter-Integrated Circuit,IIC)等通信协议接口进行图像参数的下发,图像参数包括但不限于曝光、增益、高转换增益(High Conversion Gain,HCG)。
监控设备在不同的地域使用时,要求的视频制式不同,通常包括有P制和N制,其中,P制普遍采用50HZ的帧率实现监控录像与智能分析,N制普遍采用60HZ的帧率实现监控录像与智能分析。
举例说明两个图像传感器的场同步驱动方法:
帧同步信号参考信号周期为T,帧同步信号的频率(1/T)一般为传感器2最大帧率的K倍(N为2或2以上);
以K=2,P制50HZ为例,请参考图7,图7为本申请实施例提供的图像传感器驱动控制信号的示意图,从图7中可知,第一类图像传感器与第二类图像传感器的帧同步驱动信号各自与帧同步信号参考信号对齐,两者之间交替。第一类图像传感器帧率为50HZ,第二类图像传感器的帧率为25HZ,帧同步信号参考信号的频率为100HZ。
辅助设备的驱动控制信号和补光参数是协处理器33在辅助设备控制、与图像传感器参数同步模块3362产生的,在产生驱动控制信号和补光参数时需要注意的是辅助设备补光的问题,辅助设备补光涉及频闪灯[每一帧图像都要补光]、爆闪灯[抓拍帧图像补光]两个范畴;
频闪灯:要做到第一类图像传感器与第二类图像传感器正常补光。
爆闪灯:要做到第一类图像传感器对应抓拍帧图像进行补光,且爆闪灯开启时不能干涉第二类图像传感器图像数据的采集。
以K=2,P制50HZ,帧同步信号参考信号频率100HZ为例,请参考图8,图8示例性提供本申请实施例中一种辅助设备驱动控制信号的示意图;第一类图像传感器最大曝光时间为10ms,第二类图像传感器最大曝光时间也为10ms。相比于传统方案下50HZ图像传感器的最大曝光时间20ms的情况,本申请实施例设置多个图像传感器,且最大曝光时间为10ms,更符合智能交通监控抓拍技术方案中,智能分析、监控录像应用中均要求高速运动车辆轮廓清晰无拖尾的智能交通抓拍要求。
频闪灯补光方案:频闪灯的频率为100HZ,第一类图像传感器与第二类图像传感器的结束曝光时刻与传感器帧同步信号对齐,因此以帧同步信号参考信号为基准,进行100HZ频闪控制,可以满足两个传感器的频闪补光。
爆闪灯补光:爆闪灯相对第一类图像传感器的帧同步信号开启,只需在第一类图像传感器帧同步信号来临前确保将爆闪灯关闭,可杜绝爆闪灯开启时的亮度干涉到第二类图像传感器的图像采集。特别在智能交通抓拍业务中,不同快门的最大曝光时间为8ms,爆闪灯不干涉第二类图像传感器很容易实现。
本申请实施例的中央处理器34包括:第一图像采集模块341、第二图像采集模342、帧协议解析模块343、图像处理模块344、控制与参数信息下发模块345、视频编码显示模块346以及智能分析模块347,请参考图6,图6示例性提供本申请实施例中另一种图像获取的示意图;其中:
第一图像采集模块341,用于通过第一端口采集协处理器33传输的嵌入有目标快门模式信息和相关抓拍信息的第一图像数据,并将嵌入有目标快门模式信息和相关抓拍信息的第一图像数据传输给帧协议解析模块343;
在未触发抓拍快门模式时,中央处理器34获取的图片帧图像至少比传统方案多一倍,可实现快速的目标跟踪、识别与取证。
第二图像采集模块342,用于通过第二端口采集第二类图像传感器322传输的第二图像数据,并将第二图像数据传输给图像处理模块344;
需要说明的是,第二图像采集模块342获取的第二图像数据中没有嵌入快门标记信息,全部为视频快门模式下获取的视频帧图像。另外中央处理器通过第二端口获取到的视频帧图像的帧率不受抓拍快门模式的影响,由于第二类图像传感器输出的图像数据帧率大于等于25fps,解决了监控录像链路中视频帧图像的帧率降低导致监控画面卡顿不流畅的问题。
帧协议解析模块343,用于采集第一图像采集模块341传输的第一图像数据,并依照约定位置嵌入的当前视频快门模式信息,将采集到的图像数据进行分类,获得图片快门图像数据和抓拍快门图像数据。
图像处理模块344,又称图像信号处理(Image Signal Processing,ISP)模块,用于对接收到的帧协议解析模块343传输的图像数据以及第一图像采集模块341传输的第二图像传输完成不同色域空间的图像处理操作;
视频快门模式下获取的视频帧图像经图像处理模块处理后,传输至视频编码显示模块346进行视频编码,并用作监控录像;
图片快门模式下获取的图片帧图像经图像处理模块后,传输至智能分析模块347中的跟踪识别模块3471进行对象跟踪识别处理,用作对象跟踪、识别;
抓拍快门模式下获取的抓拍帧图像经图像处理模块处理后,传输智能分析模块347中的取证抓拍上图模块3472进行对象取证处理,得到对象信息,用作取证依据。
控制与参数信息下发模块345,用于获取图像处理模块344和/或智能分析模块347下发的控制与参数信息,并将控制与参数信息通过中央处理器的第三端口下发给协处理器;
其中,控制与参数信息下发模块345中包含有与图像处理模块344连接的控制与图像参数模块3451,以及与智能分析模块347连接的抓拍控制与参数下发模块3452;
控制与图像参数模块3451,用于从图像处理模块344内获取计算出的图像传感器的增益、曝光值等图像参数,并传输给协处理器;
抓拍控制与参数下发模块3452,用于从智能分析模块347内获取确定下一帧是否需要进行抓拍的抓拍快门模式触发信息,以及抓拍相关参数,抓拍相关参数包括:帧序号,通道号、爆闪灯序号等。
辅助设备35,用于在图像传感器采集图像数据的过程中,按照协处理器33传输的驱动控制信号和补光参数进行补光操作。
本申请实施例中的监控设备中包含有智能分析对应的第一类图像传感器,以及监控录像对应的第二图像传感器,视频监控通路单独使用一路图像传感器数据,消除在图像抓拍机制被频繁触发时,视频监控出现卡顿不流畅的问题。智能分析与抓拍取证使用一路图像传感器数据,确保摄像机的中央处理器获取到更多的图片快门数据,实现快速的目标跟踪、识别与取证。
本申请实施例中,还提供了通过上述监控设备进行图像获得的方法,请参考图9,图9示例性提供本申请实施例中一种图像获取的方法,该方法包括如下步骤:
步骤S901,分别获取第一类图像传感器采集的第一图像数据,以及第二类图像传感器采集的第二图像数据;
步骤S902,将第一图像数据进行智能分析处理,以获取第一图像数据中包含的对象信息;以及将第二图像数据进行视频编码处理,生成监控录像的视频。
在一种可能的实现方式中,第一类图像传感器的分辨率大于第二类图像传感器的分辨率。
在一种可能的实现方式中,获取第一类图像传感器采集的第一图像数据,包括:
通过预设的第一端口,获取协处理器传输的第一图像数据和目标快门模式信息,其中,第一图像数据是协处理器通过第一类图像传感器获取到的,目标快门模式信息是协处理器基于第一图像数据对应的图像参数,与预设的快门模式信息进行匹配后获得的;
获取第二类图像传感器采集的第二图像数据,包括:
通过预设的第二端口,获取第二类图像传感器传输的第二图像数据。
在一种可能的实现方式中,获取第一类图像传感器采集的第一图像数据之后,将第一图像数据进行智能分析处理,具体包括:
若基于目标快门模式信息确定第一图像数据为图片帧图像,则将第一图像数据进行对象跟踪识别处理,以在基于获取的对象信息确定开启抓拍快门模式后,向第一类图像传感器下发抓拍快门模式对应的图像参数;或
若基于目标快门模式信息确定第一图像数据为抓拍帧图像,则将第一图像数据进行对象取证处理,得到对象信息。
在一种可能的实现方式中,分别获取第一类图像传感器采集的第一图像数据,以及第二类图像传感器采集的第二图像数据之前,还包括:
控制多个图像传感器中的任一图像传感器基于补光参数以及配置的图像参数,采集相应视场角对应的图像数据;
其中,视场角是图像传感器基于分光器传输的可见光确定的,分光器用于将接收到的入射光分成多路频段一致的可见光,并分别传输至多个图像传感器。
基于同一发明构思,本申请实施例提供还提供一种图像获取的装置1000,请参考图10,图10示例性提供本申请实施例中一种图像获取装置的示意图,该装置包括:
获取单元1001,用于分别获取第一类图像传感器采集的第一图像数据,以及第二类图像传感器采集的第二图像数据,其中,第一类图像传感器为智能分析对应的图像传感器,第二类图像传感器为监控录像对应的图像传感器;
处理单元1002,用于将第一图像数据进行智能分析处理,以获取第一图像数据中包含的对象信息;以及将第二图像数据进行视频编码处理,生成监控录像的视频。
在一种可能的实现方式中,第一类图像传感器的分辨率大于第二类图像传感器的分辨率。
在一种可能的实现方式中,获取单元1001具体用于:
通过预设的第一端口,获取协处理器传输的第一图像数据和目标快门模式信息,其中,第一图像数据是协处理器通过第一类图像传感器获取到的,目标快门模式信息是协处理器基于第一图像数据对应的图像参数,与预设的快门模式信息进行匹配后获得的;
通过预设的第二端口,获取第二类图像传感器传输的第二图像数据。
在一种可能的实现方式中,处理单元1002具体用于:
若基于目标快门模式信息确定第一图像数据为图片帧图像,则将第一图像数据进行对象跟踪识别处理,以在基于获取的对象信息确定开启抓拍快门模式后,向第一类图像传感器下发抓拍快门模式对应的图像参数;或
若基于目标快门模式信息确定第一图像数据为抓拍帧图像,则将第一图像数据进行对象取证处理,得到对象信息。
在一种可能的实现方式中,获取单元1001还用于:
分别获取第一类图像传感器采集的第一图像数据,以及第二类图像传感器采集的第二图像数据之前,控制多个图像传感器中的任一图像传感器基于补光参数以及配置的图像参数,采集相应视场角对应的图像数据;
其中,视场角是图像传感器基于分光器传输的可见光确定的,分光器用于将接收到的入射光分成多路频段一致的可见光,并分别传输至多个图像传感器。
在一些可能的实施方式中,本申请提供的图像获取方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的图像获取方法中的步骤。
程序产品可以采用每个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、设备或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有每个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的短信息的发送控制的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在图像获取设备上运行。
可读信号介质可以包括在基带中或者作为载波一子模型传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、设备或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。
应当注意,尽管在上文详细描述中提及了设备的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两种或更多单元的特征向量和功能可以在每个单元中具体化。反之,上文描述的每个单元的特征向量和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为每个步骤执行,和/或将每个步骤分解为多个步骤执行。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种图像获取的方法,其特征在于,应用于包含有多个图像传感器的监控设备,所述多个图像传感器包括:智能分析对应的第一类图像传感器,和监控录像对应的第二类图像传感器;该方法包括:
分别获取所述第一类图像传感器采集的第一图像数据,以及所述第二类图像传感器采集的第二图像数据;
将所述第一图像数据进行智能分析处理,以获取所述第一图像数据中包含的对象信息;以及将所述第二图像数据进行视频编码处理,生成监控录像对应的视频。
2.如权利要求1所述的方法,其特征在于,所述第一类图像传感器的分辨率大于所述第二类图像传感器的分辨率。
3.如权利要求1所述的方法,其特征在于,所述获取所述第一类图像传感器采集的第一图像数据,包括:
通过预设的第一端口,获取协处理器传输的所述第一图像数据和目标快门模式信息,其中,所述第一图像数据是所述协处理器通过所述第一类图像传感器获取到的,所述目标快门模式信息是所述协处理器基于所述第一图像数据对应的图像参数,与预设的快门模式信息进行匹配后获得的;
所述获取所述第二类图像传感器采集的第二图像数据,包括:
通过预设的第二端口,获取所述第二类图像传感器传输的所述第二图像数据。
4.如权利要求3所述的方法,其特征在于,所述获取所述第一类图像传感器采集的第一图像数据之后,将所述第一图像数据进行智能分析处理,具体包括:
若基于所述目标快门模式信息确定所述第一图像数据为图片帧图像,则将所述第一图像数据进行对象跟踪识别处理,以在基于获取的对象信息确定开启抓拍快门模式后,向所述第一类图像传感器下发所述抓拍快门模式对应的图像参数;或
若基于所述目标快门模式信息确定所述第一图像数据为抓拍帧图像,则将所述第一图像数据进行对象取证处理,得到对象信息。
5.如权利要求1~4任一所述的方法,其特征在于,所述分别获取所述第一类图像传感器采集的第一图像数据,以及所述第二类图像传感器采集的第二图像数据之前,还包括:
控制所述多个图像传感器中的任一图像传感器基于补光参数以及配置的图像参数,采集相应视场角对应的图像数据;
其中,所述视场角是所述图像传感器基于分光器传输的可见光确定的,所述分光器用于将接收到的入射光分成多路频段一致的可见光,并分别传输至所述多个图像传感器。
6.一种图像获取的监控设备,其特征在于,所述监控设备为包含有中央处理器以及多个图像传感器的监控设备,所述多个图像传感器包括:智能分析对应的第一类图像传感器、监控录像对应的第二类图像传感器,其中:
所述第一类图像传感器,用于采集第一图像数据,并将所述第一图像数据传输给所述中央处理器;
所述第二类图像传感器,用于采集第二图像数据,并将所述第二图像数据传输给所述中央处理器;
所述中央处理器,用于接收所述第一图像数据和所述第二图像数据,并将所述第一图像数据进行智能分析处理,以获取所述第一图像数据中包含的对象信息;以及将所述第二图像数据进行视频编码处理,生成监控录像对应的视频。
7.如权利要求6所述的监控设备,其特征在于,所述第一类图像传感器的分辨率大于所述第二类图像传感器的分辨率。
8.如权利要求6所述的监控设备,其特征在于,所述监控设备还包括协处理器;
所述协处理器,用于通过所述第一类图像传感器获取第一图像数据,并基于所述第一图像数据对应的图像参数,与预设的快门模式信息进行匹配,获得匹配成功的目标快门模式信息,将所述目标快门模式信息和所述第一图像数据传输给所述中央处理器;
所述中央处理器,还用于通过预设的第一端口,获取所述协处理器传输的所述第一图像数据和目标快门模式信息。
9.如权利要求6所述的监控设备,其特征在于,所述中央处理器还用于:
通过预设的第二端口,获取所述第二类图像传感器传输的所述第二图像数据。
10.如权利要求6~9任一所述的监控设备,其特征在于,所述监控设备还包括分光器;
所述分光器,用于将接收到的入射光分成多路频段一致的可见光,并分别传输至所述第一类图像传感器和所述第二类图像传感器;
所述第一类图像传感器,用于基于补光参数以及配置的图像参数,采集相应视场角对应的图像数据,其中,所述视场角是基于所述可见光确定的;
所述第二类图像传感器,用于基于补光参数以及配置的图像参数,采集相应视场角对应的图像数据,其中,所述视场角是基于所述可见光确定的。
11.如权利要求6所述的监控设备,其特征在于,所述中央处理器获取所述第一类图像传感器采集的第一图像数据之后,还用于:
若基于所述目标快门模式信息确定所述第一图像数据为图片帧图像,则将所述第一图像数据进行对象跟踪识别处理,以在基于获取的对象信息确定开启抓拍快门模式后,向所述第一类图像传感器下发所述抓拍快门模式对应的图像参数;或
若基于所述目标快门模式信息确定所述第一图像数据为抓拍帧图像,则将所述第一图像数据进行对象取证处理,得到对象信息。
12.一种图像获取的装置,其特征在于,该装置包括:
获取单元,用于分别获取所述第一类图像传感器采集的第一图像数据,以及所述第二类图像传感器采集的第二图像数据,其中,所述第一类图像传感器为智能分析对应的图像传感器,所述第二类图像传感器为监控录像对应的图像传感器;
处理单元,用于将所述第一图像数据进行智能分析处理,以获取所述第一图像数据中包含的对象信息;以及将所述第二图像数据进行视频编码处理,生成监控录像对应的视频。
13.一种计算机可读介质,其特征在于,其存储有可由计算设备执行的计算机程序,当所述程序在计算设备上运行时,使得所述计算设备执行权利要求1~5任一所述方法的步骤。
CN202110841502.7A 2021-07-26 2021-07-26 一种图像获取的方法及监控设备 Pending CN113596395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110841502.7A CN113596395A (zh) 2021-07-26 2021-07-26 一种图像获取的方法及监控设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110841502.7A CN113596395A (zh) 2021-07-26 2021-07-26 一种图像获取的方法及监控设备

Publications (1)

Publication Number Publication Date
CN113596395A true CN113596395A (zh) 2021-11-02

Family

ID=78249841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110841502.7A Pending CN113596395A (zh) 2021-07-26 2021-07-26 一种图像获取的方法及监控设备

Country Status (1)

Country Link
CN (1) CN113596395A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968926A (zh) * 2010-11-02 2011-02-09 山东鼎讯信息产业有限公司 双摄像头测速仪
US20150161449A1 (en) * 2013-12-11 2015-06-11 Systems Engineering Technologies Corporation System and method for the use of multiple cameras for video surveillance
CN110557527A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN110855947A (zh) * 2019-11-26 2020-02-28 浙江大华技术股份有限公司 一种图像抓拍处理方法及装置
CN112291477A (zh) * 2020-11-03 2021-01-29 浙江大华技术股份有限公司 多媒体信息处理方法、装置、存储介质及电子装置
CN112735141A (zh) * 2020-12-09 2021-04-30 浙江大华技术股份有限公司 视频数据处理方法和装置
CN213241203U (zh) * 2021-02-09 2021-05-18 天讯瑞达通信技术有限公司 一种基于后端识别的人脸识别系统
CN112950951A (zh) * 2021-01-29 2021-06-11 浙江大华技术股份有限公司 智能信息显示方法、电子装置和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968926A (zh) * 2010-11-02 2011-02-09 山东鼎讯信息产业有限公司 双摄像头测速仪
US20150161449A1 (en) * 2013-12-11 2015-06-11 Systems Engineering Technologies Corporation System and method for the use of multiple cameras for video surveillance
CN110557527A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN110855947A (zh) * 2019-11-26 2020-02-28 浙江大华技术股份有限公司 一种图像抓拍处理方法及装置
CN112291477A (zh) * 2020-11-03 2021-01-29 浙江大华技术股份有限公司 多媒体信息处理方法、装置、存储介质及电子装置
CN112735141A (zh) * 2020-12-09 2021-04-30 浙江大华技术股份有限公司 视频数据处理方法和装置
CN112950951A (zh) * 2021-01-29 2021-06-11 浙江大华技术股份有限公司 智能信息显示方法、电子装置和存储介质
CN213241203U (zh) * 2021-02-09 2021-05-18 天讯瑞达通信技术有限公司 一种基于后端识别的人脸识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张光昭: "《多媒体系统与应用》", pages: 51 *

Similar Documents

Publication Publication Date Title
EP2688296B1 (en) Video monitoring system and method
US11790772B2 (en) Traffic light image processing
CN109640007B (zh) 人工智能图像传感设备
CN103440117B (zh) 视频图像处理的方法及系统
CN112291477B (zh) 多媒体信息处理方法、装置、存储介质及电子装置
WO2022237591A1 (zh) 运动对象的识别方法、装置、电子设备及可读存储介质
JP2020014144A (ja) カメラシステムおよびイベント記録システム
US10726243B2 (en) Method and apparatus for processing image
CN109698850B (zh) 处理方法和系统
KR20220072783A (ko) Cctv 영상을 이용한 실시간 침수 감지 시스템, 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
CN113596395A (zh) 一种图像获取的方法及监控设备
CN110930340B (zh) 一种图像处理方法及装置
CN112261417A (zh) 视频推送方法及系统、设备及可读存储介质
CN116824480A (zh) 基于DeepStream的监控视频分析方法及系统
US20220353459A1 (en) Systems and methods for signal transmission
CN115914676A (zh) 一种超高清视频信号的实时监测比对方法及系统
CN115514899A (zh) 拍摄方法及装置、计算机可读介质和电子设备
Li et al. Early Stage Fire Detection System Based on Shallow Guide Deep Network
CN114529468A (zh) 夜视图像增强方法及相关装置
KR102294524B1 (ko) 광학 타임 코드를 이용한 다중 카메라의 시간 동기화 시스템 및 방법
CN115103204A (zh) 一种支持ai引擎的边缘智能应用实现方法及装置
CN113111215A (zh) 一种用户行为分析方法、装置、电子设备和存储介质
EP1586202A2 (en) Video content parser with scene change detector
CN113689707B (zh) 视频数据处理方法、装置以及计算机可读存储介质
CN114842414B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211102

RJ01 Rejection of invention patent application after publication