CN111240217A - 状态检测方法、装置、电子设备及存储介质 - Google Patents
状态检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111240217A CN111240217A CN202010018936.2A CN202010018936A CN111240217A CN 111240217 A CN111240217 A CN 111240217A CN 202010018936 A CN202010018936 A CN 202010018936A CN 111240217 A CN111240217 A CN 111240217A
- Authority
- CN
- China
- Prior art keywords
- target
- state
- target object
- objects
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 51
- 238000010586 diagram Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种状态检测方法、装置、电子设备及存储介质。涉及智能家居技术领域,该方法包括:获取当前场景的待检测图像;对所述待检测图像进行目标检测,获取目标对象和所述目标对象的目标位置;基于所述目标对象和所述目标位置,确定所述目标对象的对象状态,作为所述当前场景的场景状态;基于所述场景状态,执行预设操作。本申请可以基于摄像头检测场景中的对象及其位置,以确定场景状态,并根据状态实现设备控制,从而提高智能家居的体验。
Description
技术领域
本申请实施例涉及智能家居技术领域,更具体地,涉及一种状态检测方法、装置、电子设备及存储介质。
背景技术
目前智能家居的控制往往要基于对环境的感知信息,再根据对环境的感知来控制家居设备,为用户的家居生活提供便利。例如,利用温湿度传感器检测环境的温湿度,利用人体感应器检测是否有人经过,以控制灯的开关等。其中,对于部分设备,还需要通过摄像头来获取环境感知信息,但是目前难以基于摄像头判断家居环境所处的状态。
发明内容
本申请实施例提供一种状态检测方法、装置、电子设备及存储介质,可以基于摄像头检测环境所处的状态,并根据状态实现设备控制,从而提高智能家居的体验。
第一方面,本申请实施例提供了一种状态检测方法,该状态检测方法包括:获取当前场景的待检测图像;对所述待检测图像进行目标检测,获取目标对象和所述目标对象的目标位置;基于所述目标对象和所述目标位置,确定所述目标对象的对象状态,作为所述当前场景的场景状态;基于所述场景状态,执行预设操作。
第二方面,本申请实施例提供了一种状态检测装置,该状态检测装置包括:图像获取模块,用于获取当前场景的待检测图像;目标检测模块,用于对所述待检测图像进行目标检测,获取目标对象和所述目标对象的目标位置;状态确定模块,用于基于所述目标对象和所述目标位置,确定所述目标对象的对象状态,作为所述当前场景的场景状态;操作执行模块,用于基于所述场景状态,执行预设操作。
第三方面,本申请实施例提供了一种电子设备,其包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面所述的状态检测方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的状态检测方法的步骤。
本申请实施例提供的状态检测方法、装置、电子设备及计算机可读存储介质,通过获取当前场景的待检测图像,然后对待检测图像进行目标检测,获取目标对象和目标对象的目标位置,接着基于目标对象和目标位置,确定目标对象的对象状态,作为当前场景的场景状态,最后基于场景状态,执行预设操作。由此,本申请实施例可以基于摄像头检测场景中的对象及其位置,以确定场景状态,并根据状态实现设备控制,从而提高智能家居的体验。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例及附图,都属于本发明保护的范围。
图1示出了一种适用于本申请实施例的应用环境示意图;
图2示出了本申请一个实施例提供的状态检测方法的方法流程图;
图3示出了本申请另一个实施例提供的状态检测方法的方法流程图;
图4示出了图3中步骤S230在一个实施例中的方法流程图;
图5示出了图4中步骤S231在一个实施例中的方法流程图;
图6示出了一种待检测图像的检测示意图;
图7示出了另一种待检测图像的检测示意图;
图8示出了图3中步骤S240在一个实施例中的方法流程图;
图9示出了一种用于计算灰度相关性的分割示意图;
图10示出了图8中步骤S242在一个实施例中的方法流程图
图11示出了又一种待检测图像的检测示意图;
图12示出了再一种待检测图像的检测示意图;
图13示出了还一种待检测图像的检测示意图;
图14示出了图3中步骤S240在另一个实施例中的方法流程图;
图15示出了步骤S243-4的方法流程图;
图16示出了再另一种待检测图像的检测示意图;
图17示出了步骤S310至步骤S370的方法流程图;
图18示出了再又一种待检测图像的检测示意图;
图19示出了又另一种待检测图像的检测示意图;
图20示出了又再一种待检测图像的检测示意图;
图21示出了本申请实施例提供的状态检测装置的模块框图;
图22示出了本申请实施例用于执行根据本申请实施例的状态检测方法的电子设备的硬件结构框图;
图23示出了本申请实施例用于执行根据本申请实施例的状态检测方法的计算机可读存储介质的模块框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。应当理解,此处描述的具体实施例仅用于解释本申请,并不用于限定本申请。
为了更好理解本申请实施例提供的一种状态检测方法、装置、电子设备及存储介质,下面先对适用于本申请实施例的应用环境进行描述。
请参阅图1,图1为适用于本申请实施例的一种应用环境示意图。本申请实施例提供的状态检测方法可以应用于如图1所示的智能家居系统10中,该智能家居系统10包括摄像头101和计算机设备102。
其中,智能家居系统10还包括至少一个摄像头101,摄像头101可用于拍摄其视野范围内的图像,生成视频流。在一个现实场景的不同位置,可布设多个摄像头101,每个摄像头101用于对现实场景的一部分区域进行拍摄,得到相应的视频流。
其中,计算机设备102是指具备对数据进行处理和存储功能的设备,个人计算机((Personal Computer,PC)、手机、平板电脑、穿戴式电子设备、服务器或者其他具有计算能力的电子设备,本申请实施例对此不作限定。计算机设备102可以接收至少一个摄像头101的视频流,并且可以将该视频流解码形成图像,然后作后续的处理,如对图像进行目标检测和状态检测。
摄像头101与计算机设备102之间可以通过有线或者无线的方式进行通信。例如,摄像头101与计算机设备102之间的数据传送可以采用设备到设备(Ad-Hoc)的方式,也可以在基站或无线访问点(Access Point,AP)的协调下进行,本申请实施例对此不作限定。
在本申请实施例中,对象是指能够从视频图像中进行检测的人或物体,可选地,对象是电视、窗户、窗帘、门、冰箱等各种家居环境中的实物。
在一些实施例中,摄像头101可以是独立的,也可以设置于其他设备上,例如,摄像头101可设置于计算机设备102,也可设置于除计算机设备102外的如网关等其他设备,本申请实施例对此不作限定。可以理解的是,以上应用环境仅为方便理解下述实施例作出的示例性描述,并不对本申请实施例实际可实施的应用环境构成任何限定。
请参阅图2,图2示出了本申请一个实施例提供的状态检测方法的方法流程图,可以应用于上述计算机设备。下面将针对图2所示的步骤进行详细的阐述,所述方法具体可以包括以下步骤:
步骤S110:获取当前场景的待检测图像。
当前场景可以是任意位置的场景,例如主卧、次卧、厨房、客厅、办公室等各种位置。当前场景中可布设有至少一个摄像头,以采集当前场景的视频流,并发送至计算机设备,计算机设备可获取当前场景的视频流所对应的待检测图像。待检测图像从视频流中得到,可以是每一帧视频流的视频图像,还可以是按预设条件从视频流中获取,例如可每隔预设数量帧获取一次待检测图像,从而可减小处理压力,提高处理效率。
其中,摄像头可以为计算机设备上的摄像头,也可以是独立于计算机设备的摄像头,本实施例对此并不做限定。摄像头可用于获取家居环境下的视频流,并由计算机设备进行处理。
步骤S120:对待检测图像进行目标检测,获取目标对象和目标对象的目标位置。
本实施例中,计算机设备可基于预先构建的目标检测模型,对待检测图像进行目标检测,获取目标对象和目标对象的位置。其中,目标检测模型可基于要识别的目标对象的训练样本进行训练得到,以用于识别目标对象。由此,通过将待检测图像输入目标检测模型,可获取目标对象和目标对象的目标位置。
在一些实施方式中,目标对象可根据实际状态检测需要进行确定,例如若要检测窗帘的状态,可将窗户和窗帘作为目标对象,将标注有窗户和窗帘的图像作为训练样本训练目标检测模型,并得到训练好的目标检测模型,以用于对窗户和窗帘的检测,从而可从待检测图像中检测出窗户、窗帘,并获得窗户、窗帘在待检测图像中的位置。
再如,若要检测电视的状态,可将电视作为目标对象,并将标注有电视的图像作为训练样本训练目标检测模型,并得到训练好的目标检测模型,以用于对电视的检测,从而可从待检测图像中检测出电视并获得电视在待检测图像中的位置。作为一种实施方式,可基于大量训练样本训练目标检测模型,训练样本可包括多种目标对象,从而得到训练好的目标检测模型后,可基于该目标检测模型对多种目标对象进行检测。
在一些实施例中,目标检测模型可采用将物体识别和物体定位分为两个步骤分别完成的基于区域的卷积神经网络(Region-based Convolutional Neural Network,R-CNN)、Fast R-CNN、Faster R-CNN、基于区域的全卷积网络(Region-based FullyConvolutional Net,R-FCN),识别错误率低而且漏识别率也低。另外,也可采用物体识别和物体定位一步完成的Yolo、用户多类别的单次对象检测器(Single Shot MultiBoxDetector,SSD)、YoloV2等,识别速度快,可用于实时性要求高的目标检测中。
步骤S130:基于目标对象和目标位置,确定目标对象的对象状态,作为当前场景的场景状态。
基于目标对象和目标位置,可确定目标对象的对象状态,对象状态可包括目标对象的各种参数,例如可包括但不限于目标对象的数量、状态,也可以是基于目标对象的各种参数得到的实际状态,例如目标对象的开关状态等,即若目标对象为窗帘时可确定窗帘的开关状态等。在一些实施例中,目标对象的对象状态,可作为当前场景的场景状态,例如,若未能从待检测图像中检测到目标对象,即目标对象的数量为0时,可得到当前场景的场景状态为不存在目标对象。
在一些实施例中,在对一些对象的状态进行检测时,可能需要同时对该对象以及与该对象相关的其他对象进行检测,从而根据至少两个对象在待检测图像中的检测结果,确定该对象的对象状态。此时至少两个对象均可作为目标对象被计算机设备检测,检测结果可包括但不限于所检测到的目标对象的数量、位置等,在此不作限定。并具体实施方式可见后述实施例,在此不再赘述。
另外,可以理解的是,受摄像头采集环境、摄像头性能、摄像头拍摄角度以及目标检测模型的性能等因素的影响,计算机设备可能未能从待检测图像检测到目标对象和目标对象的位置,即检测到目标对象的数量为0,该数量也可作为检测结果用于后续对目标对象的对象状态的确定。
在另一些实施例中,基于目标对象和目标位置,也可先获取待检测图像中目标对象的检测框对应的参数,再基于该参数确定目标对象的对象状态。
在一些实施方式中,在对目标对象的开关状态进行判断时,可获取包含有目标对象的待检测图像,并通过对待检测图像进行目标检测,可在待检测图像中检测得到目标对象的检测框,获取该检测框所包含图像对应的图像参数。以电视为例,作为一种方式,可获取电视对应的检测框中心区域的灰度、背景色差等图像参数判断电视的开关状态。
作为一种实施方式,图像参数可包括目标对象中心区域的灰度Mgray、灰度变化Mg-diff以及光流Mflow。
在一些实施方式中,可通过将检测框进行分割,来获得电视中心区域的相关图像参数。在一个具体示例中,以电视为例,在对电视开关状态进行判断时,可获取包含有电视的待检测图像,并通过对待检测图像进行目标检测,可在待检测图像中检测得到电视的检测框,获取该检测框包含图像对应的图像参数。其中,图像参数可包括电视中心区域的灰度Mgtay、灰度变化Mg_diff以及光流Mflow。
具体地,在一个示例中,计算机设备可对单帧待检测图像中检测得到的检测框,按照4×4大小分割得到电视中心区域,即中间2×2的区域,计算中心区域的平均灰度Mgray,对于关闭的电视该值较小,对于开启的电视该值较大。在一些实施方式中,例如,Mgray在电视开启时可达到60以上,在电视关闭时可达到20至40之间。
计算机设备可对前后帧图像计算电视边界框中心区域内的灰度平均值变化Mg_diff,其值为当前帧中心区域平均灰度减去上一帧中心区域平均灰度。
计算机设备可对前后帧图像计算电视边界框中心区域内的光流Mflow,统计该区域内前后帧运动变化。其中,光流的估计采用现有的L-K光流方法得到。
在一些实施方式中,计算机设备可将以上三个数值加权平均得到电视开关状态的判别值M=ω1×Mgray+ω2×Mg_diff+ω3×Mflow。
在一些实施例中,计算机设备还可结合当前场景中是否检测到人以对当前场景的场景状态进行提示。在一个示例中,如未检测到人时,若检测到电视长时间开启,可生成提示信息至用户终端,以对用户进行提醒,从而可提高用电安全、节约资源消耗等。
步骤S140:基于场景状态,执行预设操作。
在一些实施例中,预设操作可以存在多个,计算机设备可预先存储有场景状态与预设操作的映射关系,从而可根据不同的场景状态确定对应的预设操作并执行。在另一些实施例中,预设操作也可仅有一个,计算机设备基于场景状态,执行预设操作,例如生成提示信息等,可生成场景状态对应的提示信息,并在用户终端不为计算机设备时,还可将提示信息发送至用户终端,以提示用户。
在一些实施例中,当检测到在无人环境时指定设备长时间开启的场景,可触发执行与该场景相关的预设操作。其中,预设操作可以是预设的,也可以是用户自定义的,本实施例对此不作限定。
在一些实施方式中,计算机设备可发送提示信息至与该指定设备相关的用户终端,以提示用户该场景,提示信息可以是文字、语音等各种形式,在此不作限定。从而可在指定设备长时间开启的耗电情况进行提示,以提高用电安全,及降低设备功耗。
进一步地,用户终端还可远程控制指定设备关闭。作为一种方式,指定设备可绑定于中间设备,用户终端可通过像中间设备发送指定设备对应的指令,指示中间设备将指令转发至指定设备或指示中间设备根据指令控制指定设备,其中,中间设备可以是计算机设备,也可以是其他设备如网关等,在此不做限定。
作为另一种方式,指定设备也可直接与用户终端通信,从而用户终端可直接控制指定设备。
另外,若计算机设备为用户终端,可在计算机设备确定目标对象的对象状态后,生成提示信息,或控制指定设备执行预设操作。
在另一些实施方式中,还可自动关闭该长时间开启的指定设备,以降低设备功耗,并提高用电安全。
在一个具体示例中,指定设备可以是预先设定的,例如可以预先对设备进行分类,例如分类可包括第一设备、第二设备等,第一设备为无需在无人时关闭,需要常开的设备,例如冰箱等设备,第二设备为有人使用时才开启的设备,例如电视等。需要说明的是,指定设备的设置可以是程序预设的,也可以是用户自定义的,在此不作限定。
本实施例提供的状态检测方法,通过获取当前场景的待检测图像,然后对待检测图像进行目标检测,获取目标对象和目标对象的目标位置,接着基于目标对象和目标位置,确定目标对象的对象状态,作为当前场景的场景状态,最后基于场景状态,执行预设操作。由此,本申请实施例可以基于摄像头检测场景中的对象及其位置,以确定场景状态,并根据状态实现设备控制,从而提高智能家居的体验。
在一些实施例中,目标对象可以包括第一对象和第二对象,从而可根据检测到的第一对象和第二对象,来确定当前场景的场景状态。具体地,请参阅图3,图3示出了本申请另一个实施例提供的状态检测方法,可应用于上述计算机设备。该方法可包括以下步骤:
步骤S210:获取当前场景的待检测图像。
步骤S220:对待检测图像进行目标检测,获取目标对象和目标对象的目标位置。
本实施例中,步骤S210至步骤S220的描述与上述实施例中步骤S110至步骤S120大致相同,在此不再赘述。
步骤S230:根据第一对象确定第一目标对象,根据第二对象确定第二目标对象。
在一些实施例中,第一对象可以是窗户,第二对象可以是窗帘。由此,计算机设备可根据窗户、窗帘确定窗帘的对象状态,窗帘的对象状态可包括窗帘的开关状态。即在一种实施方式中,本实施例可通过对窗户、窗帘的识别,实现对窗帘的开关状态的检测。
在一些实施方式中,于计算机设备而言,窗户对应窗户检测框,窗帘对应窗帘检测框,根据窗户检测框的数量可确定窗户数量,并窗户检测框框选的区域对应窗户,根据窗帘检测框的数量可确定窗帘数量,并窗帘检测框框选的区域对应窗帘。
在一些实施例中,由于一个窗户的一套窗帘在打开即拉开时,可能会被检测成至少两个窗帘,由此,可能对状态检测结果带来误差,此时,请参阅图4,图4示出了图3中步骤S230在一个实施例中的方法流程图,在该实施例中,步骤S230可包括步骤S231至步骤S235,由此计算机设备可通过判断是否需要对第一对象或第二对象进行合并,先对需要合并的窗户、需要合并的窗帘进行合并,以提高后续对窗帘状态判断的准确性。具体地,包括以下步骤:
步骤S231:判断是否需要对第一对象进行合并或是否需要对第二对象进行合并。
在一些实施方式中,判断是否需要对第一对象进行合并或是否需要对第二对象进行合并的具体实施方式可包括步骤S231-1至步骤S231-4。具体地,请参阅图5,图5示出了图4中步骤S231的方法流程图,包括:
步骤S231-1:判断是否存在至少一个第二对象。
计算机设备通过对待检测图像进行检测,可获取第二对象的数量,并在一些实施方式中,可得到第二对象对应的第二检测框,此时第二对象的数量可由第二检测框的数量确定,由此可判断是否存在至少一个第二对象。
在一些实施方式中,计算机设备可判断是否存在至少一个第二对象对应的第二检测框,并在存在至少一个第二检测框时,判定存在至少一个第二对象;并在不存在第二检测框时,判定不存在至少一个第二对象。当第二对象为窗帘时,计算机设备可判断是否存在至少一个窗帘对应的窗帘检测框,并在存在至少一个窗帘检测框时,判定存在至少一个窗帘,并在不存在窗帘检测框时,判定不存在至少一个窗帘,即不存在窗帘。
本实施例中,若存在至少一个第二对象,可执行步骤S231-2。
在一些实施例中,若不存在至少一个第二对象即不存在第二对象,可确定第二对象的数量为0,即窗帘数量为0,从而可确定当前场景不存在第二对象。例如,当第一对象为窗户,第二对象为窗帘时,若不存在窗帘检测框,即计算机设备未检测出窗帘,可得到当前场景的场景状态至少为不存在窗帘。
以下为方便表述,记第一对象的数量为nw,记第二对象的数量为nc,在一些实施方式中,第一对象的数量与第一对象对应的检测框的数量相等,第二对象的数量与第二对象对应的检测框的数量相等。
在一个具体示例中,请参阅图6,图6示出了一种待检测图像的检测示意图,其中,计算机设备对该待检测图像进行目标检测,得到1个窗户检测框601,没有检测到窗帘,此时,nw=1,nc=0。在一些方式中,由此可确定当前场景窗户开但无窗帘,即没有安装窗帘。
另外,在一些示例中,计算机设备获得一个待检测图像,并无法检测到窗户和窗帘,此时,可确定当前场景无窗户也无窗帘。
步骤S231-2:若存在至少一个第二对象,判断是否存在至少一个第一对象。
若存在至少一个第二对象,可判断是否存在至少一个第一对象。在一些实施方式中,若存在至少一个窗帘时,可判断是否存在至少一个窗户。也就是在nc>0时,计算机设备还可判断nw是否大于0,从而判断是否存在至少一个窗户。
本实施例中,在判断是否存在至少一个第一对象后,可包括:
若存在至少一个第一对象,可执行步骤S231-3;
若不存在至少一个第一对象,可执行步骤S231-4。
步骤S231-3:判定需要对第一对象进行合并、且需要对第二对象进行合并。
若存在至少一个第一对象,判定需要对第一对象进行合并、且需要对第二对象进行合并。由此,当第一对象为窗户,第二对象为窗帘时,在存在至少一个窗帘,且存在至少一个窗户时,即在nw>0,nc>0时,判定需要对窗户进行合并,且需要对窗帘进行合并。
由于后续需基于实际场景中的窗户、窗帘数量和各自的位置,来确定窗帘的对象状态,也就是说需基于实际场景中,窗户、窗帘的实际数量和各自的位置来确定。因此,通过在确定状态前线判断是否需要对第一对象进行合并、对第二对象合并,并对需要合并的对象进行合并,可避免因将一套窗帘识别成多个,导致对窗帘数量的误判,避免因将一个窗户识别成多个,导致对窗户数量的误判,而影响后续对窗帘的状态检测,因此通过在确定窗帘的开关状态前,先对窗户进行合并、先对窗帘进行合并可提高检测准确性。
需要说明的是,实际应用中,一个窗户可装设有多套窗帘,一套窗帘A至少包括两个部分,在拉开一套窗帘A,即打开窗帘A时,该窗帘A可能被识别成两个窗帘A1、A2,即得到两个窗帘检测框,但实际上该两个窗帘检测框均对应该窗帘A,因此需要对该两个窗帘检测框进行合并以得到一个窗帘A的窗帘检测框,从而可提高后续对窗帘的对象状态的检测准确性。
步骤S231-4:判定需要对第二对象进行合并。
若不存在至少一个第一对象,判定需要对第二对象进行合并。由此,在存在至少一个窗帘,但不存在窗户时,即nw=0,nc>0时,判定需要对窗帘进行合并。
在一些实施例中,若不存在至少一个第一对象,还可先判断是否存在多个第二对象,并在不存在多个第二对象时,判定仅存在一个第二对象,即第二对象数量为1,即nc=1,此时可无需对第二对象进行合并;在存在多个第二对象,即nc>1时,可判定需要对第二对象进行合并,以得到合并后的第二对象。由此,当第一对象为窗户,第二对象为窗帘时,若不存在至少一个窗户,且存在一个窗帘时,即nw=0,nc=1时,判定仅存在一个窗帘,可无需合并;若不存在至少一个窗户,且存在多个窗帘时,即nw=0,且nc>1时,可判定需要对窗帘进行合并。
步骤S232:若需要对第一对象进行合并,第一对象为多个,对多个第一对象执行合并操作。
在一些实施方式中,多个第一对象和多个第二对象可通过以下方式合并:根据每个指定对象和指定对象对应的目标位置,对需合并的指定对象进行合并,以得到合并后的指定对象。其中,指定对象为第一对象或第二对象。
若需要对第一对象进行合并,第一对象存在多个,计算机设备可对多个第一对象执行合并操作,即根据每个第一对象和第一对象对应的目标位置,对需合并的第一对象进行合并,以得到合并后的第一对象。
在一些实施例中,若需要对指定对象进行合并,可在对多个指定对象执行合并操作前,可先判断多个指定对象中是否存在需合并的指定对象,并在存在需合并的指定对象时,再对需合并的指定对象执行合并操作。
具体地,在一些实施方式中,判断是否存在需合并的指定对象的具体实施方式可包括:检测至少一个指定对象之间是否相交;若相交,基于相交的两个指定对象和相交的两个指定对象中的每个指定对象的目标位置,获取两个指定对象的相交比例,相交比例为两个指定对象之间的相交面积占该两个指定对象的外接矩形面积的比例;若相交比例超过预设比例,则将相交的两个指定对象确定为一组需合并的指定对象,判定存在需合并的指定对象;若相交比例未超过预设比例,则判定不存在需合并的指定对象,其中,指定对象为第一对象或第二对象。
其中,预设比例可以根据实际需要确定,也可以是程序预设,还可以是用户自定义,在此不作限定。在一些实施方式中,预设比例可以为0.1至1之间的任意值,并预设比例越接近1,基于上述相交比例判定是否存在需合并的指定对象的准确率越高。
在一些实施例中,对一组需合并的指定对象执行合并操作,可得到合并后的指定对象,合并后的指定对象对应的检测框可以为该组需合并的指定对象的外接矩形面积对应的检测框。由此,可将实际场景中属于一套的窗帘对应的多个检测框合并为一个,以提高检测准确性。
在一个具体的例子中,请参见图7,图7示出了一种待检测图像的检测示意图,计算机设备检测到2个窗帘检测框700,分别为窗帘701、窗帘702,窗帘701与窗帘702相交,且窗帘701的面积大于窗帘702的面积,窗帘702完全包含窗帘702,此时,窗帘701与窗帘702的相交面积为窗帘702的面积S1,窗帘701与窗帘702的外接矩形面积为窗帘701的面积S2,此时计算机设备可通过获取窗帘701和窗帘702的相交比例P=S1/S2,在相交比例P超过预设比例时,可将窗帘701与窗帘702作为一组需合并的第二对象,并判定存在需合并的第二对象,并在后续合并时,可将窗帘701与窗帘702合并为一个窗帘检测框,而该窗帘检测框可为窗帘701与窗帘702的外接矩形框,其面积即外接矩形面积,在图7中,则对窗帘701与窗帘702执行合并操作后可将原窗帘702作为它们合并后的窗帘检测框,原窗帘702作为合并后的第二对象。
在一些实施例中,对多个指定对象执行合并操作时,可分别对每组需合并的指定对象进行合并,在一些实施方式中,可通过一组需合并的指定对象对应的检测框合并为一个检测框,作为该组需合并的指定对象对应的指定目标检测框,而对该组需合并的指定对象执行合并操作后,可得到该组合并的指定对象对应的指定目标对象,而前述合并后得到的指定目标检测框为该指定目标对象的检测框。具体地,若指定对象为第一对象,则可得到第一目标对象及其检测框,若指定对象为第二对象,则可得到第二目标对象及其检测框。
步骤S233:将多个第一对象中合并后的第一对象和未合并的第一对象作为第一目标对象。
计算机设备在对多个第一对象中各组需合并的第一对象执行合并操作后,可得到合并后的第一对象,从而使得最终用于确定第二目标对象的对象状态的第一目标对象的数量与实际场景的数量匹配,从而不仅可提高对第一对象的检测准确性,而且有利于提高后续状态确定的准确性。
步骤S234:若需要对第二对象进行合并,第二对象为多个,对多个第二对象执行合并操作。
若需要对第二对象进行合并,第二对象存在多个,计算机设备可对多个第二对象执行合并操作,即根据每个第二对象和第二对象对应的目标位置,对需合并的第二对象进行合并,以得到合并后的第二对象。
在一些实施方式中,当第一对象为窗户,第二对象为窗帘时,若需要对窗帘进行合并时,窗帘为多个,可对多个窗帘执行合并操作。具体地,可参考步骤S232的描述,在此不再赘述。
步骤S235:将多个第二对象中合并后的第二对象和未合并的第二对象作为第二目标对象。
计算机设备在对多个第二对象中各组需合并的第二对象执行合并操作后,可得到合并后的第二对象,从而使得最终用于确定第二目标对象的对象状态的第二目标对象的数量与实际场景的数量匹配,从而不仅可提高对第二对象的检测准确性,而且有利于提高后续状态确定的准确性。
在一些实施方式中,当第一对象为窗户,第二对象为窗帘时,计算机设备可对多个窗帘对应的窗帘检测框进行合并,以将属于一套窗帘的多个窗帘对应的窗帘检测框合并为一个窗帘检测框,并将合并后的窗帘检测框和未作合并的窗帘检测框均作为第二目标对象对应的检测框,用于确定第二目标对象的对象状态。
步骤S240:根据第一目标对象、第二目标对象以及目标位置,确定第二目标对象的对象状态,将第二目标对象的对象状态作为当前场景的场景状态。
计算机设备可根据第二目标对象的数量,确定如何根据第一目标对象、第二目标对象以及目标位置,确定第二目标对象的对象状态,将第二目标对象的对象状态作为当前场景的场景状态。
以下为方便表述,记第一目标对象的数量为nwn,记第二目标对象的数量为ncn。
在一些实施例中,当存在多个第二目标对象时,可根据第二目标对象以及目标位置,获取多个第二目标对象之间的目标相关性;根据目标相关性和第一目标对象,确定第二目标对象的对象状态。具体地,如图8所示,图8示出了图3中步骤S240在一个实施例中的方法流程图,具体地,步骤S240可包括步骤S241及步骤S242,具体如下:
步骤S241:当存在多个第二目标对象时,根据第二目标对象以及目标位置,获取多个第二目标对象之间的目标相关性。
当存在多个第二目标对象时,根据第二目标对象以及目标位置,获取多个第二目标对象之间的目标相关性。由此,可根据目标相关性确定多个第二目标对象是否存在属于同套或同组的第二目标对象。并若两个第二目标对象相关,可认为该两个第二目标对象属于同套或同组的第二目标对象。
例如,若第二目标对象为窗帘,则可根据目标相关性确定多个窗帘是否存在同套或同组的窗帘。从而在有同套的窗帘时,可根据同套的窗帘以及与该窗帘对应的窗户来确定该同套的窗帘的对象状态是开启状态还是关闭状态。并若两个第二目标对象相关,可认为该两个第二目标对象属于同套或同组的第二目标对象。并,若两个窗帘相关,可认为两个窗帘属于同套或同组的窗帘的两个部分。
在一些实施方式中,可根据第二目标对象以及目标位置,获取每两个第二目标对象之间的位置相关性、灰度相关性和纹理相关性;基于位置相关性、灰度相关性和纹理相关性,获取每两个第二目标对象之间的目标相关性。
在一个示例中,灰度相关性Cgray可根据如下方式得到:请参见图9,图9示出了一种用于计算灰度相关性的分割示意图,分别将检测到的第一检测框310和第二检测框320按照4×4大小进行分割,计算中间部分2×2区域311的灰度hai和区域321的灰度hbi,其中i可从1、2、3、4中取值,然后通过中间部分的灰度差异计算整体的灰度差异,并作为灰度相关性。具体地,灰度相关性Cgray可根据公式 得到。
在一个示例中,纹理相关性Ctexture可根据如下方式得到:分别计算两个检测框内中间部分2×2区域内的灰度共生矩阵;依据所计算的灰度共生矩阵计算以下数值:能量、对比度、相关和逆差距。
其中,灰度共生矩阵的能量是灰度共生矩阵元素值的的平方和,反映了图像灰度分布均匀程度和纹理粗细度。
其中,灰度共生矩阵的对比度反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深其对比度越大,视觉效果越清晰;
其中,灰度共生矩阵的相关反映了空间灰度在行或列方向上的相似程度,反映了图像局部灰度相关性。值越大表示矩阵元素越均匀。
其中,灰度共生矩阵的逆差距反映了图像纹理的同质性,值越大表示图像纹理的不同区域间越均匀。
进而纹理相关性Ctexture是上述四种相关性的至少一种的加权综合判断。在一个示例中,纹理相关性Ctexture可以是上述四种相关性加权计算得到。
进一步地,计算机设备基于位置相关性、灰度相关性和纹理相关性,可获取每两个第二目标对象之间的目标相关性,在一些实施方式中,可将对三个相关性分别配置权重,并基于权重和相关性加权计算得到两个检测框的对象之间的相关性。
其中,各相关性对应的权重可根据实际需求确定,也可以是程序预设,还可以是用户自定义,在此不作限定,例如可设置位置相关性的位置权重为ψ1,灰度相关性的灰度权重为ω2,纹理相关性的纹理权重为ω3,进而根据公式C=ω1×Cdistance+ω2×Cgray+ω3×Ctexture计算可得到最终两个对象之间的目标相关性C。可以理解的是,权重越高,该权重对应的相关性对目标相关性的确定具有更大的作用。在一个示例中,三种相关性的权重可分别为ω1=0.4,ω2=0.3,ω3=0.3。
在一些实施方式中,在两个第二目标对象的目标相关性大于第一阈值时,可判定该两个第二目标对象相关,在两个第二目标对象的目标相关性小于第一阈值时,可判定该两个第二目标对象不相关。
在一些实施方式中,若两个第二目标对象之间的目标相关性C在大于0.8时,可认为这两个第二目标对象相关,若两个第二目标对象之间的目标相关性C在小于0.4时,可认为这两个第二目标对象不相关。
步骤S242:根据目标相关性和第一目标对象,确定第二目标对象的对象状态。
在一些实施方式中,步骤S242可包括步骤S242-1至步骤S242-5,具体地,请参阅图10,图10示出了步骤S242在一个实施例中的方法流程图,具体地可包括:
步骤S242-1:判断是否存在多个第一目标对象。
于本实施例中,判断是否存在多个第一目标对象之后,可包括:
若存在多个第一目标对象,可执行步骤S242-2;
若不存在多个第一目标对象,可执行步骤S242-3。
步骤S242-2:根据目标相关性,判断是否存在相关的第二目标对象。
若存在多个第一目标对象,可根据目标相关性,判断是否存在相关的第二目标对象。
于本实施例中,根据目标相关性,判断是否存在相关的第二目标对象之后,可包括:
若存在相关的第二目标对象,可执行步骤S242-4,可确定第二目标对象的对象状态为开启状态。
当第一对象为窗户,第二对象为窗帘时,若存在多个第一目标对象和多个第二目标对象,即nwn>1,ncn>1时,可根据多个第二目标对象之间的目标相关性,进一步判断是否存在相关的第二目标对象,并在存在相关的第二目标对象时,即nwn>1,ncn>1,且存在相关的窗帘时,可确定第二目标对象的对象状态为开启状态。
具体地,在一个示例中,如图11所示,图11示出了一种待检测图像的检测示意图,图11中,包括2个窗户检测框1111、1112以及3个窗帘检测框1121、1122以及1123。其中,窗帘检测框1121和1122相关,因此可确定窗帘检测框1121和1122对应的窗帘的对象状态为开启状态,即当前场景的该窗帘处于开启状态。另外,窗帘检测框1123和1124相关,因此可确定窗帘检测框1121和1122对应的窗帘的对象状态为开启状态,即当前场景的该窗帘处于开启状态。
若不存在相关的第二目标对象,可执行步骤S242-5,可确定第二目标对象的对象状态为关闭状态。当第一对象为窗户,第二对象为窗帘时,若存在多个第一目标对象和多个第二目标对象,即nwn>1,ncn>1时,若不存在相关的第二目标对象,也就是不存在同套的窗帘时,可确定窗帘的对象状态为关闭状态。
步骤S242-3:根据目标相关性,判断是否存在不相关的第二目标对象。
若不存在多个第一目标对象,可根据目标相关性,判断是否存在不相关的第二目标对象。此时,待检测图像中存在多个第二目标对象,且不存在第一目标对象,即nwn=0,ncn>1,此时,可根据目标相关性,判断是否存在不相关的第二目标对象。
于本实施例中,根据目标相关性,判断是否存在不相关的第二目标对象之后,可包括:
若存在不相关的第二目标对象,可执行步骤S242-4,确定第二目标对象的对象状态为开启状态。在一个具体示例中,如图12所示,窗帘检测框1201与窗帘检测框1202不相关,不属于同套或同组的窗帘,且计算机设备并未检测到窗户,此时可确定窗帘检测框1201的窗帘的对象状态、和窗帘检测框1202对应的窗帘的对象状态均为关闭状态。
若不存在不相关的第二目标对象,即每个第二目标对象均存在与其相关的第二目标对象,可执行步骤S242-5确定第二目标对象的对象状态为关闭状态。在一个具体示例中,如图13所示,窗户特征不明显,计算机设备未检测到窗户,仅检测到2个窗帘检测框1301和1302,并二者相关,属于同套或同组的窗帘,此时可确定窗帘检测框1301和1302对应的窗帘的对象状态为开启状态。由此即便计算机设备在目标检测时漏检了窗户,也仍然可准确判断出窗帘为开启状态。
步骤S242-4:确定第二目标对象的对象状态为开启状态。
在存在多个第一目标对象和多个第二目标对象,即nwn>1,ncn>1,并且存在相关的第二目标对象时,可确定第二目标对象的对象状态为开启状态。
在不存在多个第一目标对象和存在多个第二目标对象,如nwn=0,ncn>1,并且存在不相关的第二目标对象时,可确定第二目标对象的对象状态为开启状态。
步骤S242-5:确定第二目标对象的对象状态为关闭状态。
在存在多个第一目标对象和多个第二目标对象,即nwn>1,ncn>1,并且不存在相关第二目标对象,可确定第二目标对象的对象状态为关闭状态。
在不存在多个第一目标对象和存在多个第二目标对象,如nwn=0,ncn>1,并且不存在不相关的第二目标对象时,可确定第二目标对象的对象状态为关闭状态。
在一些实施例中,步骤S240还可包括:
步骤S243:当不存在多个第二目标对象时,可根据第一目标对象以及目标位置,确定第二目标对象的对象状态。
当不存在多个第二目标对象时,可根据第一目标对象以及目标位置,确定第二目标对象的对象状态。由此可在nwn>1,ncn=1时,基于第一目标对象和目标位置,确定第二目标对象的对象状态。并在当第一对象为窗户,第二对象为窗帘时,可基于窗帘检测框和窗户检测框的距离或位置关系确定窗帘的对象状态。
在一些实施方式中,步骤S243可包括步骤S243-1至步骤S243-6,具体地,请参阅图14,图14示出了步骤S240在另一个实施例中的方法流程图,具体地,步骤S240可包括步骤S243-1至步骤S243-6,具体如下:
步骤S243-1:在不存在多个第二目标对象时,判断是否存在第二目标对象。
在不存在多个第二目标对象时,判断是否存在第二目标对象,若存在第二目标对象,则第二目标对象的数量为1,即ncn=1;若不存在第二目标数量,则第二目标数量的数量为0,即ncn=0。
步骤S243-2:若存在第二目标对象,判断是否存在多个第一目标对象。
步骤S243-3:若存在多个第一目标对象,根据目标位置,获取第二目标对象和多个第一目标对象之间的距离。
其中,目标位置包括第一目标对象和第二目标对象中的至少一个位置。
在存在1个第二目标对象,且存在多个第一目标对象时,即ncn=1,nwn>1时,可根据目标位置,获取第二目标对象和多个第一目标对象之间的距离。
在一些实施方式中,第二目标对象和多个第一目标对象之间的距离可以是第二目标对象对应的检测框与第一目标对象的检测框之间的最短距离,也可以是两个检测框中心点在水平方向上的距离。
步骤S243-4:根据距离,判断第二目标对象是否满足预设条件。
其中,预设条件包括预设开启条件和预设关闭条件。于本实施例中,若第二目标对象满足预设开启条件,可执行步骤S243-5,确定第二目标对象的对象状态为开启状态。若第二目标对象满足预设关闭条件,可执行步骤S243-6,确定第二目标对象的对象状态为关闭状态。
具体地,在一些实施方式中,请参阅图15,步骤S243-4可包括步骤S243-4-1至步骤S243-4-4,具体地:
步骤S243-4-1:判断是否存在至少一个第一目标对象与第二目标对象的距离小于预设距离低值。
其中,预设距离低值可以根据实际需要确定,例如,预设距离低值可以是待检测的两个检测框在水平方向的宽度之和的预设比例,其中预设比例可以是0至1之间的任意值,例如可以为0.5、0.6等。在其他实施方式中,预设距离低值也可以是程序预设的,还可以是用户自定义,在此不作限定。
在一个实施方式中,预设距离低值可以是待检测的两个检测框在水平方向的宽度之和的预设比例,计算机设备可获取第二目标对象与第一目标对象的检测框的中心点在水平方向的第一距离,并比较第一距离是否小于预设距离低值,来判断第二目标对象是否与该第一目标对象相距较近,并在第一距离小于预设距离低值时,可判定第二目标对象与该第一目标对象相距较近。
于本实施例中,判断是否存在至少一个第一目标对象与第二目标对象的距离小于预设距离低值之后,可包括:
若存在至少一个第一目标对象与第二目标对象的距离小于预设距离低值,可执行步骤S243-4-2;
若不存在至少一个第一目标对象与第二目标对象的距离小于预设距离低值,可执行步骤S243-4-3。
步骤S243-4-2:判定第二目标对象满足预设开启条件。
在第一目标对象存在多个,且第二目标对象仅存在一个时,即nwn>1,ncn=1时,若存在至少一个第一目标对象与第二目标对象的距离小于预设距离低值,即窗帘检测框与其中一个窗户检测框相距较近时,可判定窗帘检测框对应的窗帘满足预设开启条件,即可确定该窗帘的对象状态为开启状态。
在一个具体示例中,如图16所示,图16示出了一种待检测图像的检测示意图,计算机设备在该待检测图像中检测出2个窗户检测框1611、1612与1个窗帘检测框1620,并窗户检测框1611与窗帘检测框1620之间的距离小于预设距离低值,即两个检测框相距较近,此时可判定窗帘检测框1620对应的窗帘满足预设开启条件。
步骤S243-4-3:判断每个第一目标对象与第二目标对象的距离是否均超过预设距离高值。
其中,预设距离高值可以根据实际需要确定,例如,预设距离高值可以是待检测的两个检测框在水平方向的宽度之和的预设倍数,其中预设倍数可以是大于或等于1的数值,例如可以为1、1.1等。在其他实施方式中,预设距离高值也可以是程序预设的,还可以是用户自定义,在此不作限定。
在一个实施方式中,预设距离低高值可以是待检测的两个检测框在水平方向的宽度之和的预设倍数,计算机设备可获取第二目标对象与第一目标对象的检测框的中心点在水平方向的第一距离,并比较第一距离是否超过预设距离高值,来判断第二目标对象是否与该第一目标对象相距较远,并在第一距离高于预设距离高值时,可判定第二目标对象与该第一目标对象相距较远。由此,可对每个第一目标对象与第二目标对象之间的距离进行判断,进而判断每个第一目标对象与第二目标对象的距离是否均超过预设距离高值。
于本实施例中,判断每个第一目标对象与第二目标对象的距离是否均超过预设距离高值之后,可包括:
若每个第一目标对象与第二目标对象的距离是否均超过预设距离高值,可执行步骤S243-4-4;
若存在至少一个第一目标对象与第二目标对象的距离未超过预设距离高值,在一些实施方式中,仍可判定第二目标对象满足预设开启条件,在另一些实施方式中,也可不作判定,以在下次获取的待检测图像中进行判定,本实施例对此不作限定。
步骤S243-4-4:若每个第一目标对象与第二目标对象的距离均超过预设距离高值,判定第二目标对象满足预设关闭条件。
在一个具体示例中,请再参阅图16,如图16所示,计算机设备在该待检测图像中检测出2个窗户检测框101、102与1个窗帘检测框200,其中,窗帘检测框200与窗户检测框102之间的距离超过预设距离高值,但同时,窗户检测框101与窗帘检测框200之间的距离并未超过预设距离高值,因而可判定窗帘检测框200不满足预设关闭条件。实际上,根据前述示例,窗户检测框101与窗帘检测框200之间的距离小于预设距离低值,即两个检测框相距较近,此时可判定窗帘检测框200对应的窗帘满足预设开启条件。由此可得到准确的窗帘的对象状态,以有利于执行后续的预设操作。
步骤S243-5:若第二目标对象满足预设开启条件,确定第二目标对象的对象状态为开启状态。
步骤S243-6:若第二目标对象满足预设关闭条件,确定第二目标对象的对象状态为关闭状态。
在一些实施例中,在步骤S243-2之后,即若存在第二目标对象,判断是否存在多个第一目标对象之后,(此时存在1个第二目标对象,即ncn=1),若不存在多个第一目标对象,也就是nwn≤1时,还可包括步骤S310至步骤S370,具体地,请参阅图17,图17示出了步骤S310至步骤S370的方法流程图,具体包括:
步骤S310:若不存在多个第一目标对象,判断是否存在第一目标对象。
于本实施例中,若不存在多个第一目标对象,判断是否存在第一目标对象之后,可包括:
若存在第一目标对象,即nwn=1,ncn=1时,可执行步骤S320;
若不存在第一目标对象,即nwn=0,ncn=1时,可判定当前场景仅包含一个第二目标对象,且第二目标对象的对象状态为关闭状态。在一个具体示例中,如图18所示,计算机设备仅检测到1个窗帘检测框1800,可判定窗帘检测框1800对应的窗帘的对象状态为关闭状态。
步骤S320:若存在第一目标对象,根据目标位置,获取第一目标对象和第二目标对象之间的位置关系。
在不存在多个第一目标对象且存在第一目标对象时,第一目标对象的数量为1个,即nwn=1,此时可根据目标位置,获取第一目标对象和第二目标对象之间的位置关系。在一些实施方式中,目标位置包括第一目标对象、第二目标对象对应的检测框的坐标,由此可根据坐标来获取第一目标对象和第二目标对象的位置关系。
其中,位置关系包括以下任意一项:包含、相交、不相交且不包含。
其中,位置关系为包含时,可以是第一目标对象完全包含于第二目标对象,即第一目标对象对应的第一检测框完全包含于第二目标对象对应的第二检测框,或第二目标对象完全包含于第一目标对象,即第二目标对象对应的第二检测框完全包含于第一目标对象对应的第一检测框,在此不作限定。
其中,位置关系为相交时,可以是非包含情况下的相交,即第一目标对象的第一检测框与第二目标对象的第二检测框相交。
其中,位置关系为不相交且不包含时,即除上述两种关系外的位置关系。
步骤S330:若位置关系为包含,确定第二目标对象包含子对象、且子对象的子对象状态为关闭状态。
其中,子对象可包括但不限于除第二目标对象外,也包含于或包含第一目标对象的其他对象。例如,当第一对象是窗户,第二对象是窗帘时,子对象可以是窗纱,或薄纱等,实际应用中,窗户可能装设由窗帘以及窗纱,其中窗纱一般遮光性能低于窗帘,因而在阳光照射下,即便拉上窗纱,即窗纱处于关闭状态时,仍可较大程度的透光入室内。此时即便窗户被窗纱遮挡,计算机设备也仍可检测到窗户。
在一个具体示例,如图19所示,计算机设备可检测到2个窗帘检测框1921和1922,以及1个窗户检测框1910,其中窗帘检测框1921为检测到窗纱时检测到的窗帘检测框,但经过前述方法步骤所述的合并后,可将该窗帘检测框1921和1922合并为一个窗帘检测框1920,则此时ncn=1,nwn=1。此时若实际上窗纱已经关闭,但由于光照较强时,窗纱透光性也较强,因而计算机设备仍可检测到窗户对应的窗户检测框1910。此时可根据窗帘检测框1920和窗户检测框1910的位置,获取二者的位置关系,并在窗户检测框1910包含于窗帘检测框1920时,确定窗帘检测框1920对应的对象状态为关闭状态,从而可避免因窗纱透光,导致窗户在窗纱关闭时仍可被检测到,所可能引入的误差,因而可提高检测准确性,得到置信度更高的对窗帘的对象状态的检测结果。
步骤S340:若位置关系为相交,确定第二目标对象的对象状态为开启状态。
在nwn=1,ncn=1时,若第一目标对象与第二目标对象之间的位置关系为相交,可确定第二目标对象的对象状态为开启状态。在一个具体示例中,如图19所示,计算机设备可检测到1个窗户检测框100和1个窗帘检测框200,并窗户检测框100与窗帘检测框200相交,此时可确定窗帘检测框200对应的窗帘的对象状态为开启状态。
步骤S350:若位置关系为不相交且不包含,根据目标位置,获取第二目标对象和第一目标对象之间的距离。
在nwn=1,ncn=1时,若第一目标对象与第二目标对象之间的位置关系为不相交且不包含,可根据目标位置,获取第二目标对象和第一目标对象之间的距离。并在距离较远时,认为第一目标对象与第二目标对象不相关,以判定第二目标对象的对象状态为关闭状态,在距离较近时,可判定第二目标对象的对象状态为开启状态。当第一对象为窗户,第二对象为窗帘时,可在第一目标对象与第二目标对象之间的距离较远时,认为窗户与窗帘不相关,即该窗帘不是装设于该窗户的窗帘。
在一个具体示例中,如图20所示,计算机设备可检测到1个窗户检测框2010以及1个窗帘检测框2020,窗户检测框2010与窗帘检测框2020之间的距离d为窗户检测框2010的中心点与窗帘检测框2020的中心点在水平方向上的距离。根据基于距离的判断,针对图20所示的待检测图像,计算机设备可检测到窗户检测框2010与窗帘检测框2020之间距离较远,则可判定窗帘检测框2010对应的窗帘满足预设开启条件。
步骤S360:根据距离,判断第二目标对象是否满足预设条件。
步骤S370:若第二目标对象满足预设开启条件,则确定第二目标对象的对象状态为开启状态。
步骤S380:若第二目标对象满足预设关闭条件,则确定第二目标对象的对象状态为关闭状态。
其中,步骤S360至步骤S380可参考前述步骤243-4至步骤S243-6,在此不再赘述。
步骤S250:当不存在多个第二目标对象时,可根据第一目标对象以及目标位置,确定第二目标对象的对象状态。
在一些实施方式中,当第一对象为窗户,第二对象为窗帘时,计算机设备可基于前述步骤得到窗帘的对象状态,并将该对象状态作为当前场景的场景状态,例如,窗帘的对象状态为开启状态时,即当前场景下窗帘被打开,至少一个窗户未被完全遮挡,窗帘的对象状态为关闭状态时,即当前场景下窗帘关闭,至少一个窗户被遮挡。由此获取准确的对象状态,对当前场景的场景状态进行准确判断,可根据场景状态执行预设操作,以满足用户需求。例如可提高用电安全,节省功耗,保护隐私和家居安全等。
在一些实施方式中,由于白天窗帘打开时,可从窗户外获取光照以用于照明,由此,为了用电安全和功耗节省,计算机设备可在白天检测到窗帘打开时,向照明设备发送控制指令,以控制照明设备关闭。
在一些实施方式中,在夜晚若检测到窗帘打开时,计算机设备还可可控制窗帘电机以控制窗帘关闭,保护隐私和家居安全。
在一些实施方式中,计算机设备也可生成与场景状态相关的提示信息,以提示用户,以实现对家居的监控,并能够有利于资源节约。
在其他一些实施方式中,基于场景状态,计算机设备还可实现更多预设操作,本实施例对此不作具体限定。
需要说明的是,本实施例中未详细描述的部分请参考上述实施例,在此不再赘述。
应该理解的是,虽然图2至图17的方法流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图17中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图21,图21示出了本申请实施例提供的一种状态检测装置的模块框图,可应用于上述计算机设备。下面将针对图21所示的模块框图进行阐述,所述状态检测装置2100包括:图像获取模块2110、目标检测模块2120、状态确定模块2130以及操作执行模块2140,其中:
图像获取模块2110,用于获取当前场景的待检测图像;
目标检测模块2120,用于对所述待检测图像进行目标检测,获取目标对象和所述目标对象的目标位置;
状态确定模块2130,用于基于所述目标对象和所述目标位置,确定所述目标对象的对象状态,作为所述当前场景的场景状态;
操作执行模块2140,用于基于所述场景状态,执行预设操作。
进一步地,所述目标对象包括第一对象和第二对象,所述状态确定模块2130包括:目标确定子模块以及目标状态子模块,其中:
目标确定子模块,用于根据所述第一对象确定第一目标对象,根据所述第二对象确定第二目标对象;
目标状态子模块,用于根据所述第一目标对象、所述第二目标对象以及所述目标位置,确定所述第二目标对象的对象状态,将所述第二目标对象的对象状态作为所述当前场景的场景状态。
进一步地,所述目标确定子模块包括:合并判断单元、第一合并单元、第一对象单元、第二合并单元以及第二对象单元,其中:
合并判断单元,用于判断是否需要对所述第一对象进行合并或是否需要对所述第二对象进行合并;
第一合并单元,用于若需要对所述第一对象进行合并,所述第一对象为多个,对所述多个第一对象执行合并操作;
第一对象单元,用于将所述多个第一对象中合并后的第一对象和未合并的第一对象作为第一目标对象;
第二合并单元,用于若需要对所述第二对象进行合并,所述第二对象为多个,对所述多个第二对象执行合并操作;
第二对象单元,用于将所述多个第二对象中合并后的第二对象和未合并的第二对象作为第二目标对象。
进一步地,所述状态检测装置2100还包括合并模块,所述多个第一对象和所述多个第二对象通过以下合并模块进行合并,其中:
合并模块,用于根据每个指定对象和所述指定对象对应的目标位置,对需合并的指定对象进行合并,以得到合并后的指定对象,其中,所述指定对象为第一对象或第二对象。
进一步地,所述合并判断单元包括:第一判断子单元、第二判断子单元、双合并单元以及单合并单元,其中:
第一判断子单元,用于判断是否存在至少一个所述第二对象;
第二判断子单元,用于若存在至少一个所述第二对象,判断是否存在至少一个所述第一对象;
双合并单元,用于若存在至少一个所述第一对象,则判定需要对所述第一对象进行合并、且需要对所述第二对象进行合并;
单合并单元,用于若不存在至少一个所述第一对象,则判定需要对所述第二对象进行合并。
进一步地,所述第一对象为窗户,所述第二对象为窗帘。
进一步地,所述目标状态子模块包括:相关性获取单元以及相关状态确定单元,其中:
相关性获取单元,用于当存在多个所述第二目标对象时,根据所述第二目标对象以及所述目标位置,获取多个所述第二目标对象之间的目标相关性;
相关状态确定单元,用于根据所述目标相关性和所述第一目标对象,确定所述第二目标对象的对象状态。
进一步地,所述相关状态确定单元包括:第三判断子单元、第四判断子单元、第一相关状态判定子单元、第二相关状态判定子单元、第五判断子单元、第三相关状态判定子单元、第三相关状态判定子单元以及第四相关状态判定子单元,其中:
第三判断子单元,用于判断是否存在多个所述第一目标对象;
第四判断子单元,用于若存在多个所述第一目标对象,根据所述目标相关性,判断是否存在相关的所述第二目标对象;
第一相关状态判定子单元,用于若存在相关的所述第二目标对象,确定所述第二目标对象的对象状态为开启状态;
第二相关状态判定子单元,用于若不存在相关的所述第二目标对象,确定所述第二目标对象的对象状态为关闭状态;
第五判断子单元,用于若不存在多个所述第一目标对象,根据所述目标相关性,判断是否存在不相关的所述第二目标对象;
第三相关状态判定子单元,用于若存在不相关的所述第二目标对象,确定所述第二目标对象的对象状态为开启状态;
第四相关状态判定子单元,用于若不存在不相关的所述第二目标对象,确定所述第二目标对象的对象状态为关闭状态。
进一步地,所述相关性获取单元包括:初始相关性获取子单元以及目标相关性获取子单元,其中:
初始相关性获取子单元,用于根据所述第二目标对象以及所述目标位置,获取每两个所述第二目标对象之间的位置相关性、灰度相关性和纹理相关性;
目标相关性获取子单元,用于基于所述位置相关性、所述灰度相关性和所述纹理相关性,获取每两个所述第二目标对象之间的目标相关性。
进一步地,所述目标状态子模块包括:目标状态单元,其中:
目标状态单元,用于当不存在多个所述第二目标对象时,根据所述第一目标对象以及所述目标位置,确定所述第二目标对象的对象状态;
所述目标状态单元包括:第六判断子单元、第七判断子单元、距离获取子单元、距离判断子单元、第一距离状态子单元以及第二距离状态子单元,其中:
第六判断子单元,用于判断是否存在所述第二目标对象;
第七判断七单元,用于若存在所述第二目标对象,判断是否存在多个所述第一目标对象;
距离获取子单元,用于若存在多个所述第一目标对象,根据所述目标位置,获取所述第二目标对象和多个所述第一目标对象之间的距离;
距离判断子单元,用于根据所述距离,判断所述第二目标对象是否满足预设条件,所述预设条件包括预设开启条件和预设关闭条件;
第一距离状态子单元,用于若所述第二目标对象满足预设开启条件,确定所述第二目标对象的对象状态为开启状态;
第二距离状态子单元,用于若所述第二目标对象满足预设关闭条件,确定所述第二目标对象的对象状态为关闭状态。
进一步地,所述若存在所述第二目标对象,判断是否存在多个所述第一目标对象之后,所述状态检测装置2100还包括:第一判断模块、位置关系获取模块、第一关系确定模块、第二关系确定模块、第三关系确定模块、距离判断模块、第一距离模块以及第二距离模块,其中:
第一判断模块,用于若不存在多个所述第一目标对象,判断是否存在所述第一目标对象;
位置关系获取模块,用于若存在所述第一目标对象,根据所述目标位置,获取所述第一目标对象和所述第二目标对象之间的位置关系,所述位置关系包括以下任意一项:包含、相交、不相交且不包含;
第一关系确定模块,用于若所述位置关系为包含,确定所述第二目标对象包含子对象、且所述子对象的子对象状态为关闭状态;
第二关系确定模块,用于若所述位置关系为相交,确定所述第二目标对象的对象状态为开启状态;
第三关系确定模块,用于若所述位置关系为不相交且不包含,根据所述目标位置,获取所述第二目标对象和所述第一目标对象之间的距离;
距离判断模块,用于根据所述距离,判断所述第二目标对象是否满足预设条件,所述预设条件包括预设开启条件和预设关闭条件;
第一距离模块,用于若所述第二目标对象满足预设开启条件,则确定所述第二目标对象的对象状态为开启状态;
第二距离模块,用于若所述第二目标对象满足预设关闭条件,则确定所述第二目标对象的对象状态为关闭状态。
进一步地,所述距离判断模块包括:距离低值判断单元、第一距离判定单元、第二距离判定单元以及距离高值判断单元,其中:
距离低值判断单元,用于判断是否存在至少一个所述第一目标对象与所述第二目标对象的距离小于预设距离低值;
第一距离判定单元,用于若存在至少一个所述第一目标对象与所述第二目标对象的距离小于预设距离低值,判定所述第二目标对象满足预设开启条件;
第二距离判定单元,用于若不存在至少一个所述第一目标对象与所述第二目标对象的距离小于预设距离低值,判断每个所述第一目标对象与所述第二目标对象的距离是否均超过预设距离高值;
距离高值判断单元,用于若每个所述第一目标对象与所述第二目标对象的距离均超过预设距离高值,判定所述第二目标对象满足预设关闭条件。
本申请实施例提供的状态检测装置用于实现前述方法实施例中相应的状态检测方法,并具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的技术人员可以清楚地了解到,本申请实施例提供的状态检测装置能够实现图2到图17的方法实施例中的各个过程,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参阅前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参阅图22,图22示出了本申请实施例提供的一种电子设备的硬件结构框图。具体的,该电子设备2200可以是中央处理器、智能手机、平板电脑、电子书、可穿戴电子设备、服务器、单片机等能够运行应用程序的电子设备。本申请中的电子设备2200可以包括一个或多个如下部件:处理器2210、存储器2220、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器2220中并被配置为由一个或多个处理器2210执行,一个或系统的指令多个程序配置用于执行如前述方法实施例所描述的方法。
如图22所示,该电子设备2200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器2210(处理器2210可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器2230,一个或一个以上存储应用程序2223或数据2222的存储介质2220(例如一个或一个以上海量存储设备)。其中,存储器2230和存储介质2220可以是短暂存储或持久存储。存储在存储介质2220的程序可以包括一个或一个以上模块,每个模块可以包括对电子设备2200中的一系列指令操作。更进一步地,处理器2210可以设置为与存储介质2220通信,在电子设备2200上执行存储介质2220中的一系列指令操作。电子设备2200还可以包括一个或一个以上电源2260,一个或一个以上有线或无线网络接口2250,一个或一个以上输入输出接口2240,和/或,一个或一个以上操作系统2221,例如WindowsServerTM,MacOSXTM,UnixTM,LinuxTM,FreeBSDTM等等。
需要说明的是,所述电源2260可以是包含独立电源模块以向电子设备2200供电,也可以是用于连接外部电源以向电子设备2200供电。
输入输出接口2240可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备2200的通信供应商提供的无线网络。在一个实例中,输入输出接口2240包括一个网络适配器(NetworkInterfaceController,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口2240可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图22所示的结构仅为示意,其并不对上述电子设备的结构造成限定。例如,电子设备2200还可包括比图22中所示更多或者更少的组件,或者具有与图22所示不同的配置。
本申请实施例还提供一种计算机可读存储介质。图23是本申请一个实施例提供的一种计算机可读存储介质2300的模块框图。该计算机可读存储介质2300上存储有计算机程序2310,该计算机程序2310被处理器执行实现上述房间状态预测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质2300,如只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(RandomAccessMemory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是智能网关,手机,计算机,服务器,空调器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请各实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护范围之内。
Claims (15)
1.一种状态检测方法,其特征在于,所述方法包括:
获取当前场景的待检测图像;
对所述待检测图像进行目标检测,获取目标对象和所述目标对象的目标位置;
基于所述目标对象和所述目标位置,确定所述目标对象的对象状态,作为所述当前场景的场景状态;
基于所述场景状态,执行预设操作。
2.根据权利要求1所述的状态检测方法,其特征在于,所述目标对象包括第一对象和第二对象,所述基于所述目标对象和所述目标位置,确定所述目标对象的对象状态,包括:
根据所述第一对象确定第一目标对象,根据所述第二对象确定第二目标对象;
根据所述第一目标对象、所述第二目标对象以及所述目标位置,确定所述第二目标对象的对象状态,将所述第二目标对象的对象状态作为所述当前场景的场景状态。
3.根据权利要求2所述的状态检测方法,其特征在于,所述根据所述第一对象确定第一目标对象,根据所述第二对象确定第二目标对象,包括:
判断是否需要对所述第一对象进行合并或是否需要对所述第二对象进行合并;
若需要对所述第一对象进行合并,所述第一对象为多个,对所述多个第一对象执行合并操作;
将所述多个第一对象中合并后的第一对象和未合并的第一对象作为第一目标对象;
若需要对所述第二对象进行合并,所述第二对象为多个,对所述多个第二对象执行合并操作;
将所述多个第二对象中合并后的第二对象和未合并的第二对象作为第二目标对象。
4.根据权利要求3所述的状态检测方法,其特征在于,所述多个第一对象和所述多个第二对象通过以下方式合并:
根据每个指定对象和所述指定对象对应的目标位置,对需合并的指定对象进行合并,以得到合并后的指定对象,其中,所述指定对象为第一对象或第二对象。
5.根据权利要求3所述的状态检测方法,其特征在于,所述判断是否需要对所述第一对象进行合并或是否需要对所述第二对象进行合并,包括:
判断是否存在至少一个所述第二对象;
若存在至少一个所述第二对象,判断是否存在至少一个所述第一对象;
若存在至少一个所述第一对象,则判定需要对所述第一对象进行合并、且需要对所述第二对象进行合并;
若不存在至少一个所述第一对象,则判定需要对所述第二对象进行合并。
6.根据权利要求1-5任一权利要求所述的状态检测方法,其特征在于,所述第一对象为窗户,所述第二对象为窗帘。
7.根据权利要求2或3所述的状态检测方法,其特征在于,所述根据所述第一目标对象、所述第二目标对象以及所述目标位置,确定所述第二目标对象的对象状态,包括:
当存在多个所述第二目标对象时,根据所述第二目标对象以及所述目标位置,获取多个所述第二目标对象之间的目标相关性;
根据所述目标相关性和所述第一目标对象,确定所述第二目标对象的对象状态。
8.根据权利要求7所述的状态检测方法,其特征在于,所述根据所述目标相关性和所述第一目标对象,确定所述第二目标对象的对象状态,包括:
判断是否存在多个所述第一目标对象;
若存在多个所述第一目标对象,根据所述目标相关性,判断是否存在相关的所述第二目标对象;
若存在相关的所述第二目标对象,确定所述第二目标对象的对象状态为开启状态;
若不存在相关的所述第二目标对象,确定所述第二目标对象的对象状态为关闭状态;若不存在多个所述第一目标对象,根据所述目标相关性,判断是否存在不相关的所述第二目标对象;
若存在不相关的所述第二目标对象,确定所述第二目标对象的对象状态为开启状态;
若不存在不相关的所述第二目标对象,确定所述第二目标对象的对象状态为关闭状态。
9.根据权利要求7所述的状态检测方法,其特征在于,所述根据所述第二目标对象以及所述目标位置,获取多个所述第二目标对象之间的目标相关性,包括:
根据所述第二目标对象以及所述目标位置,获取每两个所述第二目标对象之间的位置相关性、灰度相关性和纹理相关性;
基于所述位置相关性、所述灰度相关性和所述纹理相关性,获取每两个所述第二目标对象之间的目标相关性。
10.根据权利要求2或3所述的状态检测方法,其特征在于,所述根据所述第一目标对象、所述第二目标对象以及所述目标位置,确定所述第二目标对象的对象状态,包括:
当不存在多个所述第二目标对象时,根据所述第一目标对象以及所述目标位置,确定所述第二目标对象的对象状态;
所述根据所述第一目标对象以及所述目标位置,确定所述第二目标对象的对象状态,包括:
判断是否存在所述第二目标对象;
若存在所述第二目标对象,判断是否存在多个所述第一目标对象;
若存在多个所述第一目标对象,根据所述目标位置,获取所述第二目标对象和多个所述第一目标对象之间的距离;
根据所述距离,判断所述第二目标对象是否满足预设条件,所述预设条件包括预设开启条件和预设关闭条件;
若所述第二目标对象满足预设开启条件,确定所述第二目标对象的对象状态为开启状态;
若所述第二目标对象满足预设关闭条件,确定所述第二目标对象的对象状态为关闭状态。
11.根据权利要求10所述的状态检测方法,其特征在于,所述若存在所述第二目标对象,判断是否存在多个所述第一目标对象之后,所述方法还包括:
若不存在多个所述第一目标对象,判断是否存在所述第一目标对象;
若存在所述第一目标对象,根据所述目标位置,获取所述第一目标对象和所述第二目标对象之间的位置关系,所述位置关系包括以下任意一项:包含、相交、不相交且不包含;
若所述位置关系为包含,确定所述第二目标对象包含子对象、且所述子对象的子对象状态为关闭状态;
若所述位置关系为相交,确定所述第二目标对象的对象状态为开启状态;
若所述位置关系为不相交且不包含,根据所述目标位置,获取所述第二目标对象和所述第一目标对象之间的距离;
根据所述距离,判断所述第二目标对象是否满足预设条件,所述预设条件包括预设开启条件和预设关闭条件;
若所述第二目标对象满足预设开启条件,则确定所述第二目标对象的对象状态为开启状态;
若所述第二目标对象满足预设关闭条件,则确定所述第二目标对象的对象状态为关闭状态。
12.根据权利要求10所述的状态检测方法,其特征在于,所述根据所述距离,判断所述第二目标对象是否满足预设条件,包括:
判断是否存在至少一个所述第一目标对象与所述第二目标对象的距离小于预设距离低值;
若存在至少一个所述第一目标对象与所述第二目标对象的距离小于预设距离低值,判定所述第二目标对象满足预设开启条件;
若不存在至少一个所述第一目标对象与所述第二目标对象的距离小于预设距离低值,判断每个所述第一目标对象与所述第二目标对象的距离是否均超过预设距离高值;
若每个所述第一目标对象与所述第二目标对象的距离均超过预设距离高值,判定所述第二目标对象满足预设关闭条件。
13.一种状态检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取当前场景的待检测图像;
目标检测模块,用于对所述待检测图像进行目标检测,获取目标对象和所述目标对象的目标位置;
状态确定模块,用于基于所述目标对象和所述目标位置,确定所述目标对象的对象状态,作为所述当前场景的场景状态;
操作执行模块,用于基于所述场景状态,执行预设操作。
14.一种电子设备,其特征在于,包括:
处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至12中任一项所述的状态检测方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的状态检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010018936.2A CN111240217B (zh) | 2020-01-08 | 2020-01-08 | 状态检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010018936.2A CN111240217B (zh) | 2020-01-08 | 2020-01-08 | 状态检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111240217A true CN111240217A (zh) | 2020-06-05 |
CN111240217B CN111240217B (zh) | 2024-02-23 |
Family
ID=70863949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010018936.2A Active CN111240217B (zh) | 2020-01-08 | 2020-01-08 | 状态检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111240217B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112665104A (zh) * | 2021-01-26 | 2021-04-16 | 吴祖荣 | 一种智能建筑外遮阳卷帘系统的控制方法 |
CN112911154A (zh) * | 2021-02-02 | 2021-06-04 | Oppo广东移动通信有限公司 | 一种抓拍方法、服务器及计算机存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103869761A (zh) * | 2012-12-14 | 2014-06-18 | 海尔集团公司 | 家电控制方法及控制系统 |
US20140167931A1 (en) * | 2012-12-18 | 2014-06-19 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling a home device remotely in a home network system |
CN104635677A (zh) * | 2014-12-19 | 2015-05-20 | 欧阳秋娜 | 一种智能家居控制系统及其控制方法 |
CN105843050A (zh) * | 2016-03-18 | 2016-08-10 | 美的集团股份有限公司 | 智能家居系统、智能家居控制装置和方法 |
US20180152312A1 (en) * | 2014-11-10 | 2018-05-31 | Sengled Optoelectronics Co., Ltd. | Method, apparatus, and system for controlling smart home environment using led lighting device |
CN108196468A (zh) * | 2018-03-26 | 2018-06-22 | 京东方科技集团股份有限公司 | 智能家居控制方法及智能家居系统 |
CN109936489A (zh) * | 2019-03-25 | 2019-06-25 | 美的智慧家居科技有限公司 | 场景联动的控制方法及系统、网关设备和存储介质 |
WO2019179442A1 (zh) * | 2018-03-21 | 2019-09-26 | 北京猎户星空科技有限公司 | 智能设备的交互目标确定方法和装置 |
-
2020
- 2020-01-08 CN CN202010018936.2A patent/CN111240217B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103869761A (zh) * | 2012-12-14 | 2014-06-18 | 海尔集团公司 | 家电控制方法及控制系统 |
US20140167931A1 (en) * | 2012-12-18 | 2014-06-19 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling a home device remotely in a home network system |
US20180152312A1 (en) * | 2014-11-10 | 2018-05-31 | Sengled Optoelectronics Co., Ltd. | Method, apparatus, and system for controlling smart home environment using led lighting device |
CN104635677A (zh) * | 2014-12-19 | 2015-05-20 | 欧阳秋娜 | 一种智能家居控制系统及其控制方法 |
CN105843050A (zh) * | 2016-03-18 | 2016-08-10 | 美的集团股份有限公司 | 智能家居系统、智能家居控制装置和方法 |
WO2019179442A1 (zh) * | 2018-03-21 | 2019-09-26 | 北京猎户星空科技有限公司 | 智能设备的交互目标确定方法和装置 |
CN108196468A (zh) * | 2018-03-26 | 2018-06-22 | 京东方科技集团股份有限公司 | 智能家居控制方法及智能家居系统 |
CN109936489A (zh) * | 2019-03-25 | 2019-06-25 | 美的智慧家居科技有限公司 | 场景联动的控制方法及系统、网关设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112665104A (zh) * | 2021-01-26 | 2021-04-16 | 吴祖荣 | 一种智能建筑外遮阳卷帘系统的控制方法 |
CN112911154A (zh) * | 2021-02-02 | 2021-06-04 | Oppo广东移动通信有限公司 | 一种抓拍方法、服务器及计算机存储介质 |
CN112911154B (zh) * | 2021-02-02 | 2022-10-18 | Oppo广东移动通信有限公司 | 一种抓拍方法、服务器及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111240217B (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10198823B1 (en) | Segmentation of object image data from background image data | |
US9965865B1 (en) | Image data segmentation using depth data | |
Boult et al. | Into the woods: Visual surveillance of noncooperative and camouflaged targets in complex outdoor settings | |
KR101660215B1 (ko) | 존재 감지 | |
CN107883541B (zh) | 空调控制方法及装置 | |
US10366509B2 (en) | Setting different background model sensitivities by user defined regions and background filters | |
WO2018077165A1 (zh) | 一种基于双目视觉目标检测的家居环境下门定位方法 | |
US20160092733A1 (en) | System and method for seat occupancy detection from ceiling mounted camera using robust adaptive threshold criteria | |
CN110287907B (zh) | 一种对象检测方法和装置 | |
CN111476194B (zh) | 一种感知模组工作状态检测方法及冰箱 | |
US10769909B1 (en) | Using sensor data to detect events | |
CN110264495A (zh) | 一种目标跟踪方法及装置 | |
CN111240217B (zh) | 状态检测方法、装置、电子设备及存储介质 | |
Chun et al. | Real-time smart lighting control using human motion tracking from depth camera | |
US11967139B2 (en) | Adversarial masks for false detection removal | |
CN112767443A (zh) | 目标跟踪方法、电子设备及相关产品 | |
CN103839358A (zh) | 智能空调及其防盗监控方法和装置 | |
CN109996377A (zh) | 一种路灯控制方法、装置及电子设备 | |
CN107886540B (zh) | 制冷设备内物品识别定位方法和制冷设备 | |
JP2009123150A (ja) | 対象物検出装置及び方法、対象物検出システム、プログラム | |
CN113009897A (zh) | 一种智能家电的控制方法、装置、智能家电及存储介质 | |
US20230128689A1 (en) | Extrinsic camera calibration using calibration object | |
US11978247B2 (en) | Adversarial masks for scene-customized false detection removal | |
CN105700402A (zh) | 基于人员检测的嵌入式控制系统、设备和方法 | |
CN112101275B (zh) | 多目摄像头的人脸检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |