CN112257508B - 识别物体的卫生状况方法及相关电子设备 - Google Patents
识别物体的卫生状况方法及相关电子设备 Download PDFInfo
- Publication number
- CN112257508B CN112257508B CN202011004921.7A CN202011004921A CN112257508B CN 112257508 B CN112257508 B CN 112257508B CN 202011004921 A CN202011004921 A CN 202011004921A CN 112257508 B CN112257508 B CN 112257508B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- electronic device
- user
- bacteria
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Abstract
公开了一种识别物体的卫生状况方法及相关电子设备,涉及人工智能领域,与计算机视觉相关。包括:电子设备确定第一物体的种类;该电子设备通过第一摄像头采集该第一物体的第一图像,该第一图像为微观图像;该电子设备根据该第一物体的种类和该第一图像,获得该第一物体的卫生状况;其中电子设备根据第一物体的微观图像可以获取第一物体上存在的细菌的种类和数量等信息,也可以获取第一物体的色泽、纹理、气孔等信息。这样,电子设备能够结合物体的种类和物体的微观图像进行综合分析,确定出该物体的卫生状况,并输出智能提示。
Description
技术领域
本申请涉及人工智能领域以及对应的子领域计算机视觉相关,尤其涉及识别物体的卫生状况方法及相关电子设备。
背景技术
在自然科学中,微观世界通常是指分子、原子等粒子层面的物质世界。微观世界中存在着许多微生物,与我们的生活息息相关。微观世界是难以用肉眼观察到的,如果我们可以观察到生活中的细菌种类以及密度分布,可以帮助我们更加了解我们所处的生活环境。
一般来说,对细菌的鉴定要做以下几个方面工作。首先在传统显微镜下对细菌的个体形态进行观察,包括:进行革兰氏染色,分辨是革兰阳性菌(G+菌)还是革兰阴性菌(G-菌),并在传统显微镜下观察其形状、大小、有无芽孢及其位置等;然后在传统显微镜下对菌种形态进行观察,主要观察其形态、大小、边缘情况、隆起度、透明度、色泽、气味等特征;接着对细菌做动力试验,看细菌能否运动及其鞭毛着生类型(端生、周生);最后对细菌做生理生化反应及做血清学反应实验。根据以上实验项目的结果,通过查阅微生物分类检索表确定细菌种类。然而传统显微镜价格高昂、体积大且笨重,难以在日常生活中应用到,并且一般人很难具有识别细菌的实验条件和专业知识。
所以,如何在日常生活中方便的识别细菌种类,帮助用户了解微观世界,成为需要解决的问题。
发明内容
本申请实施例提供了一种识别物体的卫生状况方法及相关电子设备,能够通过电子设备确定物体的卫生状况,并给出智能提示。本文中所涉及的“物体”可以是人身上的某个部位(如手部、足部等),也可以是人之外的任何物体或任何物体的一部分(如可以是某种食物例如水果,又如可以是餐盘),等等。
需要说明的是,本申请提供的各实施例中,各步骤的执行顺序可以有多种可能的实现方式,其中的部分或全部步骤可以先后执行或并行执行。
第一方面,本申请提供了一种识别物体的卫生状况的方法,包括:电子设备确定第一物体的种类;该电子设备通过第一摄像头采集该第一物体的第一图像,该第一图像为微观图像;该电子设备根据该第一物体的种类和第一图像,输出第一提示信息,该第一提示信息用于指示该第一物体的卫生状况。电子设备确定第一物体的种类,可以是电子设备自身判断出第一物体的种类,或是电子设备从其他设备(如,服务器)获得确定出的第一物体的种类,或是电子设备根据用户输入的用于指示第一物体的种类的信息来确定第一物体的种类,等等。电子设备根据该第一物体的种类和所述第一图像,输出第一提示信息,可以是电子设备自身对该第一物体的种类和所述第一图像进行分析后输出与分析结果相关的提示信息,也可以是电子设备至少将所述第一图像发送给其他设备(如,服务器),由其他设备进行分析后将分析结果发送给电子设备,然后电子设备输出与分析结果相关的提示信息,等等。
上述实施例中,各步骤的执行顺序可以有多种可能的实现方式,比如,电子设备确定第一物体的种类的步骤可以发生在电子设备通过第一摄像头采集该第一物体的第一图像的步骤之前或之后或同时。
实施第一方面提供的方法,第一摄像头可以为电子设备内置的显微摄像头,也可以为外置的显微摄像头1,在一种可能的实现方式中,该外置显微摄像头1可以与电子设备具有通信连接。该外置显微摄像头1可以安装在电子设备上,如夹在电子设备的侧边。电子设备通过显微摄像头1获取第一物体的微观图像(微观图像可以指对被拍摄物经过显微放大后拍摄得到的图像),根据该微观图像确定第一物体的第一信息。在另一些实现方式中,可以在电子设备内置的一个相机摄像头上安装一个外置的显微摄像头2,电子设备可以通过该外置的显微摄像头2和该内置的相机摄像头获取第一物体的微观图像,电子设备根据该微观图像确定第一物体的第一信息;该外置的显微摄像头2和电子设备之间可以没有通信连接,仅物理上被贴装在内置的相机摄像头的表面,改变内置的相机摄像头的外部视野里的内容(对被拍摄物进行了放大),然后,电子设备可以通过该内置的相机摄像头获取到第一物体的微观图像;这种实现方式中,电子设备借助了所述外置的显微摄像头2和该内置的相机摄像头来获取第一物体的微观图像(第一图像),所述“所述电子设备通过第一摄像头采集该第一物体的第一图像”中所述第一摄像头可以理解为所述外置的显微摄像头2和该内置的相机摄像头中的至少一个。
然后电子设备结合第一物体的种类和第一物体的第一图像(第一图像可以理解为微观图像)进行综合分析,判断出第一物体的卫生状况,并给出第一提示信息。其中,第一提示信息中描述的卫生状况可以是以打分的形式表示,分数越高表示物体越卫生;卫生状况还可以是以文字描述的形式表示,例如卫生、不卫生、非常卫生等文字来形容。也即是说,用户可以使用电子设备(如手机、平板电脑等便携的电子设备)方便的观察到生活中物体的微观图像,并能获得针对该物体的卫生建议。这种方法能够让用户在日常生活中方便的识别细菌种类,帮助用户了解微观世界,通过电子设备对物体的卫生状况作出判断,给用户提供智能的卫生提示。
结合第一方面,在一些实施例中,电子设备确定第一物体的种类之前,该方法还包括:该电子设备通过第二摄像头采集该第一物体的第二图像(第二图像可以理解为宏观图像,区别于微观图像,宏观图像对物体可以有一定倍数的放大但并没有进行较大倍率的放大,在一些示例场景下宏观图像也可以理解成如用手机目前常用的相机摄像头进行的日常拍照获得的图像);则该电子设备确定第一物体的种类具体包括:该电子设备根据该第二图像确定该第一物体的种类。这里,第二摄像头可以为相机摄像头(可以包括一个或多个),电子设备通过一个或多个相机摄像头获取第一物体的第二图像,从而确定第一物体的种类。所述第一物体的第二图像中可以包括了第一物体,还可以包括了其他物体,当第二图像中包括了多个物体的情况下,用户可以通过在电子设备的屏幕上进行点击操作等方式确定所关注的对象为其中的第一物体。
在一些实施例中,第二图像还包括第二物体,上述方法还包括:电子设备获取针对于第二物体的显示区域上的用户操作,输出指示第二物体的卫生状况的第二提示信息。具体来说,在一种可能的实现方式中,电子设备根据第二图像确定第一物体的种类和第二物体的种类,当电子设备获取到针对于第一物体的显示区域上的用户操作(如,用户在第二图像上第一物体的显示区域中进行点击),则电子设备通过第一摄像头采集第一物体的第一图像,根据所述第一物体的种类和所述第一物体的第一图像输出指示该第一物体的卫生状况的第一提示信息;当电子设备获取到针对于第二物体的显示区域上的用户操作,则电子设备通过第一摄像头采集第二物体的第一图像,根据所述第二物体的种类和所述第二物体的第一图像输出指示该第二物体的卫生状况的第二提示信息。这种方式中,当电子设备通过第二摄像头采集的第二图像中包括两个或两个以上的物体时,可以根据接收到的用户对其中一个物体的选择操作,来显示该物体相关的提示信息,提升用户体验。
结合第一方面,在一些实施例中,电子设备确定第一物体的种类,包括:电子设备根据检测到的用户操作,确定第一物体的种类。这里,用户操作可以是输入语音/文本的用户操作、修正、点击选项的用户操作等等。例如,当电子设备检测到用户输入的语音信息时,识别该语音信息以确定第一物体的种类;当电子设备检测到用户输入的文本信息时,识别该文本信息以确定第一物体的种类。在一些实现方式中,可以在电子设备识别物体的种类之后,若用户想要更正该物体的种类,可以通过用户操作辅助电子设备正确确定该物体的种类。
结合第一方面,在一些实施例中,电子设备确定第一物体的种类,具体包括:电子设备根据该第一摄像头采集的第一物体的第二图像来确定该第一物体的种类。这里,第一摄像头可以为显微摄像头,其中显微摄像头的放大倍率可以调节。当显微摄像头的放大倍率很小时,电子设备可以通过显微摄像头采集物体的图像确定物体的种类;当显微摄像头的放大倍率调节到足以识别细菌时,电子设备可以通过显微摄像头采集物体的微观图像确定物体上的细菌分布情况。
在一些实施例中,所述方法还包括:根据第一图像确定第一物体的第一信息,其中,该第一物体的第一信息与第一物体的卫生状况之间具有关联关系,其中第一信息包括细菌的种类和数量。这种方式通过对第一物体上细菌的种类和数量进行分析,判断出第一物体的卫生状况。
在一些实施例中,第一信息可以包括纹理、气孔、色泽信息中的至少一种。这种方式通过对第一物体上纹理、气孔、色泽等信息中的至少一种进行分析,可以判断出第一物体(如水果、蔬菜等)的新鲜程度。电子设备输出的第一提示信息还可以用于指示第一物体的新鲜程度。
结合第一方面,在一些实施例中,该第一信息包括第一细菌的数量,当该第一细菌的数量为第一数量时,该第一提示信息指示该第一物体的卫生状况为第一卫生状况;当该第一细菌的数量为第二数量时,该第一提示信息指示该第一物体的卫生状况为第二卫生状况。具体来说,第一数量不超过第一阈值,该第一卫生状况可以表示为卫生;第二数量超过该第一阈值,该第二卫生状况可以表示为不卫生。第一数量超过该第一阈值,该第一卫生状况可以表示为不卫生;第二数量超过第二阈值,该第二卫生状况可以表示为非常不卫生,其中第二阈值大于第一阈值。即当第一细菌的数量越多,对第一物体的卫生状况的影响程度就越大。
在一些实施例中,不同的细菌对第一物体的卫生状况的影响程度不同。例如,当第一物体上存在有致病菌,则可以直接确认第一物体不卫生;当第一物体存在有普通细菌,则可以通过普通细菌的数量进一步判断第一物体是否不卫生。
结合第一方面,在一些实施例中,电子设备输出第一提示信息,包括:电子设备显示该第一物体的第一图像,并在该第一物体的第一图像上显示第一提示信息。
在一些实施例中,还可以通过显微摄像头对应的应用软件来启动显微摄像头,该应用软件可以安装在电子设备上。
在一些实施例中,提示信息包括用于提高该第一物体的卫生状况的建议。这里,根据第一物体上细菌种类的不同,可以识别出导致第一物体不卫生的原因,从而给出相应的建议。例如,提示信息可以是建议清洗,建议高温加热,建议丢弃等等。
结合第一方面,在一些实施例中,电子设备根据第一物体的种类和第一图像,输出第一提示信息,包括:电子设备根据第一物体的种类所对应的知识图谱和第一图像,确定第一物体的卫生状况,其中,知识图谱包括第一物体的种类所对应的常见的细菌种类。知识图谱指示了第一物体的卫生状况和细菌种类的关联规则,关联规则可以为当某一种细菌存在,则说明第一物体不卫生,关联规则还可以为当某一种细菌的数量超过阈值,则说明第一物体不卫生,等等。
在一些实施例中,第一摄像头为显微摄像头;第二摄像头为相机摄像头;电子设备为手机;第一物体的种类为手部。
第二方面,本申请提供了一种电子设备,包括一个或多个处理器和一个或多个存储器和触控屏。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行如上述第一方面及与第一方面相关的各实施例中任一方法,具体可参考前述相关内容。
第三方面,本申请实施例提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的实现方式中的识别物体的卫生状况的方法。
第四方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第一方面任一项可能的实现方式中的识别物体的卫生状况的方法。
附图说明
图1a为本申请实施例提供的一种电子设备的结构示意图;
图1b为本申请实施例提供的又一种电子设备的结构示意图;
图2为本申请实施例提供的一组界面示意图;
图3为本申请实施例提供的又一组界面示意图;
图4a为本申请实施例提供的又一组界面示意图;
图4b为本申请实施例提供的又一组界面示意图;
图5为本申请实施例提供的又一组界面示意图;
图6为本申请实施例提供的又一组界面示意图;
图7a为本申请实施例提供的又一组界面示意图;
图7b为本申请实施例提供的又一组界面示意图;
图8-图10为本申请实施例提供的又一组界面示意图;
图11为本申请实施例提供的算法结构原理图;
图12为本申请实施例提供的知识图谱结构图;
图13为本申请实施例提供的一种识别物体的卫生状况方法的流程示意图;
图14为本申请实施例提供的一种电子设备的结构示意图;
图15为本申请实施例提供的一种软件架构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供了一种识别物体的卫生状况方法,可应用在具有显微摄像头和相机摄像头的电子设备上,显微摄像头和相机摄像头可以同时工作或按预设顺序先后工作。其中,电子设备可以通过相机摄像头采集物体的图像,并识别该图像中的场景(例如食物、手部、餐桌等等)(或理解为识别该图像中的物体的种类)。电子设备还可以通过显微摄像头采集同一物体的图像,并识别该图像中的微观信息,微观信息包括细菌种类和数量,例如苹果的图像,可能的微观信息包括酵母菌、放线菌、食用菌等等。之后,电子设备可以通过物体对应的场景信息和微观信息来确定该物体的卫生状况。通过该方法,用户可以很方便地观察到在生活场景中物体上微生物的分布情况,使得用户做出相应的卫生处理。
本申请实施例可以结合物体对应的场景信息和微观信息进行综合分析,判断出物体的卫生状况,并给出智能提示。该智能提示可以包括物体的卫生状况的描述,还可以包括提高物体卫生状况的建议,还可以包括物体的处理方式的建议等等。电子设备给出提示的方式不限于文字、语音、震动、和/或指示灯等等。
在一种可能的实施方式中,显微摄像头可以包括平场消色差微型物镜,该微型物镜可以具有2μm光学分辨率,约20~400倍放大倍率,5mm视场直径。
首先,对本申请实施例所涉及的电子设备进行介绍。
请参阅图1a,图1a示例性的示出了一种电子设备的结构示意图。如图1a所示,电子设备的后盖10一侧包括相机摄像头11。其中,
相机摄像头11,可以包括多个摄像头,至少包括显微摄像头12(目前通常的相机摄像头中并不包括显微摄像头),还可以包括目前通常的相机摄像头(电子设备上用于拍照的摄像头),如:中焦摄像头、长焦摄像头、广角摄像头、超广角摄像头、TOF(time of night)深感摄像头、电影摄像头、和/或微距摄像头等等(此实现方式中,显微摄像头12内置于电子设备中,属于相机摄像头11中的一个)。电子设备针对不同的功能需求可以搭载双摄(两个摄像头)、三摄(三个摄像头)、四摄(四个摄像头)、五摄(五个摄像头)甚至六摄(六个摄像头)等多种组合的摄像头,以提高拍照的性能。一般来说,相机摄像头11的放大倍数在0.2-20倍之间。示例性的对摄像头的基本参数进行介绍,例如,中焦摄像头,50mm焦距,f/1.6光圈;长焦摄像头,200mm焦距,f/3.4光圈;广角摄像头,35mm焦距,f/2.2光圈。
显微摄像头12,具有一定的放大倍数,可以观察到细菌。一般来说,显微摄像头12的最大放大倍数在200倍以上。
本申请实施例中,显微摄像头12作为多个相机摄像头11中的一个摄像头被设置于电子设备中,电子设备通过多个相机摄像头11中非显微摄像头12的摄像头中的一个来采集图像,可以识别该图像中的场景,在一些实施例中,场景可以理解为采集的图像中的物体种类(例如食物、手部、餐桌等等)。电子设备通过显微摄像头12采集图像,可以识别该图像中微观信息,微观信息包括细菌种类和数量。相机摄像头11中显微摄像头12和其他摄像头可以同时工作,用户可以方便的观察到在生活场景中微生物的分布情况。
本申请实施例对显微摄像头12的位置不作限制,显微摄像头12可以置于电子设备的后盖一侧,或可以置于电子设备的显示屏一侧,或可以置于电子设备的显示屏的对侧,或可以置于电子设备的侧边屏幕的一侧。
请参阅图1b,图1b示例性的示出了另一种电子设备的结构示意图。如图1b所示,电子设备的后盖10一侧包括相机摄像头11,该后盖上还安装有一个显微摄像头12(此实现方式中,显微摄像头12并不属于相机摄像头11中的一个),其中,相机摄像头11可以包括多个摄像头(如中焦摄像头、长焦摄像头、广角摄像头等),显微摄像头12作为电子设备的一个配件被安装在多个相机摄像头11中的其中一个摄像头上(显微摄像头12可以是贴在一个相机摄像头的表面上,改变该相机摄像头的外部视野里的内容(对待拍摄物进行了放大),然后,电子设备可以通过该相机摄像头获取到第一物体的微观图像,该相机摄像头可以称之为被借用的摄像头)。电子设备可识别出被借用的摄像头,使用多个相机摄像头11中其他可用摄像头进行日常的拍摄(使用显微摄像头进行微观拍摄区别于目前日常/常规的拍摄)。下面示例性的对电子设备如何识别出被借用的摄像头的可能的方式进行介绍。
方式一,显微摄像头12安装在相机摄像头11中的其中一个摄像头上后,电子设备使用相机摄像头11中每一个摄像头进行图像拍摄,通过对比分析从每个摄像头拍摄获取的图像,确定出安装了显微摄像头12的摄像头。
方式二,显微摄像头12安装在相机摄像头11中的其中一个摄像头上后,电子设备接收到显微摄像头12对应的应用软件发送的信息,确定出安装了显微摄像头12的摄像头。
方式三,电子设备接收到启动显微摄像头12对应的应用软件的用户操作后,显示第一用户界面,该第一用户界面包括电子设备的相机摄像头11中支持安装显微摄像头12的摄像头。第一用户界面还可以包括电子设备推荐用户可安装显微摄像头12的摄像头。电子设备根据接收到的用户操作,确定出安装了显微摄像头12的摄像头。
以相机摄像头仅包括长焦摄像头和广角摄像头两个摄像头为例,当显微摄像头安装在长焦摄像头上时,电子设备可调用广角摄像头采集图像,根据该图像识别场景;当显微摄像头安装在广角摄像头上时,电子设备调用长焦摄像头采集图像,根据该图像识别场景。
以相机摄像头仅包括中焦摄像头、长焦摄像头、广角摄像头三个摄像头为例,当显微摄像头安装在中焦摄像头上时,电子设备可调用广角摄像头和/或长焦摄像头采集图像,根据该图像识别场景;当显微摄像头安装在长焦摄像头上时,电子设备可调用中焦摄像头和/或广角摄像头采集图像,根据该图像识别场景。
也即是说,当显微摄像头12安装在相机摄像头11的多个摄像头中的一个摄像头上时,电子设备可以调用相机摄像头11中其他摄像头进行常规的拍摄,识别拍摄到的图像中的场景。
本申请实施例中,电子设备可以是手机、平板电脑、手持计算机、可穿戴设备、虚拟现实设备、或智能家居设备等电子设备,还可以是安装于或运行于上述电子设备上的功能模块等。
本申请实施例中,电子设备上的显微摄像头12可以是外置(安装在电子设备外部)的摄像头,外置的显微摄像头12(一种可能的产品形态如Tipscope,一些实施例中外置的显微摄像头与电子设备的交互方式可以参考Tipscope与手机的交互方式)可以包括微型物镜,还可以包括其他的组件。一种可能的实施例中,外置的显微摄像头12可与电子设备进行通信连接,其中,显微摄像头12与电子设备的连接方式不限于有线或无线(例如蓝牙、WIFI等)。显微摄像头12所采集的图像被发送到电子设备,电子设备获取到该图像,获取图像中的微观信息。
为了方便描述,下列实施例中,在采集微观图像的过程中发挥了作用的摄像头可以称为第一摄像头,在采集宏观图像的过程中发挥了作用的摄像头可以称为第二摄像头。例如图1a中,第一摄像头为显微摄像头12,第二摄像头为相机摄像头11中除了显微摄像头12的摄像头中的一个或多个;图1b中,第一摄像头可以理解为显微摄像头12和/或相机摄像头11中安装了显微摄像头12的摄像头,第二摄像头为相机摄像头11中没有安装显微摄像头12的摄像头中的一个或多个。微观图像可以称为第一图像,宏观图像可以称为第二图像。
本申请实施例中,电子设备通过第一摄像头(可以包括一个或多个,性能可以彼此不同)采集微观图像,识别微观图像中的微观信息;电子设备通过第二摄像头(可以包括一个或多个,性能可以彼此不同)采集宏观图像,识别宏观图像中的场景。
本申请实施例中,用户操作包括但不限于触控操作、语音操作、手势操作等等。
下面从应用界面上详细说明电子设备如何识别物体的卫生状况。
首先,对如何触发电子设备通过第一摄像头获取微观信息做出介绍。
方式一,启动电子设备的相机应用,通过第一摄像头获取微观信息。
相机应用是电子设备具有的一款用于拍照的应用软件。当用户想要拍摄图像或视频时,启动相机应用,电子设备调用各个摄像头进行拍摄。其中,第一摄像头可以配置在相机应用中,通过相机以调用第一摄像头。如图2中的a部分所示,图2中的a部分的显示界面202陈列了多个应用图标。其中,显示界面202中包括相机205的应用图标。当电子设备检测到作用于相机205的应用图标的用户操作206,显示相机应用提供的应用界面。
参考图2中的b部分,图2中的b部分示出了一种可能的相机应用提供的用户界面。相机205的应用界面如图2中的b部分所示,该应用界面可以包括:显示区30、闪光灯图标301、设置图标302、模式选择区303、图库图标304、确认图标305、切换图标306。若用户想要获取微观信息,可以通过用户操作307触发模式选择区303中微观模式303A的应用图标。
图2中的b部分的显示区30显示电子设备当前使用的摄像头采集的数据的预览图像。电子设备当前使用的摄像头可以是相机应用设置的默认摄像头,即当相机应用被打开,显示区30的显示内容始终为第二摄像头采集的数据的预览图像;电子设备当前使用的摄像头还可以是上一次关闭相机应用时使用的摄像头。
闪光灯图标301,可以用于指示闪光灯的工作状态。闪光灯开启和关闭时的闪光灯图标301可以显示为不同的形式,例如当闪光灯是开启状态时,闪光灯图标为白色填充形式,当闪光灯是关闭状态时,闪光灯图标为黑色填充形式。用户通过对闪光灯图标301的触控操作,可以控制闪光灯的开启和关闭。一般来说,通过第一摄像头采集微观图像的同时闪光灯也会开启,通过闪光灯照亮被拍摄物体。
设置图标302,当检测到作用于设置图标302的用户操作时,响应于该操作,电子设备可显示其他快捷功能,例如调整分辨率、定时拍摄(又可称为延时拍摄,可以控制开启拍照的时间)、拍摄静音、声控拍照、笑脸抓拍(当摄像头检测到笑脸特征时,自动对焦到笑脸)等功能。
模式选择区303,用于提供不同的拍摄模式,根据用户选择的拍摄模式不同,电子设备启用的摄像头以及拍摄参数也不同。可以包括微观模式303A、夜景模式303B、拍照模式303C、录像模式303D以及更多303E。图2中的b部分中拍照模式303C的图标被标记,用于提示用户当前的模式为拍照模式。其中,
微观模式303A,在该模式下,用户可以观察到物体的微观图像。当检测到作用于微观模式303A的用户操作时,响应于该操作,电子设备通过第一摄像头采集微观图像。模式选择区303中拍照模式303C的图标不再被标记,而微观模式303A被标记(如图3中图标303A被标记为灰色),用于提示用户当前的模式为微观模式。此时,电子设备获取第一摄像头采集的图像,显示区30的显示内容为第一摄像头采集的图像。电子设备根据第一摄像头采集的图像获取微观信息,微观信息包括细菌种类和数量。
夜景模式303B,可以提升亮部和暗部的细节呈现能力,控制噪点,并呈现出更多的画面细节。拍照模式303C,适应大部分的拍摄场景,可以根据当前的环境自动调整摄影参数。录像模式303D,用于拍摄一段视频。更多303E,当检测到作用于更多303E的用户操作时,响应于该操作,电子设备可显示其他选择模式,例如全景模式(实现自动拼接,电子设备将连续拍摄的多张照片拼接为一张照片,实现扩大画面视角的效果)、HDR模式(自动连拍欠曝光、正常曝光、过度曝光三张照片、并选取最好的部分合成为一张照片)等等。
当检测到作用于模式选择区303中任一模式的应用图标(例如微观模式303A、夜景模式303B、拍照模式303C、录像模式303D、全景模式、HDR模式等等)的用户操作时,响应于该操作,显示区30显示的图像为当前模式下处理后的图像。
模式选择区303中的各模式图标不限于虚拟图标,也可以实现为物理按键。
图库图标304,当检测到作用于图库图标304的用户操作时,响应于该操作,电子设备可进入图库,图库中显示已拍摄的照片和视频。其中,图库图标304可以显示为不同的形式,例如当电子设备保存摄像头当前采集的图像后,图库图标304中显示该图像的缩略图。
确认图标305,当检测到作用于确认图标305的用户操作(例如触控操作、语音操作、手势操作等)时,响应于该操作,电子设备获取当前模式下所使用的摄像头当前采集的图像(或当前采集的图像在经过当前所使用的模式所对应的处理后的图像),并保存在图库中。其中,可以通过图库图标304进入图库。
切换图标306,可以用于对前置摄像头和后置摄像头的切换。其中,前置摄像头和后置摄像头都属于相机摄像头11。前置摄像头的拍摄方向与用户使用的电子设备的屏幕的显示方向相同,后置摄像头的拍摄方向与用户使用的电子设备的屏幕的显示方向相反。若显示区30当前显示后置摄像头采集的图像,当检测到作用于切换图标306的用户操作时,响应于该操作,显示区30显示前置摄像头采集的图像。若显示区30当前显示前置摄像头采集的图像,当检测到作用于切换图标306的用户操作时,响应于该操作,显示区30显示后置摄像头采集的图像。
在图2中的b部分中,电子设备检测到作用于微观模式303A的用户操作307,响应于该用户操作,电子设备通过第一摄像头采集微观图像。模式选择区303中拍照模式303C的图标不再被标记,而微观模式303A被标记,用于提示用户当前的模式为微观模式。此时,电子设备获取第一摄像头采集的图像,显示区30的显示内容为第一摄像头采集的图像。
示例性的,如图2中的c部分所示,图2中的c部分示例性的示出了微观模式303A的应用界面。其中,模式选择区303中微观模式303A的图标被标记,表示当前的模式为微观模式。图2中的c部分的显示区30显示第一摄像头采集的图像,电子设备可根据第一摄像头采集的图像获取微观信息。
需要注意的是,在一种实施方式中,电子设备响应于作用于微观模式303A的用户操作,将切换图标306刷新/更新为转换图标307。图2中的c部分中的转换图标307,可以用于第二摄像头采集的宏观图像和第一摄像头采集的微观图像在显示区30的显示内容中的转换显示。若显示区30当前显示第一摄像头采集的图像,当检测到作用于转换图标307的用户操作时,响应于该操作,显示区30显示第二摄像头采集的图像。若显示区30当前显示第二摄像头采集的图像,当检测到作用于转换图标307的用户操作时,响应于该操作,显示区30显示第一摄像头采集的图像。
在一些实施方式中,在微观模式下,第二摄像头和第一摄像头可以同时采集图像,不论显示区30显示的是第二摄像头或第一摄像头采集的图像,电子设备都可以根据第二摄像头采集的宏观图像获取图像中的场景信息(或理解为,获取图像中物体的种类),同时根据第一摄像头采集的微观图像获取微观信息。
本申请中,用户操作206和用户操作307包括但不限于点击、快捷按键、手势、悬浮触控、语音指令等用户操作。
方式二,启动电子设备的专门针对于获取微观图像的应用(如名为微观模式的应用),通过第一摄像头采集微观图像。
微观模式应用可以是一款专门针对于显微摄像头的应用,可以从网络上下载后安装在电子设备上。当用户想要使用显微摄像头拍摄图像或视频时,启动微观模式应用,电子设备调用第一摄像头进行拍摄。其中,“微观模式”仅为一种可能的名称的示例,还可以为其他名称。如图3中的a部分所示,图3中的a部分的显示界面202陈列了多个应用图标。其中,显示界面202中包括微观模式207的应用图标。若用户想要通过第一摄像头采集微观图像,通过用户操作208触发微观模式207的应用图标。电子设备响应于用户操作208,显示微观模式207的应用界面。
参考图3中的b部分,图3中的b部分示例性的示出了一种可能的微观模式应用提供的应用界面。该应用界面可以包括:显示区40、闪光灯图标401、设置图标402、图库图标403、确认图标404、转换图标405。其中,显示区40可以显示电子设备当前使用的摄像头采集的图像。
图库图标403,当检测到作用于图库图标403的用户操作时,响应于该操作,电子设备可进入微观图像图库,微观图像图库中显示已拍摄的微观照片和视频。其中,图库图标403可以显示为不同的形式,例如当电子设备保存第一摄像头当前采集的微观图像后,图库图标403中显示该微观图像的缩略图。
转换图标405,可以用于对第二摄像头的采集图像和第一摄像头的采集图像在显示区40的显示内容中的转换显示。如图4a所示,若显示区40当前显示第一摄像头采集的图像,当检测到作用于转换图标405的用户操作406时,响应于该操作,显示区40显示第二摄像头采集的图像。若显示区40当前显示第二摄像头采集的图像,当检测到作用于转换图标405的用户操作时,响应于该操作,显示区40显示第一摄像头采集的图像。
闪光灯图标401可参考图2中的b部分中闪光灯图标301的相关描述。设置图标402可参考图2中的b部分中设置图标302的相关描述。确认图标404可参考图2中的b部分中确认图标305的相关描述。
在一种可选的实施方式中,显示区40的显示内容还可以通过滑动的方式进行转换。示例性的,如图4b所示,用户操作407为向左的滑动操作,作用在显示区40中。电子设备的显示区40一开始显示微观图像(第一摄像头采集的图像),当电子设备检测到作用于显示区40中的操作407时,随着操作407逐步显示第二摄像头采集的图像,达到转换显示区40的显示内容的效果。同样的,若电子设备的显示区40一开始显示第二摄像头采集的图像,用户可以通过向右的滑动操作,达到转换显示区40的显示内容的效果。
在微观模式207的应用客户端中,第二摄像头和第一摄像头可以同时采集图像,不论显示区40显示的是第二摄像头或第一摄像头采集的图像,电子设备都可以根据第二摄像头采集的图像获取图像中的场景,同时根据第一摄像头采集的图像获取图像中的微观信息。
本申请中,用户操作208包括但不限于点击、快捷按键、手势、悬浮触控、语音指令等用户操作。
上述两种方式,介绍了电子设备通过第一摄像头采集微观图像的不同路径以及相应的显示界面。图2中的c部分和图3中的b部分都示例性的示出了微观模式的应用界面。图5和图6分别还提供了一种可能的微观模式的应用界面。
如图5中的a部分所示,显示区410可以实时显示第二摄像头采集的图像,显示区40可以实时显示第一摄像头采集的图像。其中显示区40和显示区410的图像是相互对应的,即显示区410的显示内容为显示区40的显示内容的微观图像。当用户不断变换拍摄角度或者拍摄物体,第二摄像头和第一摄像头采集的图像也在不断变换,显示区40和显示区410的显示内容也在不断变换。
相比于图5中的a部分,图5中的b部分中微观模式的应用界面上还可以包括控件411。该控件411用于触发电子设备识别物体的微观信息(进一步可选的,还可以用于触发电子设备识别物体对应的场景信息,电子设备识别物体对应的场景信息可以不需要用户通过控件411来触发而通过用户的其他操作来触发),从而确定该物体的卫生状况。在一种可能的实现方式中,当电子设备第一次检测到针对于控件411的用户操作(如用户点击选择了控件411),电子设备根据第二摄像头采集的图像获取图像中的场景,并且根据第一摄像头采集的图像获取图像中物体的微观信息。电子设备根据图像中的场景以及微观信息判断出物体的卫生状况,电子设备可以输出关于物体的卫生状况的提示信息。在一种可能的实现方式中,当电子设备第二次检测到针对于控件411的用户操作(可以是用户点击反选了控件411),电子设备可以不再识别物体对应的场景信息和微观信息,也即不再输出关于物体的卫生状况的提示信息,这种情况下,用户在微观模式的应用界面中可以查看到物体的微观图像和宏观图像。
一种可能的实施例中,图5中的b部分中的控件411还可以用于触发电子设备通过第二摄像头采集宏观图像(这种情况下,图5中的b部分中显示宏观图像(可以是宏观图像的缩略图)的显示区410可以是一开始并没有出现的,而是在用户操作了控件411后才出现的)。举例来说,当电子设备第一次检测到针对于控件411的用户操作,电子设备可以在显示区410实时显示第二摄像头采集的图像(可以是缩略图),电子设备根据第二摄像头采集的图像获取图像中的场景,同时根据第一摄像头采集的图像获取图像中的微观信息,从而可以确定物体的卫生状况,电子设备可以输出关于物体的卫生状况的提示信息。当电子设备第二次检测到针对于控件411的用户操作,电子设备无需再获取宏观图像,显示区410可以隐藏,或者显示黑屏。电子设备不再识别物体对应的场景信息和微观信息,也即不再输出关于物体的卫生状况的提示信息。
一种可能的实施例中,显示区40和显示区410的显示内容可以根据用户操作相互切换。举例来说,显示区410显示第二摄像头采集的图像,显示区40显示第一摄像头采集的图像。当电子设备检测到针对于显示区410的点击操作,则显示区40和显示区410的显示内容相互切换,即显示区40显示第二摄像头采集的图像,显示区410显示第一摄像头采集的图像。其中,用户操作不限于针对于显示区410的点击操作,还可以是针对转换图标405的点击操作,还可以是针对于显示区410或显示区40拖动操作、双击操作、手势操作等等。
在本申请的一些实施例中,显示区410的大小可以和上述图5中不同。例如,显示区410覆盖的区域可以大于或小于上述图5中显示区410所覆盖的区域。
在一些可选的实施例中,显示区410的形状、位置及大小可以是系统默认设置的。例如,如图5所示,系统可以默认设置显示区410为在显示屏5右下侧区域的竖向矩形界面。
在一些可选的实施例中,显示区410的形状、位置及大小还可以根据用户操作实时确定。显示区410的大小和位置可以和用户双指在显示屏上停止滑动的位置相关。例如,当用户双指在显示屏上停止滑动的位置之间的距离越大时,显示区410越大。又例如,显示区410所在区域可以覆盖用户双指滑动的轨迹。
如图6所示,图6包括显示区41和显示区42,显示区41和显示区42采用分屏的方式分别显示在电子设备的显示屏上。其中显示区41可以实时显示第二摄像头采集的图像,显示区42可以实时显示第一摄像头采集的图像。其中显示区41和显示区42的图像是相互对应的,即显示区42的显示内容为显示区41的微观显示图像。当用户不断变换拍摄角度或者拍摄物体,第二摄像头和第一摄像头采集的图像也在不断变换,显示区40和显示区410的显示内容也在不断变换。
图6还包括位置框51,其中,显示区42的显示内容是位置框51中的微观图像。随着位置框51中图像的不同,显示区42的显示内容也相应的变化。
在一些可选的实施例中,显示区41和显示区42的大小可以根据用户操作实时确定。例如,上下拖动显示区41和显示区42的分屏线,当用户向上拖动分屏线,显示区41的长度变小,显示区42的长度变大;当用户向下拖动分屏线,显示区41的长度变大,显示区42的长度变小。可选的,显示区40和显示区410的显示内容可以根据用户操作相互切换。
上述实施例提供了微观模式可能的应用界面,电子设备响应于用户操作307,通过第一摄像头采集微观图像,显示微观模式303A的应用界面(如图2中的c部分所示);或者电子设备响应于用户操作208,通过第一摄像头采集微观图像,显示微观模式207的应用界面(如图3中的b部分所示);或者显示如图5和图6的应用界面;等等。在上述应用界面中,电子设备可以通过第一摄像头获取第一物体的微观信息,然后结合第一物体的种类对第一物体的卫生状况进行推断。
下面对电子设备如何确定第一物体的种类做出介绍。
电子设备通过第二摄像头采集第一物体的图像,自动检测采集的图像中第一物体的种类。如图7a的左侧附图所示,图7a的左侧附图的显示区40显示了第二摄像头采集的图像。光标70和光标71分别指示了电子设备检测的图像中的物体(桃子和手部),其中光标70显示在桃子的显示区域内,光标71显示在手部的显示区域内。光标的数量取决于电子设备检测到图像中物体的数量,并将识别出的物体种类的描述显示在光标的附近,光标70附近显示文本内容为“桃子”,光标71附近显示文本内容为“手部”,以提示用户了解到电子设备检测出图像中包括的物体以及物体种类。由于实际上光标70所指示的物体并不是桃子,而是苹果,则用户可以针对显示“桃子”的显示区域进行点击操作。
当检测到作用于描述物体的文本内容的显示区域内的用户操作时,电子设备在应用界面上显示输入窗口,提示用户输入想要检测的对象,达到对电子设备识别的物体种类进行更正的功能效果。示例性的,当检测到作用于文本内容“桃子”的显示区域的用户点击操作时,如图7a的右侧附图所示,电子设备在应用界面上显示输入窗口50,提示用户输入想要检测的对象。用户可以在输入窗口50中输入物体的种类。举例来说,第二摄像头采集的图像为苹果,若电子设备识别出图像中的物体种类为桃子,则这时用户可以点击文本内容为“桃子”的显示区域,在输入窗口50中输入物体的种类为苹果。电子设备接收到用户输入的文本,将图像中物体种类纠正为苹果。这时,光标70附近显示文本内容为“苹果”。
如图7a的右侧附图所示,输入窗口50还可以包括重新识别501、语音输入502以及确认503等功能图标。其中,
重新识别501,当检测到作用于重新识别501的用户操作时,响应于该操作,电子设备再次对显示区40中的物体的种类进行识别,识别的结果与上一次识别结果不同,将识别结果显示在图像中物体的光标的附近,以提示用户了解到电子设备检测出图像中包括的物体以及物体种类。
语音输入502,当检测到作用于语音输入502的用户操作时,响应于该操作,电子设备获取用户输入的音频,识别该音频的内容,该音频中描述的物体作为第一物体的种类。
确认503,当检测到作用于确认503的用户操作时,响应于该操作,电子设备保存手动输入窗口50中用户输入的文本,该文本作为第一物体的种类。
在本申请实施例中,输入窗口50提供了一种辅助电子设备判断第一物体种类的方式,当用户想要检测的物体与电子设备识别的物体种类不符合,可以采用点击物体的文本内容的显示区域的方式进行纠偏。提高检测出物体卫生状况的准确性。
在一些可能的实施例中,本申请还提供了一种确定第一物体的种类的方式。即电子设备无需对第二摄像头采集的图像进行识别场景,而直接通过用户输入的文本信息、语音信息等确定需要检测的第一物体的种类。如图7b的左侧附图所示,图7b的左侧附图的显示区40显示了第一摄像头采集的图像。该应用界面还可以包括:手动输入图标73、图库图标701、以及确认图标702。其中,图库图标701可参考图3中图库图标403的相关描述,确认图标702可参考图3中确认图标404的相关描述。
手动输入图标73用于输入第一物体的种类。如图7b的右侧附图所示,响应于针对于手动输入图标73的用户操作,电子设备在应用界面上显示输入窗口51,提示用户输入想要检测的对象。用户可以在输入窗口51中输入物体的种类。举例来说,电子设备接收到输入的文本内容为“苹果”,则电子设备确定第一物体的种类为苹果。
其中,图7b的右侧附图中的语音输入图标和确认图标可参考图7a中语音输入502和确认503的相关描述。
这种实现方式,电子设备无需通过第二摄像头采集宏观图像,也无需对采集的图像进行识别场景,而直接通过用户输入的文本信息、语音信息等确定需要检测的第一物体的种类,节约电子设备的资源,提高效率。
上述实施例提供了电子设备确定第一物体的种类的方式,包括检测第二摄像头采集的图像或接收用户操作的方式确定第一物体的种类。本申请提供了一种识别物体的卫生状况的方法,电子设备可以通过第一摄像头获取第一物体的微观信息,结合第一物体的种类对第一物体的卫生状况进行推断,从而输出第一物体的卫生状况的提示信息。
示例性的,如图8中的a部分中,当用户点击针对于苹果的光标70时,电子设备结合苹果和苹果的微观信息进行分析计算,得出苹果的卫生状况,输出提示信息。
可选的,电子设备确定第一物体的种类以及第一物体的微观信息后,得出第一物体的卫生状况,当接收到获取第一物体的卫生状况的指令后,输出提示信息。示例性的,如图8中的a部分中,当用户点击针对于苹果的光标70时,电子设备输出提示信息。
在本申请实施例中,该提示信息可以用于提示用户该第一物体的卫生状况。在一些实施例中,该提示信息还可以用于提示用户如何提高物体卫生状况。在一些实施例中,提示信息还可以用于提示用户如何处理该物体。电子设备给出提示的方式不限于文字、语音、震动、指示灯等等。
下面对电子设备如何输出第一物体的卫生状况的提示信息做出介绍。
在本申请的一些实施例中,电子设备确定第一物体的卫生状况后,可以响应于接收到的用户操作来输出提示信息。用户可以选择查看想要了解的物体的卫生状况。参考图8,其示例性示出了电子设备在接收到用户操作后,输出提示信息的方式。
如图8所示,图8中的a部分的显示区40显示了第二摄像头采集的图像,光标70和光标71分别指示了电子设备检测的图像中的物体(苹果和手部),其中光标70显示在苹果的显示区域内,光标71显示在手部的显示区域内。
电子设备在显示区40输出提示(点击物体查看卫生状况),以提示用户可以点击物体查看该物体的卫生状况。具体来说,如图8中的b部分所示,若用户想要查看苹果的卫生状况,可以点击光标70,电子设备响应于该点击操作,图8中的b部分的显示区40显示第一摄像头采集的图像,还包括提示框60。该提示框60的提示内容包括细菌的种类和数量(杆状菌80万,青霉菌10万)、物体的卫生状况(苹果不干净,建议清洗)。
又如图8中的c部分所示,若用户想要查看手部的卫生状况,可以点击光标71,电子设备响应于该点击操作,图8中的d部分的显示区40显示第一摄像头采集的图像,还包括提示框61。该提示框61的提示内容包括细菌的种类和数量(大肠杆菌80万,葡萄球菌30万,流感病毒5万)、物体的卫生状况(手部不干净,建议清洗)。
在本申请的另一些实施例中,电子设备确定第一物体的卫生状况后,直接输出提示信息。用户可以在最快的时间了解到物体的卫生状况。参考图9,其示例性示出了电子设备直接输出提示信息的方式。
如图9所示,图9中的a部分的显示区40显示了第二摄像头采集的图像,光标70和光标71分别指示了电子设备检测的图像中的物体(苹果和手部),其中光标70显示在苹果的显示区域内,光标71显示在手部的显示区域内。
图9中的a部分还包括提示区60和提示区61。提示区60和提示区61分别描述了苹果和手部的卫生状况,提示区61输出提示信息为“苹果不干净,建议清洗”,提示区62输出提示信息“手部不干净,建议清洗”。其中,提示区的数量取决于电子设备检测到图像中物体的卫生状况的数量。电子设备检测出两个物体的卫生状况,则输出两个提示区,电子设备检测出三个物体的卫生状况,则输出三个提示区,以此类推。
电子设备检测到针对于转换图标405的用户操作602时,响应于该用户操作602,图9中的b部分显示区40显示第一摄像头采集的图像。图9中的b部分还包括提示区60和提示区61。此处不再赘述。
本申请实施例中,提示信息的输出方式不作限制。可以是输出文本的方式(例如图8和图9中显示提示区60的方式),可以是图像、语音、震动、指示灯等方式,还可以是通过光标、文本的显示颜色指示卫生状况。举例来说,图9中的a部分包括指示苹果的光标70和指示手部的光标71,若电子设备检测到苹果不卫生,苹果的光标70显示为红色;若电子设备检测到手部卫生,手部的光标71显示为绿色。这种方式通过光标的颜色的不同,用户可以提前了解物体的卫生状况,并且在多个物体中更直观的发现不卫生的物体。然后对不卫生的物体进行具体查看,针对不卫生的物体做出卫生处理。
本申请实施例中,提示信息的输出内容不作限制。提示信息的输出内容可以包括对物体的卫生状况的描述(例如物体不卫生、物体不干净、物体卫生程度低),也可以包括对提高物体的卫生状况的建议(例如建议清洗、建议擦拭、建议加热)、对物体的处理方式建议(例如建议丢弃),还可以包括细菌种类对卫生状况的影响的描述(例如,由于大肠杆菌数量过多,导致食物不卫生,建议高温100度加热杀菌),还可以包括物体的新鲜程度(例如苹果不新鲜、香蕉已腐坏)等等。
在本申请的一些实施例中,提示区60或提示区61的大小可以和上述图8和图9中不同。例如,提示区60或提示区61覆盖的区域可以大于或小于提示区60或提示区61中提示区60或提示区61所覆盖的区域。
在一些可选的实施例中,提示区60或提示区61的形状、位置及大小可以是系统默认设置的。也可以是根据用户操作实时确定。提示区60或提示区61的大小和位置可以和用户双指在显示屏上停止滑动的位置相关。例如,当用户双指在显示屏上停止滑动的位置之间的距离越大时,提示区60或提示区61越大。又例如,提示区60或提示区61所在区域可以覆盖用户双指滑动的轨迹。
上述实施例提供了电子设备输出第一物体的卫生状况的提示信息的相关方式,包括对于提示信息的输出内容以及提示信息的输出形式。
本申请实施例中,电子设备进入微观模式后,可以在任一应用界面中响应于在拍摄控件上接收到的用户操作,保存应用界面中显示区的显示内容。用户可以通过图库查看物体的微观图像以及提示信息。该拍摄控件例如可以是确认图标404以及确认图标305。如图10所示,显示区90示例性的显示了图像81、图像82和图像83。其中,图像81为图6的显示区的显示内容,电子设备检测到针对图6中的确认图标404的用户操作,获取图6中的显示区的显示内容,保存在图库中。图像82为图3中的b部分的显示区40的显示内容,电子设备检测到针对图3中的b部分中的确认图标404的用户操作,获取图3中的b部分中显示区40的显示内容,保存在图库中。图像83为图8中的b部分附图的显示区40的显示内容(包括提示区60),电子设备检测到针对图8中的b部分中的确认图标的用户操作,获取图8中的b部分中显示区40的显示内容,保存在图库中。
其中,可以通过图库图标403进入图10所示的应用界面。
在本申请中,电子设备通过第二摄像头采集物体的图像,识别该图像中的场景,场景即为采集的图像中的物体种类(例如食物、手部、餐桌等等)。电子设备通过第一摄像头采集同一物体的图像,识别该图像中的微观信息,微观信息包括细菌种类和数量。
结合场景信息和微观信息进行综合分析,可以判断出场景的卫生状况,并给出智能提示。举例来说,当场景信息中第一物体的种类是食物时,微观信息中包括的细菌有酵母菌、放线菌、食用菌等等。电子设备针对该食物给出的智能提示包括该食物不卫生,建议清洗;还包括该食物建议高温加热,该食物建议丢弃等等。当第一物体的种类是手部时,第一物体上存在的细菌可以是葡萄球菌、大肠杆菌、流感病毒等等。电子设备针对手部给出的智能提示包括手部不卫生,建议清洗;还包括手部不卫生,建议使用洗手液清洗等等。当第一物体的种类是空气时,第一物体上存在的细菌可以是脑膜炎奈瑟氏菌、结核杆菌、溶血性球菌、白喉杆菌、百日咳杆菌等等。电子设备针对空气给出的智能提示包括空气质量较差,建议佩戴口罩;还包括空气质量较差,建议佩戴医用口罩等等。
下面介绍与本方案相关的技术原理。
(1)图像地点场景类别识别(Places CNN)
图像分类技术的一种,从图像中判断图像场景所处的地点类型的方式。利用现有成熟的网络框架(例如resnet)可以实现较高精度的图像及场所的识别。检测图像中的场景与物体,返回检测出的场景与物体名称,以及相应的置信度(准确度)。Places365是用于场景分类的开源数据集,包括Places365-standard和Places365-challenge。Places365–standard的训练集具有365个场景类别,其中每个类别最多有5000张图像。Places365-challenge的训练集具有620个场景类别,其中每个场景类别最多有40000张图像。通过Places365对图像地点场景类别识别的模型进行训练。在Places365数据库上训练的卷积神经网络可用于场景识别以及用于视觉识别的通用深层场景特征。
在本申请中,电子设备获取第二图像后,通过图像地点场景类别识别技术可以从第二图像中判断图像场景的类型。
(2)基于深度学习的目标检测算法(YOLO v3)
目标检测,即找出图像中所有感兴趣的物体,确定物体的位置和大小。识别过程包括分类(classification)、定位(location)、检测(detection)、分割(segmentation)。如图11所示,图11示出了YOLO v3的网络结构。其中,YOLOv3网络的结构具体包括:
darknet-53 without FC layer:53表示darknet网络中的卷积层加全连接层的数量,darknet-53 without FC layer表示darknet-53的前面的52层,没有全连接层。
Input层:416×416×3表示输入图像的像素为416*416,通道数为3。
DBL:Darknetconv2d_BN_Leaky,是yolo_v3的基本组件。就是卷积+BN+Leakyrelu。用于对图像进行特征提取。
Resn:n代表数字,有res1,res2,…,res8等等,表示这个res_block里含有多少个res_unit。其输入与输出一般保持一致,并且不进行其他操作,只是求差。
Concat:张量拼接。将darknet中间层和后面的某一层的上采样进行拼接。拼接的操作和残差层add的操作是不一样的,拼接会扩充张量的维度,而add只是直接相加不会导致张量维度的改变。
Output层:包括3条预测之路,y1、y2和y3的深度都是255,边长的规律是13:26:52。yolo v3设定的是每个网格单元预测3个box,所以每个box需要有(x,y,w,h,confidence)五个基本参数,然后还要有80个类别的概率。所以3×(5+80)=255。
以下以416*416*3为输入图像为例对上述YOLOv3网络进一步进行说明。
Y1层:输入13*13的feature map(特征映射),一共1024个通道。经过一系列的卷积操作,feature map的大小不变,但是通道数最后减少为75个。最终输出13*13大小的feature map,75个通道,在此基础上进行分类和位置回归。
Y2层:将79层的13*13、512通道的feature map进行卷积操作,生成13*13、256通道的feature map,然后进行上采样,生成26*26、256通道的feature map,同时于61层的26*26、512通道的中尺度的feature map合并。再进行一系列卷积操作,feature map的大小不变,但是通道数最后减少为75个。最终输出26*26大小的feature map,75个通道,然后在此进行分类和位置回归。
Y3层:将91层的26*26、256通道的feature map进行卷积操作,生成26*26、128通道的feature map,然后进行上采样生成52*52、128通道的feature map,同时于36层的52*52、256通道的中尺度的feature map合并。再进行一系列卷积操作,feature map的大小不变,但是通道数最后减少为75个。最终输出52*52大小的feature map,75个通道,然后在此进行分类和位置回归。
综上,完成三个不同尺度的目标检测。
本申请运用基于深度学习的目标检测技术使用相机摄像头进行场景识别、使用微观摄像头进行微生物识别。微观摄像头和相机摄像头的识别过程一致,识别过程主要包括以下几步:第一,信息的获取,即通过拍照摄像头传感器,将光信息转化为电信息,即获取终端拍摄物体的基本信息并通过某种方法将其转变为机器能识别的信息。第二,预处理,对拍摄的图片进行去噪声、平滑、变换等操作,从而强化图像的重要特征。第三,特征抽取和选择,对预处理的图像进行特征的抽取和选择,通过图像所具有的本身特征来识别,提取有用的特征。第四,分类器设计,即通过训练得到的一种识别规则,通过该识别规则得到一种特征分类的方式。第五,分类决策,在特征空间中对被识别对象进行分类,从而识别出拍摄场景下被识别对象的具体类别。
(3)知识图谱
知识图谱可以理解为一个具有属性的实体通过关系链接而成的网状知识库,包括节点和连接线,节点为实体,连接线为关联规则。知识图谱将各种琐碎、零散的客观知识相互连接,以支持综合型知识检索、辅助决策和智能推断。
本申请以知识图谱的形式将宏观信息和微观信息进行关联,可以让使用此功能的用户及时快速的了解宏观物体周围的细菌情况,并结合智能推断给出的建议,提升自我防护意识,同时也提高了电子设备的实用性。电子设备获取到第一物体的种类后,在知识图谱中获取第一物体的种类的知识图谱。举例来说,如图12所示,图12示出了分别以“手部不干净”、“食物不干净”、“苹果不干净”这三个节点为中心节点的知识图谱。从图12中可知,可以导致苹果不干净的细菌包括杆状菌、红酵母菌、青霉菌等细菌,其中连接线表示关联规则。关联规则可以为当细菌存在,则说明食物不干净,关联规则还可以为当细菌的数量超过阈值,则说明食物不干净,等等。当电子设备获取到第一物体的种类为苹果时,可以结合电子设备检测出的微生物的种类和数量,通过苹果的知识图谱判断该苹果的卫生状况。
基于上述的技术原理,下面结合示例介绍识别物体的卫生状况的方法过程。请参阅图13,图13是本申请实施例提供的一种识别物体的卫生状况的方法流程示意图。如图13所示,该识别物体的卫生状况的方法可包括如下步骤。
步骤S101A:通过第二摄像头采集第二图像。
电子设备通过第二摄像头采集第二图像。第二图像为宏观图像,第二摄像头为用于采集宏观图像的一个或多个摄像头,该第二图像包括第一物体。
步骤S102A:确定第二图像中第一物体的种类。
电子设备根据该第二图像确定第一物体的种类。第一物体的种类可以是食物、昆虫等大类,也可以是苹果、香蕉、葡萄、面包、蚂蚁、手部等细类,还可以是空气、河海等场景。举例来说,电子设备通过第二摄像头采集了一个苹果的图像,根据采集到的该图像,电子设备确定该图像中包括一个物体,根据图像识别为苹果,即第一物体的种类为苹果。又举例来说,电子设备通过第二摄像头采集了一个手握着苹果的图像,根据采集到的该图像,电子设备确定该图像中包括两个物体,分别为第一物体和第二物体,根据图像识别为苹果和手部。其中,第一物体的种类可以为苹果,第一物体的种类也可以为手部;当第一物体的种类为苹果,则第二物体的种类为手部;当第一物体的种类为手部,则第二物体的种类为苹果。
可以理解的,当第二图像中只有一个目标对象时,该目标对象即为第一物体,电子设备根据图像识别技术识别出第一物体的种类;当第二图像中有两个或两个以上的目标对象时,可以根据预设规则或接收的用户操作来确定第一物体,根据图像识别技术识别出第一物体的种类。下面示例性的说明几种确定第二图像中第一物体的方法。
方法一,根据预设规则在多个目标对象中确定第一物体。
预设规则可以是占据整个图像画面的比例最大的目标对象作为第一物体;还可以是占据图像画面中心位置的画面比例最大的目标对象作为第一物体;还可以是占据图像画面中心位置的目标对象均可作为第一物体;还可以是在图像画面中的所有目标对象均可作为第一物体;等等。电子设备根据预设规则在第二图像的多个目标对象中确定第一物体,确定第一物体后根据图像识别该第一物体的种类。
举例来说,电子设备通过第二摄像头采集第二图像,第二图像中包括四个目标对象,分别为苹果、手部、香蕉和桌子,预设规则为占据整个图像画面的比例最大的目标对象作为第一物体,则电子设备确定第一物体为桌子;预设规则为占据图像画面中心位置的比例最大的目标对象作为第一物体,则电子设备确定第一物体为苹果。
方法二,根据检测到的用户操作确定第一物体。
用户操作包括输入语音/文本/图像的用户操作。电子设备检测到用户操作,确定第一物体或第一物体的种类。
举例来说,用户可以在图像上绘制预设图形,选取第一物体。具体来说,若第二摄像头采集到的图像为一个手握着苹果的图像,用户在图像上绘制一个闭合图形,指示该闭合图形区域覆盖的范围内的物体为第一物体。若电子设备接收到用户绘制的闭合图形中的物体包括苹果,则第一物体为苹果;若电子设备接收到用户绘制的闭合图形中的物体包括手部,则第一物体为手部;若电子设备接收到用户绘制的闭合图形中的物体包括苹果和手部,则第一物体和第二物体为苹果和手部。
在一些可能的实施例中,若电子设备检测出的第一物体的种类与第一物体不匹配,用户可以修正第一物体的种类。举例来说,参考图7a附图,在图7a的左侧附图中,用户可以通过点击“桃子”的显示区域,对物体的种类进行更改。当电子设备接收到针对于该“桃子”的显示区域的用户操作时,则表示对“桃子”这个物体进行修改。如图7a的右侧附图所示,电子设备提示用户输入想要检测的对象,电子设备检测到用户在文本框中输入的“苹果”,则确定该物体的种类为苹果。
可选的,用户还可以通过语音输入的方式修改第一物体的种类为苹果。电子设备检测到用户在语音输入的“苹果”,则确定该物体的种类为苹果。
可选的,用户还可以通过触发电子设备重新识别的方式,使电子设备对图像中物体的种类进行重新识别,在图7a的左侧附图中,用户可以通过点击“桃子”的显示区域,对物体的种类进行更改。当电子设备接收到针对于该“桃子”的显示区域的用户操作时,则表示对“桃子”这个物体进行修改。如图7a的右侧附图所示,电子设备检测到用户针对重新识别图标做出的用户操作,对“桃子”进行重新识别,识别出的种类与桃子不同。
可选的,确定第一物体的种类的方式不限于上述步骤S101A和S102A,确定第二物体的种类方式同理于确定第一物体的种类的方式。在一些可能的实施例中,电子设备无需使用第二摄像头获取宏观图像,而可以根据检测到的用户操作来确定第一物体的种类。用户操作包括文本输入、图像输入、语音输入等方式。举例来说,参考图7b附图,电子设备检测到用户在文本框中输入的“苹果”,则确定第一物体的种类为苹果。电子设备还可以根据用户输入的图像,根据图像识别获取该用户输入的图像中物体的种类作为第一物体的种类,该图像可以来源于图库或网络。电子设备还可以根据用户输入的语音,根据语音识别获取该用户输入的语音中物体的种类作为第一物体的种类。
在一些可能的实施例中,电子设备无需使用第二摄像头获取宏观图像,而可以使用显微摄像头(例如图1a中的显微摄像头12)获取宏观图像,根据显微摄像头获取的宏观图像确定第一物体的种类。具体来说,显微摄像头的放大倍率可以在1~400倍之间,当显微摄像头的放大倍率在1~5倍时可以获取宏观图像,当显微摄像头的放大倍率在200~400倍之间时可以获取微观图像。通过自动转换显微摄像头的放大倍率,显微摄像头采集第一物体的宏观图像和微观图像,电子设备识别宏观图像中第一物体的种类。
步骤S101B:通过第一摄像头采集第一图像。
电子设备通过第一摄像头采集第一图像。第一图像为微观图像,第一摄像头为采集微观图像的一个或多个摄像头,该第一图像包括第一物体上存在的细菌。
在一些可能的实施例中,电子设备显示第一用户界面;当电子设备接收到作用于第一图标的用户操作,并响应作用于第一图标的用户操作,电子设备通过第一摄像头采集第一图像,第一用户界面包括该第一图标。以附图图2为例,第一用户界面可以为图2中的b部分的界面,第一图标为微观模式303A的图标,当电子设备接收到对微观模式303A的图标的用户操作(例如点击),电子设备通过第一摄像头采集第一图像。此时应用界面如图2中的c部分所示,电子设备在显示界面上实时显示第一摄像头采集的数据的预览图像,该预览图像为微观图像,显示了拍摄的物体上存在的细菌。
在一些可能的实施例中,电子设备显示主界面,主界面上包括多个应用图标,其中多个应用图标中包括第一应用图标;当电子设备接收到针对第一应用图标的用户操作,电子设备通过第一摄像头采集第一图像。参考附图图3,主界面为图3中的a部分的界面,第一应用图标为微观模式207的应用图标。当电子设备接收到对微观模式207的图标的用户操作(例如点击),通过第一摄像头采集第一图像。此时应用界面如图3中的b部分所示,电子设备在显示界面上显示第一摄像头采集的图像,该图像为微观图像,显示了拍摄的物体上存在的细菌。
步骤S102B:确定第一图像中第一物体的第一信息。
电子设备根据该第一图像确定第一物体的第一信息,其中第一信息包括第一物体上存在的细菌的情况,包括细菌的种类和数量。
电子设备通过第一摄像头采集到第一物体的第一图像,根据目标检测算法(例如上述YOLO v3算法),确定第一物体中细菌的种类和数量。举例来说,电子设备通过第一摄像头采集到第一物体的第一图像,根据YOLO v3算法,确定第一图像中第一物体上的细菌包括细菌1、细菌2、细菌3和细菌4,以及细菌1、细菌2、细菌3和细菌4的数量。
在一种可能的实施方式中,电子设备可以根据第一物体的知识图谱(具体的可以是第一物体的种类所对应的知识图谱)确定第一图像中第一物体的第一信息。其中,第一物体的知识图谱包括第一物体对应的常见的细菌种类,从而能在根据该物体的微观图像确定该物体上的细菌种类时起到参考作用(例如优先比对是否是该物体上常见的细菌种类),提高识别细菌的效率。举例来说,电子设备识别出第一物体的种类为手部,电子设备结合手部的知识图谱能够得出,分布在手部的常见细菌包括大肠杆菌、链球菌和绿农杆菌。电子设备在对手部的细菌种类进行识别的过程中,可以优先与大肠杆菌、链球菌、绿农杆菌这些手部常见细菌进行比对,当某细菌与大肠杆菌的相似度达到阈值,则可以确定该细菌种类为大肠杆菌。无需再与其他细菌(如手部上的非常见细菌)种类进行比对,提高了识别细菌种类的效率。
可选的,知识图谱的参考作用还可以体现在以下例子中:例如,电子设备识别出第一物体的种类为手部,电子设备在根据目标检测算法对手部的细菌种类进行识别的过程中,由于一些细菌的外观十分相似,例如沙门杆菌和大肠杆菌,电子设备难以通过外观准确识别。在这种情况下,电子设备结合手部的知识图谱能够得出,分布在手部的常见细菌包括大肠杆菌,并不包括沙门杆菌,则电子设备在识别一些细菌为沙门杆菌的概率与大肠杆菌的概率近似时(例如沙门杆菌概率为51%,大肠杆菌为49%),优先识别为大肠杆菌,提高了识别细菌种类的效率和准确率。
在一种可能的实施方式中,电子设备可以接收用户输入的细菌种类,有针对性的对该细菌种类进行识别和筛选。举例来说,用户想要检测苹果上大肠杆菌的分布情况,则在输入框中输入细菌种类名称为大肠杆菌,电子设备响应于该用户输入,在苹果的微观图像中对大肠杆菌进行针对性的识别,获取大肠杆菌的数量和分布情况。第一物体的第一信息中包括关于大肠杆菌的数量和分布情况。在一种可能的场景下,假设大肠杆菌并非苹果上的常见细菌,则若电子设备仅基于苹果的知识图谱获得苹果上的常见细菌,并针对这些常见细菌进行识别,则可能并不能满足用户的需求,这种情况下,可以通过接收用户的输入来确定用户关注的特定细菌种类来进行针对性的识别(可以是优先识别物体上是否有该特定细菌种类),从而能不受该物体的知识图谱的限制而更能符合不同用户的个性化需求。
可选的,基于上述实施方式,知识图谱的参考作用还可以体现在以下例子中:例如,知识图谱可以只包括了某物体对应的常见的细菌种类,对一些不在物体的知识图谱中的细菌(与物体的关联性不强的细菌),包括新出现的细菌或近期大众关注的某种细菌,电子设备可以根据接收到的用户操作来确定用户关注的细菌种类(可以在界面上提供新出现的细菌或近期大众关注的某种细菌供用户选择来重点筛查微观图像中是否有该细菌,或是提供输入框接收用户输入的希望重点筛查的细菌名称。),有针对性的对该细菌种类进行识别和筛选。这样在根据微观图像确定细菌种类时,可以优先对用户特别关注的细菌进行筛查(进一步地,筛查的细菌种类还可以包括该物体上的常见细菌)。电子设备输出的提示信息可以包括用户关注的细菌是否存在的提示。举例来说,电子设备识别出第一物体的种类为手部,电子设备结合手部的知识图谱能够得出,分布在手部的常见细菌包括大肠杆菌、链球菌、绿农杆菌等等。电子设备接收到用户输入的想要检测的细菌名称为沙门杆菌,假设沙门杆菌和大肠杆菌的外观十分相似,则电子设备在对手部的细菌种类进行识别的过程中,电子设备难以通过外观准确识别。若电子设备在识别一些细菌为沙门杆菌的概率与大肠杆菌的概率近似时(例如沙门杆菌概率为51%,大肠杆菌为49%),可以输出关于沙门杆菌存在的概率信息(进一步还可以向用户提示该物体上存在的细菌为大肠杆菌的概率)。
步骤S103:根据第一物体的种类和第一物体的第一信息,确定第一物体的卫生状况。
电子设备获取到第一物体的种类和第一物体的第一信息后,根据第一物体的知识图谱和第一物体上存在的细菌的情况,确定第一物体的卫生状况。其中第一物体的知识图谱指示了至少一类细菌和第一物体的种类的卫生状况之间的关联关系。例如当第一物体的种类是食物时,第一物体上存在的细菌可以是酵母菌、放线菌、食用菌等等;当第一物体的种类是手部时,第一物体上存在的细菌可以是葡萄球菌、大肠杆菌、流感病毒等等;当第一物体的种类是空气时,第一物体上存在的细菌可以是脑膜炎奈瑟氏菌、结核杆菌、溶血性球菌、白喉杆菌、百日咳杆菌等等。
也即是说,电子设备获取到第一物体的种类后,在知识图谱中获取第一物体或与第一物体同一种类的物体(第二物体)的卫生状况的知识图谱。举例来说,电子设备获取到第一物体的种类为“苹果”,根据该第一物体的种类获取苹果不干净的知识图谱。苹果不干净的知识图谱指示了苹果不干净和细菌之间的关联关系,如图8中左下侧示例性的示出了苹果的知识图谱,与苹果不干净相关的细菌包括杆状菌、青霉菌、红酵母菌等等。结合电子设备识别到苹果上存在的细菌,根据关联规则确定苹果的卫生状况。
其中上述关联规则包括:第一细菌的数量超过第一阈值,导致手部不干净;第二细菌的数量超过第二阈值,导致手部不干净;等等。本申请实施例可以采用计分统计的方式,根据最终的得分确定卫生状况。举例来说,与苹果当第一物体的种类为手部时,在手部的知识图谱中,与手部不干净相关的细菌包括葡萄球菌、大肠杆菌、流感病毒等等。当葡萄球菌的数量超过预设的第一阈值时,则判断该细菌会导致手部不干净,采用计分的方式,此时由于葡萄球菌导致手部不干净的得分为5分。当大肠杆菌的数量超过预设的第二阈值时,则判断大肠杆菌会导致手部不干净,采用计分的方式,此时由于大肠杆菌导致手部不干净的得分为5分,统计分数为10分。依次对与手部不干净相关的细菌进行统计得分,根据最终的得分确定手部的卫生状况。
可选的,当第一细菌的数量超过第一阈值时,第一细菌的数量越多,第一细菌对卫生状况的影响程度越深/计算权重越大。举例来说,当第一物体的种类为手部时,在手部的知识图谱中,与手部不干净相关的细菌包括葡萄球菌、大肠杆菌、流感病毒等等。当葡萄球菌的数量超过预设的第一阈值时,则判断该葡萄球菌会导致手部不干净,采用计分的方式,此时手部不干净的得分为5分。当葡萄球菌的数量在超过第一阈值的情况下,超过了第二阈值(第二阈值大于第一阈值),则此时由于葡萄球菌导致手部不干净的得分为10分。
可选的,不同的细菌对卫生状况的影响程度不同/计算权重不同。举例来说,当第一物体的种类为蔬菜时,在蔬菜的知识图谱中,与蔬菜不干净相关的细菌包括霉菌、杆状菌、沙门氏菌、志贺氏菌、金黄色葡萄球菌等等。由于沙门氏菌、志贺氏菌、金黄色葡萄球菌为致病菌,则将致病菌的优先级设为最高,若电子设备识别到蔬菜上存在上述致病菌(不管数量是否超过阈值),则判断蔬菜不卫生。
在一些可能的实施方式中,电子设备判断出第一物体的卫生状况为不卫生后,根据第一物体的第一图像获取第一物体上细菌的分布情况,然后根据细菌的分布情况判断出第一物体中不卫生的具体区域。举例来说,在一种可能的实现方式中,第一物体为手部,电子设备可以对手部图像进行区域划分,再对每个区域的细菌情况进行卫生状况的评估,从而得出手部不卫生的具体区域。即,电子设备在输出提示信息时,可以在宏观图像上提示出不卫生的区域具体是哪一块。
在一些可能的实施方式中,根据知识图谱的不断完善,输出的提示内容还可以从不同的角度指示物体的卫生状况。举例来说,电子设备获取到第一物体的种类为苹果,根据该第一物体的种类获取“苹果不干净”的知识图谱,还可以获取“苹果已腐坏”的知识图谱,还可以获取“苹果不新鲜”的知识图谱。根据这三个知识图谱,结合电子设备识别到苹果上存在的细菌,根据关联规则可以确定苹果的卫生状况是不干净还是已腐坏还是不新鲜。可以理解的,三个只是示例性的数字,实际情况中可以有更多或更少的情况。
在一些可能的实施方式中,电子设备获取到第一物体的种类为苹果,根据该第一物体的种类获取“苹果不干净”的知识图谱、“苹果已腐坏”的知识图谱、以及“苹果不新鲜”的知识图谱。根据第二图像确定出第一物体上存在的细菌包括细菌1、细菌2、细菌3和细菌4等等。若细菌1的数量能够导致“苹果不干净”,则“苹果不干净”这个推断计5分;若细菌2的数量能够导致“苹果已腐坏”和“苹果不新鲜”,则“苹果已腐坏”和“苹果已腐坏”这两个推断分别计5分;若细菌3的数量能够导致“苹果已腐坏”,且细菌3的权重很大,达到了100的权重,则“苹果已腐坏”这个推断计100分;等等。根据最终得分,可以得出“苹果已腐坏”的推断。
在一些可能的实施方式中,第一信息还可以包括物体的纹理、气孔、色泽等信息。通过对第一物体上纹理、气孔、色泽等信息进行分析,可以判断出物体的新鲜程度。
步骤S104:输出提示信息,以指示第一物体的卫生状况。
电子设备确定第一物体的卫生状况后,输出提示信息,以指示第一物体的卫生状况。
电子设备确定第一物体的种类以及第一物体的第一信息后,得出第一物体的卫生状况,当接收到获取第一物体的卫生状况的指令后,输出提示信息。示例性的,如图8中的a部分中,当用户点击针对于苹果的光标70时,电子设备输出提示信息。
在一些可能的实施方式中,如图8中的a部分中,当用户点击针对于苹果的光标70时,电子设备再结合苹果和苹果的第一信息进行分析计算,得出苹果的卫生状况,输出提示信息。
可选的,电子设备显示第一物体的宏观图像或微观图像,提示信息显示在第一物体的宏观图像或微观图像上。
在一些可能的实施方式中,电子设备显示第一物体和第二物体的宏观图像。当电子设备获取针对于第一物体的显示区域上的用户操作,输出指示第一物体的卫生状况的第一提示信息;当电子设备获取针对于第二物体的显示区域上的用户操作,输出指示第二物体的卫生状况的第二提示信息。参考图8,图8中的a部分中,电子设备接收到针对于苹果光标的用户操作(例如点击),响应于该点击操作,图8中的b部分的显示区显示第一摄像头采集的图像,并输出关于苹果的卫生状况的提示信息。图8中的c部分中,电子设备接收到针对于手部光标的用户操作(例如点击),响应于该点击操作,图8中的d部分的显示区显示第一摄像头采集的图像,并输出关于手部的卫生状况的提示信息。
提示信息的输出方式还可以是直接输出的方式。电子设备确定第一物体的卫生状况后,在第一物体的图像上输出提示信息。参考图9,图9中的a部分中电子设备在第一物体的宏观图像上输出苹果和手部的提示信息,图9中的b部分中电子设备在第一物体的微观图像上输出苹果和手部的提示信息。
在一些可能的实施方式中,提示信息的提示方式可以是输出文本的方式(例如图8或图9中显示提示区60或提示区61的方式),还可以是通过图像、语音、震动、指示灯等方式,还可以是通过光标、文本的显示颜色指示卫生状况。举例来说,图9中的a部分包括指示苹果的光标70和指示手部的光标71,若电子设备检测到苹果不卫生,苹果的光标70显示为红色;若电子设备检测到手部卫生,手部的光标71显示为绿色。
在一些可能的实施方式中,提示信息的输出内容不作限制。提示信息的输出内容可以包括对物体的卫生状况的描述,例如物体不卫生、物体不干净、物体卫生程度低;也可以包括对提高物体的卫生状况的建议,例如建议清洗、建议擦拭、建议加热;也可以包括对物体的处理方式建议,例如建议丢弃;还可以包括细菌种类对卫生状况的影响的描述,例如,由于大肠杆菌数量过多,导致食物不卫生,建议高温100度加热杀菌;还可以包括对物体的新鲜程度的描述,例如苹果不新鲜、香蕉已腐坏;等等。
在本申请实施例中,电子设备可以在任一应用界面中响应于在拍摄控件上接收到的用户操作,拍摄并保存应用界面中显示区的显示内容。用户可以通过图库查看物体的微观图像以及提示信息。
本申请实施例,电子设备通过第一摄像头采集到微观图像,显示在电子设备的显示屏上,可以实现用户对微观世界的查看和拍摄;以及电子设备可以基于采集的微观图像对微观图像中的细菌种类进行识别,为用户展示出物体上存在的细菌形态以及细菌名称;用户还可以在电子设备上进行一些操作,使得电子设备能确定出用户想要检测的细菌种类名称,电子设备可以有针对性的对该细菌种类进行检测和识别;以及电子设备可以基于识别出的细菌种类和数量对物体的卫生状况进行分析,提示用户物体的卫生状况,并给出相应的卫生建议。
图14示出了电子设备100的结构示意图。
下面以电子设备100为例对实施例进行具体说明。应该理解的是,电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
在本申请中,处理器110可以用于确定第一物体的种类以及第一物体的第一信息,处理器110根据第一物体的种类以及第一物体的第一信息,确定该第一物体的卫生状况。其中,卫生状况可以是以打分的形式表示,分数越高表示物体越卫生;卫生状况还可以是以文字描述的形式表示,例如卫生、不卫生、非常卫生等文字来形容。也即是说,用户可以方便的观察到生活中物体的微观图像,通过微观图像确定物体上的微生物分布情况,从而获取针对该物体的卫生建议。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过摄像头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。包括中焦摄像头、长焦摄像头、广角摄像头、超广角摄像头、TOF(time of night)深感摄像头、电影摄像头、微距摄像头等等。电子设备针对不同的功能需求可以搭载双摄(两个摄像头)、三摄(三个摄像头)、四摄(四个摄像头)、五摄(五个摄像头)甚至六摄(六个摄像头)等多种组合的摄像头,以提高拍照的性能。物体通过摄像头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
在本申请实施例中,摄像头193还可以包括显微摄像头。其中,显微摄像头用于采集微观图像。显微摄像头具有一定的放大倍数,可以观察到细菌。通过显微摄像头采集物体微观图像,从而获取物体上存在的细菌的种类和数量,还可以获取物体的光泽、纹理、气孔等信息。根据对微观图像的分析计算,得出物体的卫生状况。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图15是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图15所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
本申请中,应用程序层还可新增浮窗启动组件(floating launcher),用于在上述提及的小窗口30中作为默认的显示应用,并提供给用户进入其他应用的入口。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图11所示,应用程序框架层可以包括窗口管理器(window manager),内容提供器,视图系统,电话管理器,资源管理器,通知管理器、活动管理器(activity manager)等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定显示屏,截取显示屏等。本申请中,可基于Android原生的PhoneWindow,扩展出FloatingWindow,专门用于显示上述提及的小窗口30,以区别于普通的窗口,该窗口具有悬浮显示在系列窗口最顶层的属性。在一些可选的实施例中,该窗口大小可根据实际屏幕的大小,根据最优显示算法,给出合适的值。在一些可能的实施例中,该窗口的宽高比,可默认为常规主流手机的屏幕宽高比。同时,为方便用户关闭退出、隐藏小窗口,可在右上角额外绘制一个关闭按键和一个最小化按键。另外,在窗口管理模块中,会接收用户的一些手势操作,如果符合上述小窗口的操作手势,则会进行窗口冻结,并进行小窗口移动的动画效果播放。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。本申请中,可相应增加小窗口上用于关闭、最小化等操作的按键视图,并绑定到上述窗口管理器中的FloatingWindow上。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在显示屏上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
活动管理器用于管理系统里正在运行的activities,包括进程(process)、应用程序、服务(service)、任务(task)信息等。本申请中,可在活动管理器模块中,新增专门用于管理上述小窗口30中显示应用Activity的活动任务堆栈,以保证小窗口中的应用activity、task不会和屏幕中全屏显示的应用产生冲突。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:输入管理器(input manager)、输入调度管理器(input dispatcher)、表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
输入管理器负责从底层的输入驱动获取事件数据,解析并封装后传给输入调度管理器。
输入调度管理器用于保管窗口信息,其收到来自输入管理器的输入事件后,会在其保管的窗口中寻找合适的窗口,并将事件派发给此窗口。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
图15所示的软件系统涉及到使用微观显示能力的应用呈现(如图库,文件管理器),提供分享能力的即时分享模块,提供存放和获取数据的内容提供模块,以及应用框架层提供WLAN服务、蓝牙服务,以及内核和底层提供WLAN蓝牙能力和基本通信协议。
本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机程序来指令相关的硬件完成,该程序可存储于上述计算机存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。该计算机可读存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请中所述的“根据”、“通过”可以理解为“至少根据”、“至少通过”。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (12)
1.一种识别物体的卫生状况的方法,其特征在于,包括:
电子设备通过第一摄像头与第二摄像头同时采集第一图像与第二图像,所述第一图像为第一物体的微观图像,所述第二图像包括所述第一物体;
所述电子设备根据所述第二图像确定所述第一物体的种类;
所述电子设备根据所述第一物体的种类和所述第一图像,输出第一提示信息,所述第一提示信息用于指示所述第一物体的卫生状况;
所述电子设备为便携的电子设备。
2.根据权利要求1所述的方法,其特征在于,所述电子设备根据所述第二图像确定所述第一物体的种类,包括:
所述电子设备根据检测到的用户操作,从所述第二图像中包括的至少一个物体中确定所述第一物体的种类。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
根据所述第一图像确定所述第一物体的第一信息,其中,所述第一物体的第一信息与所述第一物体的卫生状况之间具有关联关系,所述第一信息包括细菌的种类和数量。
4.根据权利要求3所述的方法,其特征在于,所述第一信息包括第一细菌的数量,当所述第一细菌的数量为第一数量时,所述第一提示信息指示所述第一物体的卫生状况为第一卫生状况;当所述第一细菌的数量为第二数量时,所述第一提示信息指示所述第一物体的卫生状况为第二卫生状况。
5.根据权利要求1-4任一所述的方法,其特征在于,所述电子设备输出第一提示信息,包括:
所述电子设备显示所述第一物体的第一图像,并在所述第一物体的第一图像上显示所述第一提示信息。
6.根据权利要求1-5任一所述的方法,其特征在于,所述第一提示信息包括用于提高所述第一物体的卫生状况的建议。
7.根据权利要求1-6任一所述的方法,其特征在于,所述电子设备根据所述第一物体的种类和所述第一图像,输出第一提示信息,包括:
所述电子设备根据所述第一物体的种类所对应的知识图谱和所述第一图像,确定所述第一物体的卫生状况,所述知识图谱包括所述第一物体的种类所对应的常见的细菌种类。
8.根据权利要求1-7中任一所述的方法,其特征在于,所述第二图像中还包括第二物体,所述方法还包括:
所述电子设备获取针对于第二物体的显示区域上的用户操作,输出指示所述第二物体的卫生状况的第二提示信息。
9.根据权利要求1-8任一所述的方法,其特征在于,所述第一摄像头为显微摄像头;所述第二摄像头为相机摄像头;所述第一物体的种类为手部。
10.根据权利要求1-9任一所述的方法,其特征在于,所述方法还包括以下中的一项或多项:
所述第一提示信息包括用于指示第一物体的新鲜程度的信息;所述电子设备为手机。
11.一种电子设备,包括触控屏,存储器,一个或多个处理器;其中,所述存储器中存储有一个或多个程序;其特征在于,所述一个或多个处理器在执行所述一个或多个程序时,使得所述电子设备实现如权利要求1至10任一项所述的方法。
12.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011004921.7A CN112257508B (zh) | 2020-06-30 | 2020-06-30 | 识别物体的卫生状况方法及相关电子设备 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011004921.7A CN112257508B (zh) | 2020-06-30 | 2020-06-30 | 识别物体的卫生状况方法及相关电子设备 |
CN202010615484.6A CN113869087A (zh) | 2020-06-30 | 2020-06-30 | 识别物体的卫生状况方法及相关电子设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010615484.6A Division CN113869087A (zh) | 2020-06-30 | 2020-06-30 | 识别物体的卫生状况方法及相关电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112257508A CN112257508A (zh) | 2021-01-22 |
CN112257508B true CN112257508B (zh) | 2022-03-11 |
Family
ID=74232821
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011004921.7A Active CN112257508B (zh) | 2020-06-30 | 2020-06-30 | 识别物体的卫生状况方法及相关电子设备 |
CN202010615484.6A Pending CN113869087A (zh) | 2020-06-30 | 2020-06-30 | 识别物体的卫生状况方法及相关电子设备 |
CN202180045358.4A Pending CN115867948A (zh) | 2020-06-30 | 2021-06-30 | 识别物体的卫生状况方法及相关电子设备 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010615484.6A Pending CN113869087A (zh) | 2020-06-30 | 2020-06-30 | 识别物体的卫生状况方法及相关电子设备 |
CN202180045358.4A Pending CN115867948A (zh) | 2020-06-30 | 2021-06-30 | 识别物体的卫生状况方法及相关电子设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230316480A1 (zh) |
EP (1) | EP4167127A4 (zh) |
CN (3) | CN112257508B (zh) |
WO (1) | WO2022002129A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257508B (zh) * | 2020-06-30 | 2022-03-11 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
CN113052005B (zh) * | 2021-02-08 | 2024-02-02 | 湖南工业大学 | 一种用于家居服务的垃圾分拣方法和垃圾分拣装置 |
CN114216222A (zh) * | 2021-11-09 | 2022-03-22 | 青岛海尔空调器有限总公司 | 空调细菌可视化的控制方法、控制系统、电子设备和介质 |
CN115249339A (zh) * | 2022-06-10 | 2022-10-28 | 广州中科云图智能科技有限公司 | 河道漂浮物识别系统、方法、设备及存储介质 |
CN116797638B (zh) * | 2023-04-28 | 2024-02-02 | 深圳零一生命科技有限责任公司 | 利用组合图像进行微生物计数的方法、装置、设备及存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2924442B2 (ja) * | 1992-04-28 | 1999-07-26 | 松下電器産業株式会社 | パターン認識装置 |
CN2781406Y (zh) * | 2005-01-12 | 2006-05-17 | 游学珪 | 袖珍投影型多能卫生显示仪 |
JP5393310B2 (ja) * | 2009-07-13 | 2014-01-22 | メディア株式会社 | 口腔内細菌マップ作成システム |
US20130245417A1 (en) * | 2012-03-19 | 2013-09-19 | Donald Spector | System and method for diagnosing and treating disease |
US8996098B2 (en) * | 2012-03-19 | 2015-03-31 | Donald Spector | System and method for diagnosing and treating disease |
TR201405617A2 (tr) * | 2014-05-20 | 2015-12-21 | Grimed Saglik Hizmetleri Ve Bilgisayar Ueruenleri Sanayi Ticaret Ltd Sirketi | Farklı dalga boylarında (multıspektral) görüntü alabilen taşınabilir çok amaçlı görüntüleme cihazı. |
US10871491B2 (en) * | 2014-08-25 | 2020-12-22 | Creatv Microtech, Inc. | Use of circulating cell biomarkers in the blood for detection and diagnosis of diseases and methods of isolating them |
CN104568932B (zh) * | 2014-12-24 | 2018-05-15 | 深圳市久怡科技有限公司 | 一种物质检测方法及移动终端 |
WO2017223412A1 (en) * | 2016-06-24 | 2017-12-28 | Beckman Coulter, Inc. | Image atlas systems and methods |
CN108303420A (zh) * | 2017-12-30 | 2018-07-20 | 上饶市中科院云计算中心大数据研究院 | 一种基于大数据和移动互联网的家用型精子质量检测方法 |
CN108548770B (zh) * | 2018-03-20 | 2020-10-16 | 合肥亨纳生物科技有限公司 | 一种基于便携式智能手机显微镜的颗粒计数器及计算方法 |
US11892299B2 (en) * | 2018-09-30 | 2024-02-06 | Huawei Technologies Co., Ltd. | Information prompt method and electronic device |
CN110895968B (zh) * | 2019-04-24 | 2023-12-15 | 苏州图灵微生物科技有限公司 | 人工智能医学图像自动诊断系统和方法 |
CN110879999B (zh) * | 2019-11-14 | 2020-08-25 | 武汉兰丁智能医学股份有限公司 | 基于手机的微型显微图像采集装置及图像拼接、识别方法 |
CN111260677B (zh) * | 2020-02-20 | 2023-03-03 | 腾讯医疗健康(深圳)有限公司 | 基于显微图像的细胞分析方法、装置、设备及存储介质 |
CN112257508B (zh) * | 2020-06-30 | 2022-03-11 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
-
2020
- 2020-06-30 CN CN202011004921.7A patent/CN112257508B/zh active Active
- 2020-06-30 CN CN202010615484.6A patent/CN113869087A/zh active Pending
-
2021
- 2021-06-30 US US18/003,853 patent/US20230316480A1/en active Pending
- 2021-06-30 WO PCT/CN2021/103541 patent/WO2022002129A1/zh unknown
- 2021-06-30 EP EP21834643.5A patent/EP4167127A4/en active Pending
- 2021-06-30 CN CN202180045358.4A patent/CN115867948A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230316480A1 (en) | 2023-10-05 |
EP4167127A1 (en) | 2023-04-19 |
CN115867948A (zh) | 2023-03-28 |
CN113869087A (zh) | 2021-12-31 |
CN112257508A (zh) | 2021-01-22 |
EP4167127A4 (en) | 2023-11-22 |
WO2022002129A1 (zh) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112257508B (zh) | 识别物体的卫生状况方法及相关电子设备 | |
CN111669515B (zh) | 一种视频生成方法及相关装置 | |
CN111061912A (zh) | 一种处理视频文件的方法及电子设备 | |
EP4020967A1 (en) | Photographic method in long focal length scenario, and mobile terminal | |
CN112580400B (zh) | 图像选优方法及电子设备 | |
CN108475326A (zh) | 用于提供与图像关联的服务的方法、存储介质和电子设备 | |
WO2021219095A1 (zh) | 一种活体检测方法及相关设备 | |
WO2022156473A1 (zh) | 一种播放视频的方法及电子设备 | |
EP4170440A1 (en) | Home device control method, terminal device, and computer-readable storage medium | |
US20230162529A1 (en) | Eye bag detection method and apparatus | |
WO2023160170A1 (zh) | 拍摄方法和电子设备 | |
WO2023001152A1 (zh) | 一种推荐视频片段的方法、电子设备及服务器 | |
CN114943976B (zh) | 模型生成的方法、装置、电子设备和存储介质 | |
CN115083424A (zh) | 人物分析系统、方法及相关装置 | |
CN114758334A (zh) | 一种对象注册方法及装置 | |
WO2022228010A1 (zh) | 一种生成封面的方法及电子设备 | |
WO2024082914A1 (zh) | 视频问答方法及电子设备 | |
CN115086710B (zh) | 视频播放方法、终端设备、装置、系统及存储介质 | |
WO2024046162A1 (zh) | 一种图片推荐方法及电子设备 | |
CN114697525B (zh) | 一种确定跟踪目标的方法及电子设备 | |
WO2022179271A1 (zh) | 反馈搜索结果的方法、装置及存储介质 | |
US20240107092A1 (en) | Video playing method and apparatus | |
WO2022127609A1 (zh) | 图像处理方法及电子设备 | |
KR20210048272A (ko) | 음성 및 영상 자동 포커싱 방법 및 장치 | |
CN117827925A (zh) | 一种数据管理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |