CN107465868B - 基于终端的物体识别方法、装置及电子设备 - Google Patents

基于终端的物体识别方法、装置及电子设备 Download PDF

Info

Publication number
CN107465868B
CN107465868B CN201710475462.2A CN201710475462A CN107465868B CN 107465868 B CN107465868 B CN 107465868B CN 201710475462 A CN201710475462 A CN 201710475462A CN 107465868 B CN107465868 B CN 107465868B
Authority
CN
China
Prior art keywords
image
identified
terminal
focal length
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710475462.2A
Other languages
English (en)
Other versions
CN107465868A (zh
Inventor
刁琳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Aviv Information Technology Co., Ltd.
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201710475462.2A priority Critical patent/CN107465868B/zh
Publication of CN107465868A publication Critical patent/CN107465868A/zh
Priority to US16/614,539 priority patent/US11256919B2/en
Priority to PCT/CN2017/117906 priority patent/WO2018233254A1/zh
Application granted granted Critical
Publication of CN107465868B publication Critical patent/CN107465868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

本发明涉及终端技术领域，尤其涉及一种基于终端的物体识别方法、装置及电子设备。该方法包括：接收用户在终端输入的模拟放大镜功能指令；根据模拟放大镜功能指令，开启终端的摄像头；基于摄像头所拍摄的物体，确定待识别物体；获取待识别物体与摄像头的物理距离，并获取物理距离对应的预设焦距；根据预设焦距生成待识别物体对应的第一图像，并显示第一图像；对第一图像进行图像处理和图像识别；根据图像处理和图像识别的结果，显示待识别物体的信息。该实施方式，不仅方便了用户观看物体，而且还可以帮助用户详细的了解物体的相关信息，提高了用户体验。

Description

基于终端的物体识别方法、装置及电子设备
【技术领域】
本发明涉及终端技术领域，尤其涉及一种基于终端的物体识别方法、装置及电子设备。
【背景技术】
目前，随着通信的普及，各种终端设备也变得非常普及，例如手机，不管年轻人还是老年人基本都会使用手机。与此同时，终端上衍生出各种类型的应用，其中，包括集成放大镜功能的应用，可以供需要使用放大镜功能的用户使用。
发明人在实现本发明的过程中，发现相关技术存在以下问题：现有技术中集成放大镜功能的终端只能对物体的外观进放大，不能对放大的物体本身进行识别。
【发明内容】
本发明要解决的技术问题是提供一种基于终端的物体识别方法、装置及电子设备，解决现有的集成放大镜功能的终端不能识别物体本身的问题。
本发明实施例的一个方面，提供一种基于终端的物体识别方法，包括：
接收用户在所述终端输入的模拟放大镜功能指令；
根据所述模拟放大镜功能指令，开启所述终端的摄像头；
基于所述摄像头所拍摄的物体，确定待识别物体；
获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距；
根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像；
对所述第一图像进行图像处理和图像识别；
根据所述图像处理和图像识别的结果，在所述终端显示所述待识别物体的信息。
可选地，当所述摄像头拍摄的物体中包含至少两种物体时，所述确定待识别物体包括：
接收所述用户在所述终端输入的物体指示指令，根据所述物体指示指令确定所述待识别物体。
可选地，所述对所述第一图像进行图像处理和图像识别之前，所述方法还包括：
接收所述用户基于所述第一图像输入的调整指令，根据所述调整指令调整所述预设焦距的大小，以调节所述第一图像的大小，生成第二图像；
保存所述第二图像对应的焦距，并调整所述物理距离对应的焦距为所述第二图像对应的焦距；
所述对所述第一图像进行图像处理和图像识别具体包括：对所述第二图像进行图像处理和图像识别。
可选地，所述获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距之后，所述方法还包括：
获取所述待识别物体周围环境的光线强度信息；
判断所述光线强度信息是否满足预设的光强度范围；
如果所述光线强度信息不满足预设的光强度范围，开启所述终端的光源设备，并调整所述光源设备的发光强度；
所述根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像具体包括：在所述光源设备的发光强度下，根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像。
可选地，所述待识别物体为植物或动物时，显示的所述待识别物体的信息包括名称、类别、生长习性、生境分布以及培养方式。
本发明实施例的另一方面，提供一种基于终端的物体识别装置，包括：
第一接收模块，用于接收用户在所述终端输入的模拟放大镜功能指令；
开启模块，用于根据所述模拟放大镜功能指令，开启所述终端的摄像头；
确定模块，用于基于所述摄像头所拍摄的物体，确定待识别物体；
第一获取模块，用于获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距；
放大模块，用于根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像；
处理模块，用于对所述第一图像进行图像处理和图像识别；
显示模块，用于根据所述图像处理和图像识别的结果，在所述终端显示所述待识别物体的信息。
可选地，当所述摄像头拍摄的物体中包含至少两种物体时，
所述确定模块具体用于，接收所述用户在所述终端输入的物体指示指令，根据所述物体指示指令确定所述待识别物体。
可选地，所述对所述第一图像进行图像处理和图像识别之前，所述装置还包括：
第二接收模块，用于接收所述用户基于所述第一图像输入的调整指令，根据所述调整指令调整所述预设焦距的大小，以调节所述第一图像的大小，生成第二图像；
第一调整模块，用于保存所述第二图像对应的焦距，并调整所述物理距离对应的焦距为所述第二图像对应的焦距；
所述处理模块具体用于，对所述第二图像进行图像处理和图像识别。
可选地，所述获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距之后，所述装置还包括：
第二获取模块，用于获取所述待识别物体周围环境的光线强度信息；
判断模块，用于判断所述光线强度信息是否满足预设的光强度范围；
第二调整模块，用于如果所述光线强度信息不满足预设的光强度范围，开启所述终端的光源设备，并调整所述光源设备的发光强度；
所述放大模块具体用于：在所述光源设备的发光强度下，根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像。
可选地，所述待识别物体为植物或动物时，显示的所述待识别物体的信息包括名称、类别、生长习性、生境分布以及培养方式。
本发明实施例的又一方面，提供一种电子设备，其中，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
在本发明实施例中，在终端上设置模拟放大镜功能，并且对待识别物体放大后的图像进行图像处理和图像识别，从而获取该待识别物体的相关信息。该实施方式，不仅方便了用户观看物体，而且还可以让用户了解物体的具体信息，充分的识别所述物体。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种基于终端的物体识别方法的流程示意图；
图2是本发明实施例提供的一种基于终端的物体识别方法中确定待识别物体的方法流程示意图；
图3是本发明另一实施例提供的一种基于终端的物体识别方法的流程示意图；
图4是本发明又一实施例提供的一种基于终端的物体识别方法的流程示意图；
图5是本发明实施例提供的一种基于终端的物体识别装置的结构示意图；
图6是本发明实施例提供的执行基于终端的物体识别方法的电子设备的硬件结构示意图。
【具体实施方式】
下面介绍的是本发明的多个可能实施例中的一些，旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要的保护的范围。容易理解的是，根据本发明的技术方案，在不变更本发明的实质精神下，本领域的一般技术人员可以提出相互替换的其他实现方式。因此，以下具体实施例以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
请参阅图1，图1是本发明实施例提供的一种基于终端的物体识别方法的流程示意图。如图1所示，该方法包括：
步骤101、接收用户在所述终端输入的模拟放大镜功能指令。
该模拟放大镜功能指令即用于使所述终端具备放大镜功能，通过该放大镜功能方便用户通过终端就可以查看微小的物体或者细小的文字等。
其中，用户可以通过操作终端的摄像头功能下的某一预设键来触发模拟放大镜功能指令，用户也可以操作终端上的某一应用程序，从而向终端输入模拟放大镜功能指令。
步骤102、根据所述模拟放大镜功能指令，开启所述终端的摄像头。
当终端接收到所述模拟放大镜功能指令后，终端的处理器根据该指令控制所述终端的摄像头开启，此时，所述摄像头处于放大镜功能的工作模式，用户可以在摄像头处于该工作模式下使用终端的放大镜功能。
步骤103、基于所述摄像头所拍摄的物体，确定待识别物体。
可以理解的是，终端摄像头被开启后，摄像头能够拍摄到一定范围内的物体的图像，该一定范围内的图像包含一个或者多个物体，当要识别的待识别物体为一个时，需要先确定具体的待识别物体。
因此，当所述拍摄的物体有且仅有一个时，此时，即确定该拍摄的物体为所述待识别物体。当所述拍摄的物体包含至少两种物体时，如图2所示，所述确定待识别物体包括：
步骤1031、接收所述用户在所述终端输入的物体指示指令，根据所述物体指示指令确定所述待识别物体。
在这里，用户可以通过操作终端屏幕的方式或者语音的方式输入所述物体指示指令。
例如，摄像头所拍摄的多个物体显示在终端屏幕上，此时屏幕上的任意位置出现一指示框，当该指示框刚好对应所述待识别物体时，用户通过点击该指示框从而触发所述物体指示指令，使所述终端确定所述待识别物体；当该指示框指示的物体不是所述待识别物体时，用户可以通过触屏的方式移动所述指示框至所述待识别物体，并框住所述待识别物体，此时，终端接收到所述物体指示指令，从而确定所述待识别物体。
例如，摄像头所拍摄的多个物体显示在终端屏幕上，用户可以通过输入语音的方式告诉终端当前要识别的物体的名称关键词，终端根据该名称关键词进行语义分析和语音识别，从而确定所述待识别物体。
步骤104、获取所述待识别物体与所述摄像头的物理距离，以及所述物理距离对应的预设焦距。
在确定待识别物体后，还进一步获取待识别物体与摄像头之间的物体距离，根据该物体距离获取预设焦距。
其中，可以通过终端上设置的距离传感器或者红外传感器来获取待识别物体与所述摄像头的物体距离，通过距离传感器或者红外传感器检测距离的具体过程在相关技术中均有介绍，在此不再赘述。
获取所述待识别物体与摄像头之间的物体距离之后，可以通过查找预设的距离焦距数据库获取该物理距离对应的焦距，从而将该焦距确定为当前物理距离下的预设焦距。其中，该距离焦距数据库是预先建立的，其包含了物理距离与焦距的默认的对应关系，可以是一个物体距离对应一个焦距数据(比如1m的物理距离对应的焦距是50mm)，也可以是一个物理距离范围对应一个焦距数据(比如在0.5m-1.5m范围内的物理距离所对应的焦距是50mm)。
步骤105、根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像。
获取所述预设焦距后，终端摄像头在该预设焦距下拍摄所述待识别物体，从而生成所述第一图像，并在终端屏幕显示该第一图像。
其中，该第一图像放大的倍数与该预设焦距相关。例如，在物理距离不变的情况下，待识别物体正常情况下拍摄时的焦距是20mm，当该预设焦距是30mm时，屏幕上显示的待识别物体相对于正常情况下拍摄的图像被放大。
其中，改变摄像头焦距的方法是数码变焦。数码变焦是通过终端的处理器，把图片内的每个像素面积增大，从而达到放大的目的。
步骤106、对所述第一图像进行图像处理和图像识别。
在本实施例中，对所述第一图像进行图像处理和图像识别，通过对该第一图像进行处理、分析和理解，识别出图像中的待识别物体具体是什么。
其中，图像处理主要是对图像进行图像转换(比如灰度化、去噪)、图像分割(比如基于阈值分割、基于梯度分割等)、区域形态学处理。
其中，图像识别的方法有很多，包括基于形状特征的识别技术、基于色彩特征的识别技术以及基于纹理特征的识别技术。从模式特征选择及判别决策方法的不同，图像识别的方法还包括统计模式识别方法和结构模式识别方法。此外，模糊模式识别方法和神经网络模式识别的方法也被广泛应用在图像识别中。
在本实施例中，可以采用相关技术中记载的图像处理和图像识别的方法对所述第一图像进行处理，从而识别出所述第一图像。
步骤107、根据所述图像处理和图像识别的结果，在所述终端显示所述待识别物体的信息。
识别出所述第一图像后，可以通过访问云端服务器或者外部网络获取所述第一图像中待识别物理的相关信息，并在终端屏幕向用户展示该相关信息。其中，该云端服务器中可以预先存储各种物体的相关信息。
下面以一个实例来说明本发明实施例的基于终端的物体识别方法。
例如，用户通过开启终端的模拟放大镜功能来查看路边树上的一朵红色小花，在终端屏幕上显示的拍摄景物有很多，包括花和树叶，此时可以根据用户输入的指令确定用户具体想观看的红色小花，并结合当前用户与红色小花的物理距离获取当前的焦距，然后生成该焦距下的图像，通过对该图像进行处理和分析，识别出该红色小花为木棉花，并且向用户展示与木棉花相关的信息，该信息可以是：中文学名木棉、红棉、攀枝花，属木棉科，被子植物门，双子叶植物纲。分布在中国西南及台湾等省，越南、印度、缅甸亦有分布。喜温暖干燥和阳光充足环境，不耐寒，稍耐湿，忌积水。耐旱，抗污染、抗风力强，深根性，速生，萌芽力强。生长适温20～30℃，冬季温度不低于5℃，以深厚、肥沃、排水良好的中性或微酸性砂质土壤为宜。
在一些实施例中，当所述待识别物体是文字信息时，比如瓶子上的细小的外文文字，此时，所拍摄的第一图像即包含这些外文文字的图像，在图像识别过程中，可以将识别出的外文文字翻译成中文，并显示在终端屏幕上，而且可以是经过放大处理后再显示翻译后所述文字信息。由此，不仅可以帮助视力不好的用户观看细小的文字，还可以让用户理解该细小的文字的意思，充分提高了用户体验。
本发明实施例提供了一种基于终端的物体识别方法，通过在终端上设置模拟放大镜功能，并且对待识别物体放大后的图像进行图像处理和图像识别，从而获取该待识别物体的相关信息。该实施方式，不仅方便了用户观看物体，而且还可以帮助用户详细的了解物体的相关信息，提高了用户体验。
请参阅图3，图3是本发明另一实施例提供的一种基于终端的物体识别方法的流程示意图。如图3所示，该方法包括：
步骤201、接收用户在所述终端输入的模拟放大镜功能指令；
步骤202、根据所述模拟放大镜功能指令，开启所述终端的摄像头；
步骤203、基于所述摄像头所拍摄的物体，确定待识别物体；
步骤204、获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距；
步骤205、根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像；
其中，上述步骤201-步骤205可参考上述方法实施例中的叙述，在此不再赘述。
步骤206、接收所述用户基于所述第一图像输入的调整指令，根据所述调整指令调整所述预设焦距的大小，以调节所述第一图像的大小，生成第二图像；
步骤207、保存所述第二图像对应的焦距，并调整所述物理距离对应的焦距为所述第二图像对应的焦距；
步骤208、对所述第二图像进行图像处理和图像识别；
步骤209、根据所述图像处理和图像识别的结果，显示所述待识别物体的信息。
在本实施例中，当用户对所述第一图像所展示出的画面并不是很满意时，可以对所述第一图像进行放大或者缩小处理，以使所述第一图像呈现的画面满足用户的需求。
其中，用户可以通过操作终端上的音量键来输入所述调整指令，用户还可以通过手指在终端屏幕上的滑动操作来输入所述调整指令，例如，两个手指滑动靠近表示缩小所述第一图像，两个手指滑动远离表示放大所述第一图像。用户还可以通过语音来输入所述调整指令。还可以通过其他方式来输入所述调整指令，在此不做限制。
其中，该调整指令具体是调整焦距的大小，从而调整第一图像的大小。
当调整后的第二图像满足用户需求时，此时，保存该第二图像对应的焦距，并且将该焦距设置为当前物理距离对应的焦距，在下一次遇到相同的物理距离时，直接默认该焦距即该物理距离对应的焦距，从而不需要用户再次调整。
在本实施例中，是对该第二图像进行图像处理和图像识别，其进行的过程与对第一图像进行图像处理和图像识别的过程基于相同的发明构思，具体可以参考上述实施例中的叙述。
相应地，在所述终端的屏幕向用户反馈所述第二图像的识别结果。
本发明实施例提供了一种基于终端的物体识别方法，通过在终端上设置模拟放大镜功能，并且可以接受用户对摄像头焦距的调整操作，还进一步对待识别物体放大后的图像进行图像处理和图像识别，以获取该待识别物体的相关信息。该实施方式，一方面，可以根据用户的观看体验实时调整观看画面，提升了用户的观看体验，而且可以记忆最佳观看画面对应的数据，为用户下一次使用放大镜功能提供了方便。另一方面，还可以帮助用户详细的了解待识别物体的相关信息，提高了用户体验。
请参阅图4，图4是本发明又一实施例提供的一种基于终端的物体识别方法的流程示意图。如图4所示，该方法包括：
步骤301、接收用户在所述终端输入的模拟放大镜功能指令；
步骤302、根据所述模拟放大镜功能指令，开启所述终端的摄像头；
步骤303、基于所述摄像头所拍摄的物体，确定待识别物体；
步骤304、获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距；
其中，上述步骤301-步骤304可参考上述第一个方法实施例中的叙述，在此不再赘述。
步骤305、获取所述待识别物体周围环境的光线强度信息；
步骤306、判断所述光线强度信息是否满足预设的光强度范围；
步骤307、如果所述光线强度信息不满足预设的光强度范围，开启所述终端的光源设备，并调整所述光源设备的发光强度；
步骤308、在所述光源设备的发光强度下，根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像；
步骤309、对所述第一图像进行图像处理和图像识别；
步骤310、根据所述图像处理和图像识别的结果，显示所述待识别物体的信息。
可以理解的是，假如当前应用场景的光线比较黑暗，此时摄像头拍摄的图像是不清楚的，并且造成图像识别的结果不准确。因此，在本实施例中，对待识别物体所处的环境光强度进行了调整。
在本实施例中，可以通过终端上设置的感光传感器检测周围环境的光线强度。将该光线强度与预设的光强度范围进行比较，如果该光线强度值在该预设的光强度范围内，则不进行调整，如果该光线强度值不在该预设的光强度范围内，则进行调整。具体是，开启终端上的光源设备，进一步地，光源设备所发出的光的强度可以根据检测到的周围环境的光线强度来调整，以使周围的光线强度在预设的光强度范围内。
从而，在合适的光强度环境中，基于所述预设焦距生成第一图像。其中对该第一图像进行图像处理和图像识别的详细过程可参考上述实施例中的叙述。
本发明实施例提供了一种基于终端的物体识别方法，通过在终端上设置模拟放大镜功能，在利用该模拟放大镜功能查看待识别物体时，还调整周围的环境光强度，以使待识别物体所拍摄的图像能够清楚的显示在终端屏幕上，并且对调整光强度后所拍摄的图像进行图像处理和图像识别，以获取该待识别物体的相关信息。该实施方式，不仅解决了光强度黑暗造成拍摄的图像不清楚的问题，而且还可以帮助用户详细的了解物体的相关信息，提高了用户体验。
请参阅图5，图5是本发明实施例提供的一种基于终端的物体识别装置的结构示意图。如图5所示，该装置40包括：第一接收模块401、开启模块402、确定模块403、第一获取模块404、放大模块405、处理模块406以及显示模块407。
第一接收模块401，用于接收用户在所述终端输入的模拟放大镜功能指令；开启模块402，用于根据所述模拟放大镜功能指令，开启所述终端的摄像头；确定模块403，用于基于所述摄像头所拍摄的物体，确定待识别物体；第一获取模块404，用于获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距；放大模块405，用于根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像；处理模块406，用于对所述第一图像进行图像处理和图像识别；显示模块407，用于根据所述图像处理和图像识别的结果，在所述终端显示所述待识别物体的信息。
在一些实施例中，当所述摄像头拍摄的物体中包含至少两种物体时，所述确定模块403具体用于，接收所述用户在所述终端输入的物体指示指令，根据所述物体指示指令确定所述待识别物体。
在一些实施例中，所述待识别物体为植物或动物时，显示的所述待识别物体的信息包括名称、类别、生长习性、生境分布以及培养方式。
在一些实施例中，所述对所述第一图像进行图像处理和图像识别之前，同样请参阅图5，所述装置还包括：第二接收模块408和第一调整模块409。
其中，第二接收模块408，用于接收所述用户基于所述第一图像输入的调整指令，根据所述调整指令调整所述预设焦距的大小，以调节所述第一图像的大小，生成第二图像；第一调整模块409，用于保存所述第二图像对应的焦距，并调整所述物理距离对应的焦距为所述第二图像对应的焦距。此时，所述处理模块406具体用于，对所述第二图像进行图像处理和图像识别。
在一些实施例中，所述获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距之后，同样请参阅图5，所述装置还包括：第二获取模块410、判断模块411以及第二调整模块412。
其中，第二获取模块410，用于获取所述待识别物体周围环境的光线强度信息；判断模块411，用于判断所述光线强度信息是否满足预设的光强度范围；第二调整模块412，用于如果所述光线强度信息不满足预设的光强度范围，开启所述终端的光源设备，并调整所述光源设备的发光强度。此时，所述放大模块405具体用于：在所述光源设备的发光强度下，根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像。
值得说明的是，上述装置内的模块之间的信息交互、执行过程等内容，由于与本发明的方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例提供了一种基于终端的物体识别装置，该装置通过在终端上设置模拟放大镜功能，并且对待识别物体放大后的图像进行图像处理和图像识别，从而获取该待识别物体的相关信息。该实施方式，不仅方便了用户观看物体，而且还可以帮助用户详细的了解物体的相关信息，提高了用户体验。
请参考图6，图6是本发明实施例提供的执行基于终端的物体识别方法的电子设备的硬件结构示意图，如图6所示，该电子设备50包括：
一个或多个处理器501以及存储器502，图6中以一个处理器501为例。
处理器501和存储器502可以通过总线或者其他方式连接，图6中以通过总线连接为例。
执行基于终端的物体识别方法的设备还可以包括：输入装置503和输出装置504。
存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于终端的物体识别方法对应的程序指令/模块(例如，附图5所示的第一接收模块401、开启模块402、确定模块403、第一获取模块404、放大模块405、处理模块406以及显示模块407)。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于终端的物体识别方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于终端的物体识别装置的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至基于终端的物体识别装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置503可接收输入的数字或字符信息，以及产生与基于终端的物体识别装置的用户设置以及功能控制有关的键信号输入。输出装置504可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器502中，当被所述一个或者多个处理器501执行时，执行上述任意方法实施例中的基于终端的物体识别方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图2中的方法步骤1031，图3中的方法步骤201至步骤209，图4中的方法步骤301至步骤310，实现图5中的模块401-412。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)其他具有数据交互功能的电子装置。
本发明实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中的基于终端的物体识别方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图2中的方法步骤1031，图3中的方法步骤201至步骤209，图4中的方法步骤301至步骤310，实现图5中的模块401-412。
本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的基于终端的物体识别方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图2中的方法步骤1031，图3中的方法步骤201至步骤209，图4中的方法步骤301至步骤310，实现图5中的模块401-412。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于终端的物体识别方法，其特征在于，所述方法包括：
接收用户在所述终端输入的模拟放大镜功能指令；
根据所述模拟放大镜功能指令，开启所述终端的摄像头；
基于所述摄像头所拍摄的物体，确定待识别物体；
获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距；
根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像；
接收所述用户基于所述第一图像输入的调整指令，根据所述调整指令调整所述预设焦距的大小，以调节所述第一图像的大小，生成第二图像；
保存所述第二图像对应的焦距，并调整所述物理距离对应的焦距为所述第二图像对应的焦距；
对所述第一图像进行图像处理和图像识别，其中，所述对所述第一图像进行图像处理和图像识别具体包括：对所述第二图像进行图像处理和图像识别；
根据所述图像处理和图像识别的结果，显示所述待识别物体的信息。
2.根据权利要求1所述的方法，其特征在于，当所述摄像头拍摄的物体中包含至少两种物体时，所述确定待识别物体包括：
接收所述用户在所述终端输入的物体指示指令，根据所述物体指示指令确定所述待识别物体。
3.根据权利要求1所述的方法，其特征在于，所述获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距之后，所述方法还包括：
获取所述待识别物体周围环境的光线强度信息；
判断所述光线强度信息是否满足预设的光强度范围；
如果所述光线强度信息不满足预设的光强度范围，开启所述终端的光源设备，并调整所述光源设备的发光强度；
所述根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像具体包括：在所述光源设备的发光强度下，根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述待识别物体为植物或动物时，
显示的所述待识别物体的信息包括名称、类别、生长习性、生境分布以及培养方式。
5.一种基于终端的物体识别装置，其特征在于，所述装置包括：
第一接收模块，用于接收用户在所述终端输入的模拟放大镜功能指令；
开启模块，用于根据所述模拟放大镜功能指令，开启所述终端的摄像头；
确定模块，用于基于所述摄像头所拍摄的物体，确定待识别物体；
第一获取模块，用于获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距；
放大模块，用于根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像；
第二接收模块，用于接收所述用户基于所述第一图像输入的调整指令，根据所述调整指令调整所述预设焦距的大小，以调节所述第一图像的大小，生成第二图像；
第一调整模块，用于保存所述第二图像对应的焦距，并调整所述物理距离对应的焦距为所述第二图像对应的焦距；
处理模块，用于对所述第一图像进行图像处理和图像识别，其中，所述处理模块具体用于，对所述第二图像进行图像处理和图像识别；
显示模块，用于根据所述图像处理和图像识别的结果，在所述终端显示所述待识别物体的信息。
6.根据权利要求5所述的装置，其特征在于，当所述摄像头拍摄的物体中包含至少两种物体时，
所述确定模块具体用于，接收所述用户在所述终端输入的物体指示指令，根据所述物体指示指令确定所述待识别物体。
7.根据权利要求5所述的装置，其特征在于，所述获取所述待识别物体与所述摄像头的物理距离，并获取所述物理距离对应的预设焦距之后，所述装置还包括：
第二获取模块，用于获取所述待识别物体周围环境的光线强度信息；
判断模块，用于判断所述光线强度信息是否满足预设的光强度范围；
第二调整模块，用于如果所述光线强度信息不满足预设的光强度范围，开启所述终端的光源设备，并调整所述光源设备的发光强度；
所述放大模块具体用于：在所述光源设备的发光强度下，根据所述预设焦距生成所述待识别物体对应的第一图像，并显示所述第一图像。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述待识别物体为植物或动物时，
显示的所述待识别物体的信息包括名称、类别、生长习性、生境分布以及培养方式。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4任一项所述的方法。
CN201710475462.2A 2017-06-21 2017-06-21 基于终端的物体识别方法、装置及电子设备 Active CN107465868B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710475462.2A CN107465868B (zh) 2017-06-21 2017-06-21 基于终端的物体识别方法、装置及电子设备
US16/614,539 US11256919B2 (en) 2017-06-21 2017-12-22 Method and device for terminal-based object recognition, electronic device
PCT/CN2017/117906 WO2018233254A1 (zh) 2017-06-21 2017-12-22 基于终端的物体识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710475462.2A CN107465868B (zh) 2017-06-21 2017-06-21 基于终端的物体识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107465868A CN107465868A (zh) 2017-12-12
CN107465868B true CN107465868B (zh) 2018-11-16

Family

ID=60544039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710475462.2A Active CN107465868B (zh) 2017-06-21 2017-06-21 基于终端的物体识别方法、装置及电子设备

Country Status (3)

Country Link
US (1) US11256919B2 (zh)
CN (1) CN107465868B (zh)
WO (1) WO2018233254A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465868B (zh) * 2017-06-21 2018-11-16 珠海格力电器股份有限公司 基于终端的物体识别方法、装置及电子设备
CN110059678A (zh) * 2019-04-17 2019-07-26 上海肇观电子科技有限公司 一种检测方法、装置及计算机可读存储介质
CN113825980B (zh) * 2019-07-19 2024-04-09 西门子（中国）有限公司 机器人手眼标定方法、装置、计算设备以及介质
CN110807383B (zh) * 2019-10-24 2023-10-17 维沃移动通信有限公司 扫描方法及电子设备
CN111445538B (zh) * 2020-03-16 2023-08-18 达闼机器人股份有限公司 识别红外发射模块的工作状态的方法、装置、介质及设备
CN111582524A (zh) * 2020-05-11 2020-08-25 珠海格力电器股份有限公司 植物培养装置控制方法、共享管理方法及植物培养装置
CN111770277A (zh) * 2020-07-31 2020-10-13 RealMe重庆移动通信有限公司 一种辅助拍摄方法及终端、存储介质
CN112801083B (zh) * 2021-01-29 2023-08-08 百度在线网络技术（北京）有限公司 图像识别的方法、装置、设备以及存储介质
CN112836635B (zh) * 2021-02-02 2022-11-08 京东科技控股股份有限公司 图像处理方法、装置及设备
CN112990132B (zh) * 2021-04-27 2023-01-03 成都中轨轨道设备有限公司 一种轨道标号牌定位识别方法
CN113297930B (zh) * 2021-05-10 2022-08-09 清华大学 图像中物体真实大小的表示与标注方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010119029A (ja) * 2008-11-14 2010-05-27 Panasonic Corp 撮像装置
CN105635569A (zh) * 2015-12-26 2016-06-01 宇龙计算机通信科技(深圳)有限公司 拍摄方法、装置以及终端

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636635B2 (en) * 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
JP2005316912A (ja) * 2004-04-30 2005-11-10 Global Process:Kk カメラ付携帯情報端末を用いた文字認識方法
US8521411B2 (en) * 2004-06-03 2013-08-27 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
JP4212109B2 (ja) * 2007-03-20 2009-01-21 パナソニック株式会社 撮影装置および撮影方法
CN101398527B (zh) * 2007-09-27 2011-09-21 联想(北京)有限公司 一种在拍照终端上实现放大镜功能的方法及其拍照终端
US20090128644A1 (en) * 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
EP2313847A4 (en) * 2008-08-19 2015-12-09 Digimarc Corp METHODS AND SYSTEMS FOR PROCESSING CONTENT
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
US8687094B2 (en) * 2010-06-15 2014-04-01 Lg Electronics Inc. Mobile terminal and method of displaying object related information therein
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
KR101851239B1 (ko) * 2011-11-08 2018-04-23 삼성전자 주식회사 휴대단말기의 이미지 표현장치 및 방법
JP6020986B2 (ja) * 2012-04-17 2016-11-02 株式会社日立製作所 対象物特定システム、対象物特定サーバ及び対象物特定端末
CN202652317U (zh) * 2012-05-25 2013-01-02 沈阳安创信息科技有限公司 一种手机摄像头的放大镜装置
CN103853315B (zh) * 2012-11-28 2018-03-23 联想(北京)有限公司 一种开启放大镜功能的方法及电子设备
WO2015001296A1 (en) * 2013-07-04 2015-01-08 Sony Europe Limited A method, apparatus and system for image processing
CN103499886B (zh) * 2013-09-30 2015-07-08 北京智谷睿拓技术服务有限公司 成像装置和方法
US9467627B2 (en) * 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
CN105323208A (zh) * 2014-06-07 2016-02-10 李季 一种书画身份标识溯源方法
JP6366395B2 (ja) * 2014-07-16 2018-08-01 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
KR102155094B1 (ko) * 2014-08-28 2020-09-11 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6439566B2 (ja) * 2015-04-23 2018-12-19 大日本印刷株式会社 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム
CN204964869U (zh) * 2015-09-28 2016-01-13 张晓丹 一种基于手机的放大拍摄装置
US9996235B2 (en) * 2015-10-15 2018-06-12 International Business Machines Corporation Display control of an image on a display screen
CN106778500B (zh) 2016-11-11 2019-09-17 北京小米移动软件有限公司 一种获取人物面相信息的方法和装置
CN106778580A (zh) * 2016-12-07 2017-05-31 深圳市百通信息技术有限公司 通过手机摄像头放大，聚焦功能提取指纹图像的系统及其方法
CN107465868B (zh) 2017-06-21 2018-11-16 珠海格力电器股份有限公司 基于终端的物体识别方法、装置及电子设备
CN109088996A (zh) * 2018-10-19 2018-12-25 北京小米移动软件有限公司 放大镜功能的启动方法、装置及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010119029A (ja) * 2008-11-14 2010-05-27 Panasonic Corp 撮像装置
CN105635569A (zh) * 2015-12-26 2016-06-01 宇龙计算机通信科技(深圳)有限公司 拍摄方法、装置以及终端

Also Published As

Publication number Publication date
US11256919B2 (en) 2022-02-22
WO2018233254A1 (zh) 2018-12-27
CN107465868A (zh) 2017-12-12
US20200265235A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
CN107465868B (zh) 基于终端的物体识别方法、装置及电子设备
JP7154678B2 (ja) 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
CN109977739A (zh) 图像处理方法、装置、存储介质及电子设备
CN106844442A (zh) 基于fcn特征提取的多模态循环神经网络图像描述方法
CN111816159B (zh) 一种语种识别方法以及相关装置
EP3001354A1 (en) Object detection method and device for online training
CN106462572A (zh) 用于分布式光学字符识别和分布式机器语言翻译的技术
CN110020578A (zh) 图像处理方法、装置、存储介质及电子设备
CN111133453A (zh) 人工神经网络
CN108921941A (zh) 图像处理方法、装置、存储介质和电子设备
CN110446063A (zh) 视频封面的生成方法、装置及电子设备
CN109086680A (zh) 图像处理方法、装置、存储介质和电子设备
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN110555337B (zh) 一种指示对象的检测方法、装置以及相关设备
CN108898082A (zh) 图片处理方法、图片处理装置及终端设备
CN111930964B (zh) 内容处理方法、装置、设备及存储介质
CN107133354A (zh) 图像描述信息的获取方法及装置
CN111368525A (zh) 信息搜索方法、装置、设备及存储介质
CN108491804A (zh) 一种棋局展示的方法、相关装置及系统
CN107704514A (zh) 一种照片管理方法、装置及计算机可读存储介质
CN115512005A (zh) 一种数据处理方法及其装置
CN109784165A (zh) 诗词内容的生成方法、装置、终端及存储介质
CN107168536A (zh) 试题搜索方法、试题搜索装置及电子终端
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN116861850A (zh) 一种数据处理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190513

Address after: 519085 Unit 209, Second Floor, Main Building No. 10 Science and Technology Road, Tangjiawan Town, Zhuhai City, Guangdong Province

Co-patentee after: GREE ELECTRIC APPLIANCES Inc. OF ZHUHAI

Patentee after: Zhuhai Aviv Information Technology Co., Ltd.

Address before: 519070, Jinji Hill Road, front hill, Zhuhai, Guangdong

Patentee before: GREE ELECTRIC APPLIANCES Inc. OF ZHUHAI

TR01 Transfer of patent right