CN109308474A - 基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质 - Google Patents

基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质 Download PDF

Info

Publication number
CN109308474A
CN109308474A CN201811124418.8A CN201811124418A CN109308474A CN 109308474 A CN109308474 A CN 109308474A CN 201811124418 A CN201811124418 A CN 201811124418A CN 109308474 A CN109308474 A CN 109308474A
Authority
CN
China
Prior art keywords
label
glasses
pen
pen tip
interception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811124418.8A
Other languages
English (en)
Other versions
CN109308474B (zh
Inventor
张春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201811124418.8A priority Critical patent/CN109308474B/zh
Publication of CN109308474A publication Critical patent/CN109308474A/zh
Application granted granted Critical
Publication of CN109308474B publication Critical patent/CN109308474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Abstract

本发明适用于计算机技术领域,提供了一种基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质,该方法包括:通过检测智能笔笔尖在拍照对象上的笔尖标记动作,当检测到笔尖标记动作时,获取笔尖标记动作的结束位置,根据获取的结束位置控制与智能笔连接的眼镜对拍照对象进行拍照,从而将用户日常使用的笔和眼镜结合,以用户进行标记时标记动作开始和标记动作结束时笔尖感受到的压力变化为基础,实现了对眼镜拍照的控制,简化了智能眼镜拍照的控制方式,使得拍照过程更简单、快速,且对用户透明,从而进一步提升了智能笔的智能化程度。

Description

基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质
技术领域
本发明属于计算机技术领域,尤其涉及一种基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质。
背景技术
随着智能穿戴技术的发展,智能眼镜开始进入我们的生活。智能眼镜以其先进的显示技术和独特的用户体验吸引着大众的眼球。目前智能眼镜可以实现如拍摄照片、视频、视频通话以及地图导航等等,且使用智能眼镜可以随时方便的将用户看到的东西进行记录并且没有场景的限制。
但针对用户在办公、学习等场景中,需要对书本上标记的单个文字或单词、语句等信息进行快速、精准的拍摄,并利用拍摄的内容进行后续的后续搜索,翻译,分享等操作的问题,目前还没有有效的解决方案。
发明内容
本发明的目的在于提供一种基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质,旨在解决由于现有技术无法实现对用户标记的目标内容进行快速、精准的拍摄的问题。
一方面,本发明提供一种基于智能笔的眼镜拍照方法,所述方法包括下述步骤:
检测智能笔笔尖在拍照对象上的笔尖标记动作;
当检测到所述笔尖标记动作时,获取所述笔尖标记动作的结束位置;
根据获取的所述结束位置控制与所述智能笔连接的眼镜对所述拍照对象进行拍照。
优选地,检测智能笔笔尖在拍照对象上的笔尖标记动作的步骤,包括:
通过所述智能笔内置的压力传感器检测所述笔尖受到的压力值;
当所述压力值大于所述压力阈值时,确定所述智能笔笔尖执行的动作为所述笔尖标记动作。
当检测到所述笔尖标记动作时,获取所述笔尖标记动作的结束位置的步骤,包括:
当所述压力值由大于所述压力阈值减小至小于所述压力阈值、且所述压力值小于所述压力阈值的持续时长大于预设的时间阈值时,将所述笔尖当前所在位置确定为所述结束位置。
另一方面,本发明还提供一种用于眼镜的目标内容获取方法,所述方法包括下述步骤:
当接收到与眼镜连接的智能笔发出的进行拍照的指令时,根据所述指令中的结束位置对所述拍照对象进行拍照,获得包含目标内容以及标记的初始图像;
依据预设的、与所述标记对应的截取规则对所述初始图像进行截取,获得包含所述目标内容的截取图像。
优选地,所述依据预设的、与所述标记对应的截取规则对所述初始图像进行截取,获得包含所述目标内容的截取图像的步骤之前,包括:
依据预设的识别规则从所述初始图像中识别出所述标记。
优选地,所述依据预设的、与所述标记对应的截取规则对所述初始图像进行截取,获得包含所述目标内容的截取图像,包括:
依据预设的、与所述实时标记对应的截取规则获得待截取区域,并进行尝试截取;
将所述尝试截取的图像与截取剩余的图像的图像特征进行比对,根据比对结果调整截取区域的边界,直至所得所述尝试截取的图像与所述截取剩余的图像的图像特征指示所述目标内容完全包含于所述截取图像中;
对所述初始图像进行截取,获得包含所述目标内容的截取图像。
优选地,所述截取区域通过与所述标记的相对位置、形状及尺寸来确定。
另一方面,本发明还提供了一种基于智能笔的眼镜拍照方法,所述方法包括下述步骤:
检测智能笔笔尖在拍照对象上的笔尖标记动作;
当检测到所述笔尖标记动作时,获取所述笔尖标记动作的结束位置;
所述智能笔向与所述智能笔连接的眼镜发送拍照指令,所述拍照指令中包括所述结束位置;
当所述眼镜接收到所述智能笔发出的所述拍照指令时,根据所述指令中的结束位置对所述拍照对象进行拍照,获得包含目标内容以及标记的初始图像;
所述眼镜依据预设的、与所述标记对应的截取规则对所述初始图像进行截取,获得包含所述目标内容的截取图像。
另一方面,本发明还提供了一种智能笔,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面,本发明还提供了一种眼镜,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面,本发明还提供了一种内容获取系统,包括上述智能笔以及上述眼镜。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明通过检测智能笔笔尖在拍照对象上的笔尖标记动作,当检测到笔尖标记动作时,获取笔尖标记动作的结束位置,根据获取的结束位置控制与智能笔连接的眼镜对拍照对象进行拍照,从而将用户日常使用的笔和眼镜结合,以用户进行标记时标记动作开始和标记动作结束时笔尖感受到的压力变化为基础,实现了对眼镜拍照的控制,简化了智能眼镜拍照的控制方式,使得拍照过程更简单、快速,且对用户透明,从而进一步提升了智能笔的智能化程度。
附图说明
图1是本发明实施例一提供的基于智能笔的眼镜拍照方法的实现流程图;
图2是本发明实施例二提供的用于眼镜的目标内容获取方法的实现流程图;
图3是本发明实施例三提供的用于眼镜的目标内容获取方法的实现流程图;
图4是本发明实施例三提供的第一次尝试截取的示意图;
图5是本发明实施例三提供的第二次尝试截取的示意图;
图6是本发明实施例四提供的基于智能笔的眼镜拍照方法的实现流程图;
图7是本发明实施例五提供的智能笔的结构示意图;
图8是本发明实施例六提供的眼镜的结构示意图;以及
图9是本发明实施例七提供的内容获取系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的基于智能笔的眼镜拍照方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,检测智能笔笔尖在拍照对象上的笔尖标记动作。
本发明实施例适用于智能笔,该智能笔具有标记功能,标记功能可以通过普通标记液体来实现,也可以是通过触控方式来实现,拍照对象可以是印刷有文字、图片的纸质书本,也可以是显示有文字、图片的电子书。当用户使用智能笔时,可以以拍照对象上的单个汉字、单词、段落、图片等为目标内容进行标记,标记方式可以有划点、划线、划圈、划框等操作,考虑到标记动作开始时和标记动作结束时笔尖感受到的压力会发生变化,从而优选地,通过智能笔内置的压力传感器检测所述笔尖受到的压力值来确定笔尖的标记动作,当检测到的压力值大于压力阈值时,确定智能笔笔尖执行的动作为笔尖标记动作,开始进行标记,当检测到的压力值由大于压力阈值减小至小于压力阈值、且压力值小于压力阈值的持续时长大于预设的时间阈值时,确定智能笔笔尖完成标记。通过对笔尖所受压力值和压力值小于压力阈值的持续时长的判断,提高了对标记动作结束判断的准确性,提升了用户体验。
其中,压力阈值可以理解为智能笔可以成功进行标记时笔尖感受到的最小压力,预设的时间阈值可以为系统设置,也可以由用户根据自己的标记习惯自行设置。作为示例地,用户需要对纸质书本上的某个段落中的两行进行划线标记,当用户完成第一行内容的标记抬起笔尖对第二行的内容进行标记时,检测到笔尖的压力值由大于压力阈值减小至小于压力阈值、而压力值小于压力阈值的持续时长不大于预设的时间阈值时,判定标记动作没有完成,只有当用户完成标记抬起笔尖,此时检测到笔尖的压力值由大于压力阈值减小至小于压力阈值、且压力值小于压力阈值的持续时长大于预设的时间阈值时,才判定标记动作完成,从而提高笔尖标记动作检测的准确度。
在步骤S102中,当检测到笔尖标记动作时,获取笔尖标记动作的结束位置。
在本发明实施例中,以标记动作完成时的笔尖位置作为结束位置,优选地,当压力值由大于压力阈值减小至小于压力阈值、且压力值小于压力阈值的持续时长大于预设的时间阈值时,将笔尖当前所在位置确定为结束位置。通过对笔尖结束位置的获取,为后续眼镜拍照时的对焦位置提供依据,提高对目标内容拍摄的准确度和清晰度。
在步骤S103中,根据获取的结束位置控制与智能笔连接的眼镜对拍照对象进行拍照。
在本发明实施例中,通过智能笔上的通信模块与眼镜进行通信,通信方式可以为有线方式,也可以为无线方式(WiFi、蓝牙),当智能笔获取笔尖标记动作的结束位置的同时,智能笔的通信模块与眼镜通信,并对眼镜发送拍照指令,控制与智能笔连接的眼镜根据获取的结束位置对拍照对象进行拍照。例如,考虑到用户标记范围一般不会太大,可以以结束位置为焦点对拍照对象进行拍照,也可以以结束位置为中心扩展一范围,以该扩展的范围(或范围中心)为焦点对拍照对象进行拍照。
在本发明实施例中,将用户日常使用的笔和眼镜结合,以用户进行标记时标记动作开始和标记动作结束时笔尖感受到的压力变化为基础,实现了对眼镜拍照的控制,简化了智能眼镜拍照的控制方式,使得拍照过程更简单、快速,且对用户透明,从而提升了笔的智能化程度。
实施例二:
图2示出了本发明实施例二提供的用于眼镜的目标内容获取方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S201中,当接收到与眼镜连接的智能笔发出的进行拍照的指令时,根据指令中的结束位置对拍照对象进行拍照,获得包含目标内容以及标记的初始图像。
本发明实施例适用于眼镜,眼镜上设置有摄像头和通信模块,当眼镜接收到实施例一中智能笔发出的拍照指令时,眼镜以根据指令中笔尖标记动作的结束位置对拍照对象进行拍照,例如,考虑到用户标记范围一般不会太大,可以以结束位置为焦点对拍照对象进行拍照,也可以以结束位置为中心扩展一范围,以该扩展的范围(或范围中心)为焦点对拍照对象进行拍照,从而获得包含目标内容以及笔尖标记动作对应的标记的初始图像。在这里需要说明的是,由于初始图像中需要包含目标内容以及标记,因此,拍摄所得图像需要覆盖合理较大的范围,摄像头的聚焦可提前设置以满足摄像头与笔尖形成点对焦的要求,例如,摄像头可以设置在眼镜框中梁的中心位置,同时也不会影响用户阅读视线。眼镜上的摄像头可以做休眠设置,当没有收到拍照指令时,摄像头处于休眠状态,当眼镜收到拍照指令时,唤醒眼镜上的摄像头并进行对焦拍照,拍照完成后继续进入休眠状态,以节约摄像头的用电。
在步骤S202中,依据预设的、与标记对应的截取规则对初始图像进行截取,获得包含目标内容的截取图像。
在本发明实施例中,依据预设的、与标记对应的截取规则对初始图像进行截取,优选地,使用图像识别技术依据预设的识别规则从所述初始图像中识别出笔尖标记动作对应的标记。通过标记的识别,提高后续截取目标内容提供依据,提高截取目标内容的精确性。其中,识别规则可以为以笔尖位置相对距离最近的笔迹为标记,标记的形状可以是点,可以是单下划线、多下划线,也可以是划圈、还可以是多边形划框,可以通过以上方法预先建立识别样本,当需要对标记的形状进行识别时,可以通过上述识别样本完成识别。截取规则可以是以预设的、与标记相对应的截取区域,优选地,截取区域可以通过与标记的相对位置、形状及尺寸等三个或者更多的参数来确定,这些确定截取区域的参数可以是固定的,也可以是可自适应调整的。对于不同的标记,截取区域所包含的对象有所区别,当标记为下划点时,截取区域可以为下划点上方对应文字或单词或数字或图片,当标记为下划线时,截取区域可以为下划线上方的词组或者语句,当标记为划圈时,截取区域可以为划圈内对应的文字、单词、数字或语句,当标记为划框时,截取区域可以为划框内对应的文字、单词、数字或语句等。根据上述对应关系,依据截取规则所定义的截取区域,从初始图像中截取得到包含目标内容的截取图像。
在本发明实施例中,用户对包含目标内容的拍摄对象拍照完成时,用户即可获得清晰准确的、目标内容的图像,从而使用户参与的对目标内容的标记与提取操作简单连贯,提升眼镜智能化程度的同时,提升了用户体验。
实施例三:
图3示出了本发明实施例三提供的用于眼镜的目标内容获取方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S301中,当接收到与眼镜连接的智能笔发出的进行拍照的指令时,根据指令中的结束位置对拍照对象进行拍照,获得包含目标内容以及标记的初始图像。
本发明实施例适用于眼镜,眼镜上设置有摄像头和通信模块,当眼镜接收到实施例一中智能笔发出的拍照指令时,眼镜以根据指令中笔尖标记动作的结束位置对拍照对象进行拍照,例如,考虑到用户标记范围一般不会太大,可以以结束位置为焦点对拍照对象进行拍照,也可以以结束位置为中心扩展一范围,以该扩展的范围(或范围中心)为焦点对拍照对象进行拍照,从而获得包含目标内容以及笔尖标记动作对应的标记的初始图像。在这里需要说明的是,由于初始图像中需要包含目标内容以及标记,因此,拍摄所得图像需要覆盖合理较大的范围,摄像头的聚焦可提前设置以满足摄像头与笔尖形成点对焦的要求,例如,摄像头可以设置在眼镜框中梁的中心位置,同时也不会影响用户阅读视线。眼镜上的摄像头可以做休眠设置,当没有收到拍照指令时,摄像头处于休眠状态,当眼镜收到拍照指令时,唤醒眼镜上的摄像头并进行对焦拍照,拍照完成后继续进入休眠状态,以节约摄像头的用电。
在步骤S302中,依据预设的识别规则从所述初始图像中识别出所述标记。
在本发明实施例中,依据图像识别技术依据预设的识别规则从所述初始图像中识别出所述标记。其中,识别规则可以为以笔尖位置相对距离最近的笔迹为标记,标记的形状可以是点,可以是单下划线、多下划线,也可以是划圈、还可以是多边形划框,可以通过以上方法预先建立识别样本,当需要对标记的形状进行识别时,可以通过上述识别样本完成识别。
在步骤S303中,依据预设的、与所述实时标记对应的截取规则获得待截取区域,并进行尝试截取。
在本实施例中,截取规则可以是以预设的、与标记相对应的截取区域,优选地,截取区域可以通过与标记的相对位置、形状及尺寸等三个或者更多的参数来确定,这些确定截取区域的参数可以是固定的,也可以是可自适应调整的。对于不同的标记,截取区域所包含的对象有所区别,当标记为下划点时,截取区域可以为下划点上方对应文字或单词或数字或图片,当标记为下划线时,截取区域可以为下划线上方的词组或者语句,当标记为划圈时,截取区域可以为划圈内对应的文字、单词、数字或语句,当标记为划框时,截取区域可以为划框内对应的文字、单词、数字或语句等。根据上述对应关系,依据截取规则所定义的截取区域进行尝试获取,可以进行若干次尝试性截取。例如:如图4所示,首先以预设的第一尝试截取区域(其形状、与标记的相对位置及尺寸等均已根据经验进行预设)对初始图像401进行第一次尝试截取,得到第一尝试截取图像402与第一截取剩余图像403,一般而言,第一尝试截取区域形状采用方形或椭圆形等,尺寸偏小,标记404与方形或椭圆形中心之间距离适当选取。
在步骤S304中,将尝试截取的图像与截取剩余的图像的图像特征进行比对,根据比对结果调整截取区域的边界。
在本发明实施例中,将尝试截取的图像与截取剩余的图像的图像特征进行比对,根据比对结果调整截取区域的边界,直至所得尝试截取的图像与截取剩余的图像的图像特征指示目标内容完全包含于截取图像中。例如:如图4所示,将第一尝试截取图像402某一边界存在信息位置A的灰度值与第一截取剩余图像403对应边界存在信息位置B的灰度值作比较,若相近(差值不超过预设阈值),则表征初始图像中的待搜索信息未被完整截取,此时,则会调整截取区域,以第二尝试截取区域对初始图像进行第二次尝试截取,其中,截取区域的调整可以为:当上述第一尝试截取图像402的某一边界存在信息位置A的灰度值与第一截取剩余图像403对应边界存在信息位置B的灰度值相近时,以预设调整步长调整该边界位置,以扩大截取区域再次尝试截取得到第二尝试截取区域,若采用第二尝试截取区域对初始图像进行截取,不存在截取所得第二尝试截取图像501的边界存在信息位置C的灰度值与第二截取剩余图像502对应边界存在信息位置D的灰度值相近,如图5所示,则表征初始图像中的待搜索信息被完整截取,从而以第二尝试截取图像501作为最终的截取图像供后续处理。当然,在其他实施例中,也可以采用其他图像特征进行处理,例如:纹理特征、形状特征等。
在步骤S305中,对所述初始图像进行截取,获得包含所述目标内容的截取图像。
在本实施例中,以最终调整的截取区域对初始图像进行截取,获得包含所述目标内容的截取图像。
在本发明实施例中,可实现对不同标记形状的目标内容的适应性截取,且适应性截取过程简单、快速、高效,提升眼镜智能化的同时,提升了用户体验。
实施例四:
图6示出了本发明实施例四提供的基于智能笔的眼镜拍照方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S601中,检测智能笔笔尖在拍照对象上的笔尖标记动作。
本发明实施例适用于内容获取系统,该内容获取系统包括智能笔和眼镜,该智能笔具有标记功能,标记功能可以通过普通标记液体来实现,也可以是通过触控方式来实现,拍照对象可以是印刷有文字、图片的纸质书本,也可以是显示有文字、图片的电子书。当用户使用智能笔时,可以以拍照对象上的单个汉字、单词、段落、图片等为目标内容进行标记,标记方式可以有划点、划线、划圈、划框等操作,考虑到标记动作开始时和标记动作结束时笔尖感受到的压力会发生变化,从而优选地,通过智能笔内置的压力传感器检测所述笔尖受到的压力值来确定笔尖的标记动作,当检测到的压力值大于压力阈值时,确定智能笔笔尖执行的动作为笔尖标记动作,开始进行标记,当检测到的压力值由大于压力阈值减小至小于压力阈值、且压力值小于压力阈值的持续时长大于预设的时间阈值时,确定智能笔笔尖完成标记。通过对笔尖所受压力值和压力值小于压力阈值的持续时长的判断,提高了对标记动作结束判断的准确性,提升了用户体验。其中,压力阈值可以理解为智能笔可以成功进行标记时笔尖感受到的最小压力,预设的时间阈值可以为系统设置,也可以由用户根据自己的标记习惯自行设置。作为示例地,用户需要对纸质书本上的某个段落中的两行进行划线标记,当用户完成第一行内容的标记抬起笔尖对第二行的内容进行标记时,检测到笔尖的压力值由大于压力阈值减小至小于压力阈值、而压力值小于压力阈值的持续时长不大于预设的时间阈值时,判定标记动作没有完成,只有当用户完成标记抬起笔尖,此时检测到笔尖的压力值由大于压力阈值减小至小于压力阈值、且压力值小于压力阈值的持续时长大于预设的时间阈值时,才判定标记动作完成,从而提高笔尖标记动作检测的准确度。
在步骤S602中,当检测到笔尖标记动作时,获取笔尖标记动作的结束位置。
在本发明实施例中,以标记动作完成时的笔尖位置作为结束位置,优选地,当压力值由大于压力阈值减小至小于压力阈值、且压力值小于压力阈值的持续时长大于预设的时间阈值时,将笔尖当前所在位置确定为结束位置。通过对笔尖结束位置的获取,为后续眼镜拍照时的对焦位置提供依据,提高对目标内容拍摄的准确度和清晰度。
在步骤S603中,智能笔向与智能笔连接的眼镜发送拍照指令,拍照指令中包括所述结束位置。
在本发明实施例中,通过智能笔上的通信模块与眼镜进行通信,通信方式可以为有线方式,也可以为无线方式(WiFi、蓝牙),当智能笔获取笔尖标记动作的结束位置的同时,智能笔的通信模块与眼镜通信,并对眼镜发送拍照指令,控制与智能笔连接的眼镜根据获取的结束位置对拍照对象进行拍照。例如,考虑到用户标记范围一般不会太大,可以以结束位置为焦点对拍照对象进行拍照,也可以以结束位置为中心扩展一范围,以该扩展的范围(或范围中心)为焦点对拍照对象进行拍照。
在步骤S604中,当眼镜接收到智能笔发出的进行拍照的指令时,根据指令中的结束位置对拍照对象进行拍照,获得包含目标内容以及标记的初始图像。
在本发明实施例中,眼镜上设置有摄像头和通信模块,当眼镜接收到实施例一中智能笔发出的拍照指令时,眼镜以根据指令中笔尖标记动作的结束位置对拍照对象进行拍照,例如,考虑到用户标记范围一般不会太大,可以以结束位置为焦点对拍照对象进行拍照,也可以以结束位置为中心扩展一范围,以该扩展的范围(或范围中心)为焦点对拍照对象进行拍照,从而获得包含目标内容以及笔尖标记动作对应的标记的初始图像。在这里需要说明的是,由于初始图像中需要包含目标内容以及标记,因此,拍摄所得图像需要覆盖合理较大的范围,摄像头的聚焦可提前设置以满足摄像头与笔尖形成点对焦的要求,例如,摄像头可以设置在眼镜框中梁的中心位置,同时也不会影响用户阅读视线。眼镜上的摄像头可以做休眠设置,当没有收到拍照指令时,摄像头处于休眠状态,当眼镜收到拍照指令时,唤醒眼镜上的摄像头并进行对焦拍照,拍照完成后继续进入休眠状态,以节约摄像头的用电。
在步骤S605中,依据预设的、与标记对应的截取规则对初始图像进行截取,获得包含目标内容的截取图像。
在本发明实施例中,依据预设的、与标记对应的截取规则对初始图像进行截取,优选地,使用图像识别技术依据预设的识别规则从所述初始图像中识别出笔尖标记动作对应的标记。通过标记的识别,提高后续截取目标内容提供依据,提高截取目标内容的精确性。其中,识别规则可以为以笔尖位置相对距离最近的笔迹为标记,标记的形状可以是点,可以是单下划线、多下划线,也可以是划圈、还可以是多边形划框,可以通过以上方法预先建立识别样本,当需要对标记的形状进行识别时,可以通过上述识别样本完成识别。截取规则可以是以预设的、与标记相对应的截取区域,优选地,截取区域可以通过与标记的相对位置、形状及尺寸等三个或者更多的参数来确定,这些确定截取区域的参数可以是固定的,也可以是可自适应调整的。对于不同的标记,截取区域所包含的对象有所区别,当标记为下划点时,截取区域可以为下划点上方对应文字或单词或数字或图片,当标记为下划线时,截取区域可以为下划线上方的词组或者语句,当标记为划圈时,截取区域可以为划圈内对应的文字、单词、数字或语句,当标记为划框时,截取区域可以为划框内对应的文字、单词、数字或语句等。根据上述对应关系,依据截取规则所定义的截取区域,从初始图像中截取得到包含目标内容的截取图像。
实施例五:
图7示出了本发明实施例五提供的智能笔的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的智能笔7包括处理器70、存储器71以及存储在存储器71中并可在处理器70上运行的计算机程序72。该处理器70执行计算机程序72时实现上述各方法实施例中的步骤,例如图1所示的步骤S101至S103。
在本发明实施例中,通过检测智能笔笔尖在拍照对象上的笔尖标记动作,当检测到笔尖标记动作时,获取笔尖标记动作的结束位置,根据获取的结束位置控制与智能笔连接的眼镜对拍照对象进行拍照,从而将用户日常使用的笔和眼镜结合,以用户进行标记时标记动作开始和标记动作结束时笔尖感受到的压力变化为基础,实现了对眼镜拍照的控制,简化了智能眼镜拍照的控制方式,使得拍照过程更简单、快速,且对用户透明,从而进一步提升了智能笔的智能化程度。
本发明实施例的智能笔可以为圆珠笔、钢笔。该智能笔7中处理器70执行计算机程序72时实现眼镜拍照方法时实现的步骤可参考前述对应方法实施例的描述,在此不再赘述。
实施例六:
图8示出了本发明实施例六提供的眼镜的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的眼镜8包括处理器80、存储器81以及存储在存储器81中并可在处理器80上运行的计算机程序82。该处理器80执行计算机程序82时实现上述各方法实施例中的步骤,例如图2所示的步骤S201至S202。
在本发明实施例中,当接收到与眼镜连接的智能笔发出的进行拍照的指令时,根据指令中的结束位置对拍照对象进行拍照,获得包含目标内容以及标记的初始图像,依据预设的、与标记对应的截取规则对初始图像进行截取,获得包含目标内容的截取图像,从而在对包含目标内容的拍摄对象拍照完成时,用户即可获得清晰准确的、目标内容的图像,使用户参与的对目标内容的标记与提取操作简单连贯,在提升眼镜智能化程度的同时,提升了用户体验。
实施例七:
图9示出了本发明实施例七提供的内容获取系统的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的内容获取系统9包括如上述实施例五中的智能笔91以及如上述实施例六中的眼镜92。
在本发明实施例中,通过检测内容获取系统中智能笔笔尖在拍照对象上的笔尖标记动作,当检测到笔尖标记动作时,获取笔尖标记动作的结束位置,根据获取的结束位置控制与智能笔连接的眼镜对拍照对象进行拍照,从而将用户日常使用的笔和眼镜结合,以用户进行标记时标记动作开始和标记动作结束时笔尖感受到的压力变化为基础,实现了对眼镜拍照的控制,简化了智能眼镜拍照的控制方式,使得拍照过程更简单、快速,且对用户透明,从而进一步提升了智能笔的智能化程度。当内容获取系统中的眼镜接收到智能笔发出的进行拍照的指令时,根据指令中的结束位置对拍照对象进行拍照,获得包含目标内容以及标记的初始图像,依据预设的、与标记对应的截取规则对初始图像进行截取,获得包含目标内容的截取图像,从而在对包含目标内容的拍摄对象拍照完成时,用户即可获得清晰准确的、目标内容的图像,使用户参与的对目标内容的标记与提取操作简单连贯,在提升眼镜智能化程度的同时,提升了用户体验
实施例八:
在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例中的步骤,例如,图1所示的步骤S101至S103,或者,图2所示的步骤S201至S202,或者,图3所示的步骤S301至S305,或者,图6所示的步骤S601至S605。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质,例如,ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于智能笔的眼镜拍照方法,其特征在于,所述方法包括下述步骤:
检测智能笔笔尖在拍照对象上的笔尖标记动作;
当检测到所述笔尖标记动作时,获取所述笔尖标记动作的结束位置;
根据获取的所述结束位置控制与所述智能笔连接的眼镜对所述拍照对象进行拍照。
2.如权利要求1所述的方法,其特征在于,
检测智能笔笔尖在拍照对象上的笔尖标记动作的步骤,包括:
通过所述智能笔内置的压力传感器检测所述笔尖受到的压力值;
当所述压力值大于所述压力阈值时,确定所述智能笔笔尖执行的动作为所述笔尖标记动作。
当检测到所述笔尖标记动作时,获取所述笔尖标记动作的结束位置的步骤,包括:
当所述压力值由大于所述压力阈值减小至小于所述压力阈值、且所述压力值小于所述压力阈值的持续时长大于预设的时间阈值时,将所述笔尖当前所在位置确定为所述结束位置。
3.一种用于眼镜的目标内容获取方法,其特征在于,所述方法还包括:
当接收到与眼镜连接的智能笔发出的进行拍照的指令时,根据所述指令中的结束位置对所述拍照对象进行拍照,获得包含目标内容以及标记的初始图像;
依据预设的、与所述标记对应的截取规则对所述初始图像进行截取,获得包含所述目标内容的截取图像。
4.如权利要求3所述的方法,其特征在于,所述依据预设的、与所述标记对应的截取规则对所述初始图像进行截取,获得包含所述目标内容的截取图像的步骤之前,包括:
依据预设的识别规则从所述初始图像中识别出所述标记。
5.如权利要求4所述的方法,其特征在于,所述依据预设的、与所述标记对应的截取规则对所述初始图像进行截取,获得包含所述目标内容的截取图像,包括:
依据预设的、与所述实时标记对应的截取规则获得待截取区域,并进行尝试截取;
将所述尝试截取的图像与截取剩余的图像的图像特征进行比对,根据比对结果调整截取区域的边界,直至所得所述尝试截取的图像与所述截取剩余的图像的图像特征指示所述目标内容完全包含于所述截取图像中;
对所述初始图像进行截取,获得包含所述目标内容的截取图像。
6.如权利要求5所述的方法,其特征在于,所述截取区域通过与所述标记的相对位置、形状及尺寸来确定。
7.一种基于智能笔的眼镜拍照方法,其特征在于,所述方法包括下述步骤:
检测智能笔笔尖在拍照对象上的笔尖标记动作;
当检测到所述笔尖标记动作时,获取所述笔尖标记动作的结束位置;
所述智能笔向与所述智能笔连接的眼镜发送拍照指令,所述拍照指令中包括所述结束位置;
当所述眼镜接收到所述智能笔发出的所述拍照指令时,根据获取的所述结束位置对所述拍照对象进行拍照,获得包含目标内容以及标记的初始图像;
所述眼镜依据预设的、与所述标记对应的截取规则对所述初始图像进行截取,获得包含所述目标内容的截取图像。
8.一种智能笔,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述方法的步骤。
9.一种眼镜,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求3至6任一项所述方法的步骤。
10.一种内容获取系统,其特征在于,包括如权利要求8所述的智能笔以及如权利要求9所述的眼镜。
11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201811124418.8A 2018-09-26 2018-09-26 基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质 Active CN109308474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811124418.8A CN109308474B (zh) 2018-09-26 2018-09-26 基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811124418.8A CN109308474B (zh) 2018-09-26 2018-09-26 基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质

Publications (2)

Publication Number Publication Date
CN109308474A true CN109308474A (zh) 2019-02-05
CN109308474B CN109308474B (zh) 2021-11-23

Family

ID=65224758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124418.8A Active CN109308474B (zh) 2018-09-26 2018-09-26 基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质

Country Status (1)

Country Link
CN (1) CN109308474B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115113748A (zh) * 2022-08-30 2022-09-27 青岛罗博数码科技有限公司 一种摘录标记方法及摘录标记笔
CN115984855A (zh) * 2023-02-24 2023-04-18 北京赢课信息科技有限公司 智能笔书写行为特征分析方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656880A (zh) * 2013-11-21 2015-05-27 深圳先进技术研究院 一种基于智能眼镜的书写系统及方法
CN107656633A (zh) * 2017-10-19 2018-02-02 广州视源电子科技股份有限公司 一种智能笔、智能笔的控制方法、装置、设备及存储介质
CN108415558A (zh) * 2018-02-02 2018-08-17 上海徕尼智能科技有限公司 智能眼镜及智能检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656880A (zh) * 2013-11-21 2015-05-27 深圳先进技术研究院 一种基于智能眼镜的书写系统及方法
CN107656633A (zh) * 2017-10-19 2018-02-02 广州视源电子科技股份有限公司 一种智能笔、智能笔的控制方法、装置、设备及存储介质
CN108415558A (zh) * 2018-02-02 2018-08-17 上海徕尼智能科技有限公司 智能眼镜及智能检索方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115113748A (zh) * 2022-08-30 2022-09-27 青岛罗博数码科技有限公司 一种摘录标记方法及摘录标记笔
CN115984855A (zh) * 2023-02-24 2023-04-18 北京赢课信息科技有限公司 智能笔书写行为特征分析方法及装置
CN115984855B (zh) * 2023-02-24 2023-10-27 北京赢课信息科技有限公司 智能笔书写行为特征分析方法及装置

Also Published As

Publication number Publication date
CN109308474B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
US10713540B2 (en) Deep learning system for recognizing pills in images
US11195018B1 (en) Augmented reality typography personalization system
US10579869B1 (en) Virtual object machine learning
US20200311116A1 (en) Context based media curation
EP3335412B1 (en) Method and electronic apparatus for providing service associated with image
US11521339B2 (en) Machine learning in augmented reality content items
WO2015101289A1 (zh) 图片管理方法、装置及系统
BR112020018915A2 (pt) Método para identificação de um objeto em uma imagem e dispositivo móvel para execução do método
CN110348444A (zh) 基于深度学习的错题收集方法、装置及设备
CN109858415A (zh) 适用于移动机器人行人跟随的核相关滤波目标跟踪方法
Yang et al. Design and interpretation of universal adversarial patches in face detection
CN108564103A (zh) 数据处理方法与装置
CN109189879A (zh) 电子书籍显示方法及装置
US11598643B2 (en) Augmented reality guidance interface
US11755910B2 (en) Sequence-of-sequences model for 3D object recognition
CN109063542A (zh) 图片识别方法、装置、计算机设备及存储介质
KR20200044209A (ko) 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
US11107255B2 (en) Interactive augmented reality system
CN109308474A (zh) 基于智能笔的眼镜拍照方法、智能笔、眼镜及存储介质
CN110019912A (zh) 基于形状的图形搜索
US20190205430A1 (en) Tag distribution visualization system
CN108984489A (zh) 用于电子文档的阅读方法、装置、终端设备及存储介质
CN104252628A (zh) 人脸图像标注方法和系统
WO2022213396A1 (zh) 猫的面部个体识别装置、方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant