CN208689558U - 一种辅助用户的智能系统 - Google Patents
一种辅助用户的智能系统 Download PDFInfo
- Publication number
- CN208689558U CN208689558U CN201821571832.9U CN201821571832U CN208689558U CN 208689558 U CN208689558 U CN 208689558U CN 201821571832 U CN201821571832 U CN 201821571832U CN 208689558 U CN208689558 U CN 208689558U
- Authority
- CN
- China
- Prior art keywords
- touch
- area
- visual analysis
- user
- wearable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 83
- 238000004458 analytical method Methods 0.000 claims abstract description 78
- 238000004891 communication Methods 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 12
- 239000004984 smart glass Substances 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 238000005266 casting Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 18
- 239000011521 glass Substances 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000001771 impaired effect Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种辅助用户的智能系统。本申请的智能系统至少包括触摸控制设备、与触摸控制设备之间具有通信连接的可穿戴智能设备;触摸控制设备,用于接收用户的触控指令,根据触控指令与可穿戴智能设备进行交互;可穿戴智能设备,用于获取取景区域内的图像,通过该交互,确定由触控指令在图像中指定的位置,获取并播报针对该指定的位置的视觉分析信息。本申请的方案使得用户能够通过对触摸控制设备进行触控,便利地在可穿戴智能设备的取景区域内的图像中指定自己所关注的位置,以指示可穿戴智能设备有针对性地向用户播报针对该位置的视觉分析信息。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种辅助用户的智能系统。
背景技术
相关数据显示,目前中国的视障人士达1300万人,但是,由于国内目前的视障人士基础设施不够完善,视障人士出行存在诸多不安全因素。
智能眼镜是一种新兴的头部可穿戴智能设备,像智能手机一样具有独立的操作系统,可以由用户安装程序,可通过操控实现诸如添加日程、地图导航、与好友互动、拍摄照片和视频、与好友展开视频通话等功能,并可以通过移动通讯网络实现无线网络接入。
对于视障人士而言,智能眼镜的一大重要功能是辅助视觉,视障人士佩戴智能眼镜,智能眼镜实时采集视野内的图像,并对整个图像进行分析,得到整个图像的视觉分析信息,比如,前方存在哪些物体,这些物体是否影响用户通行等,智能眼镜会将整个图像的视觉分析信息播报给用户,以便用户顺利行进。
但是,由于整个图像的视觉分析信息的播报过程需要一定时间,用户往往也要被动等待,便利性较差。
实用新型内容
本申请实施例提供一种辅助用户的智能系统,用以解决现有技术中的如下技术问题:现有的智能眼镜对整个图像的视觉分析信息的播报过程需要一定时间,用户往往也要被动等待,便利性较差。
本申请实施例采用下述技术方案:
一种辅助用户的智能系统,包括触摸控制设备、与所述触摸控制设备之间具有通信连接的可穿戴智能设备;
所述触摸控制设备,用于接收用户的触控指令,根据所述触控指令与所述可穿戴智能设备进行交互;
所述可穿戴智能设备,用于获取取景区域内的图像,通过所述交互,确定由所述触控指令在所述图像中指定的位置,获取并播报针对所述指定的位置的视觉分析信息。
可选地,所述可穿戴智能设备包括智能眼镜,所述取景区域包括所述智能眼镜的至少部分视野。
可选地,所述触摸控制设备包括触摸板,所述触控指令通过用户触摸所述触摸板的触控区域而下达;
所述取景区域与所述触控区域之间具有映射关系,所述指定的位置包括:用户下达所述触控指令时,通过触摸而选择的部分触控区域所映射的部分取景区域。
可选地,所述部分触控区域、所述部分取景区域分别为一个点或者多个离散点。
可选地,所述取景区域被划分为一定数量的多个第一子区域,所述触控区域也被相应划分为同数量的多个第二子区域,各所述第一子区域与各所述第二子区域之间具有一一映射关系;
所述通过触摸而选择的部分触控区域包括:在所述触摸板上触摸的点所在的第二子区域,或者,在所述触摸板上通过触摸而圈定的第二子区域。
可选地,所述触摸控制设备根据所述触控指令与所述可穿戴智能设备进行交互,具体包括:
所述触摸控制设备根据所述触控指令,确定触摸位置信息,将所述触摸位置信息发送给所述可穿戴智能设备;
所述可穿戴智能设备根据所述映射关系和接收的所述触摸位置信息,确定由所述触控指令在所述图像中指定的位置。
可选地,所述可穿戴智能设备获取针对所述指定的位置的视觉分析信息,具体包括:
所述可穿戴智能设备利用图像处理算法,对所述指定的位置进行视觉分析,得到针对所述指定的位置的视觉分析信息;或者,
所述可穿戴智能设备利用图像处理算法,对所述图像中的全部区域进行视觉分析,得到针对所述全部区域的视觉分析信息,并从中筛选出针对所述指定的位置的视觉分析信息。
可选地,所述针对所述指定的位置的视觉分析信息包括:通过视觉分析,获取的在所述指定的位置中所存在的物体的相关信息,所述相关信息包括障碍物信息和/或识别物信息,所述障碍物信息包括距离和/或方位,所述识别物信息包括文字、物体种类、属性中的至少一种。
可选地,所述可穿戴智能设备播报针对所述指定的位置的视觉分析信息,具体包括:
所述可穿戴智能设备根据所述触控指令对应的触摸时长和/或触摸力度,播报针对所述指定的位置且匹配于所述触摸时长和/或触摸力度的视觉分析信息。
可选地,所述可穿戴智能设备当所述触摸时长和/或触摸力度大于一定阈值时,播报相对详细的视觉分析信息,否则播报相对简略的视觉分析信息。
可选地,所述可穿戴智能设备包括骨传导耳机,用于向用户播报针对所述指定的位置的视觉分析信息。
可选地,所述通信连接为可供电有线连接或者短距离无线通信连接;
若所述通信连接为可供电有线连接,则所述触摸控制设备包括用于通过所述可供电有线连接,为所述可穿戴智能设备供电的电池。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:使得用户能够通过对触摸控制设备进行触控,便利地主动在可穿戴智能设备的取景区域内的图像中指定自己所关注的位置,以指示可穿戴智能设备有针对性地向用户播报针对该位置的视觉分析信息,从而避免用户长时间等待,便利性较好,而且还能够帮助用户更直观地感受方位。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请的一些实施例提供的一种辅助用户的智能系统的结构示意图;
图2为本申请的一些实施例提供的一种实际应用场景下,用户通过触摸控制设备进行触控操作的示意图;
图3为本申请的一些实施例提供的图1的智能系统的一种示例性详细结构示意图;
图4为本申请的一些实施例提供的图3的智能系统的一种示例性工作流程示意图;
图5为本申请的一些实施例提供的图3的智能系统的另一种示例性工作流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对背景技术中的问题,本申请的方案尤其提供了触摸控制设备,用户利用触摸控制设备,能够便利地主动控制智能眼镜的视野中的当前交互焦点,从而帮助用户高效地获取对应的视觉分析信息,而不是被动地接收当前图像的全部视觉分析信息。下面对本申请的方案进行详细说明。
图1为本申请的一些实施例提供的一种辅助用户的智能系统的结构示意图。在图1中,该智能系统包括触摸控制设备11、可穿戴智能设备12(简明起见,一些实施例中省略了标号),触摸控制设备11与可穿戴智能设备12之间具有通信连接,连接方式可以是有线连接,比如,基于通用串行总线(Universal Serial Bus,USB)、高清晰度多媒体接口(HighDefinition Multimedia Interface,HDMI)、DisplayPort(DP)等特定实体接口的有线连接,也可以是无线连接,比如,蓝牙、无线保真(WiFi)等短距离无线通信连接。触摸控制设备11,可以用于接收用户的触控指令,根据触控指令与可穿戴智能设备12进行交互;可穿戴智能设备12,可以用于获取取景区域内的图像,通过该交互,确定由触控指令在该图像中指定的位置,获取并播报针对该指定的位置的视觉分析信息。
触摸控制设备可以是一个主要用于辅助别的设备使用的外接设备,比如,单块的触摸板、触摸轨迹球、触控杆、触摸板鼠标等,或者也可以是一个主设备,比如,带触摸屏的手机或者平板电脑等。
可穿戴智能设备可以是智能眼镜,或者其他可穿戴并能够采集图像的智能设备,比如,戴于头顶或者挂于颈部的智能摄像设备等。
可穿戴智能设备不仅能够采集图像,还能够在本地对图像进一步地视觉分析,或者能够交由远程服务器等其他设备进行视觉分析,以获取相应的视觉分析信息,再向用户播报。视觉分析信息可以包括图像中实际存在的物体(对于视障用户而言,物体尤其包括障碍物)的相关信息,比如,物品的方位、距离(当前距离用户多远)、动态(静止还是移动、是否在向用户移动、是否在主动回避用户等)等,还可以包括识别的内容信息(可以称为识别物信息),比如,文字、物体种类、属性、图形特征等,或通过诸如增强现实(AugmentedReality,AR)、虚拟现实(Virtual Reality,VR)等技术生成的虚拟内容。另外,可穿戴智能设备还可以具有更多的功能,比如,实时导航、生理数据监测、呼救、游戏、多媒体播放等。
在本申请的一些实施例中,用户可以将触摸控制设备置于自己的手方便够到的地方,以便随时对其进行触控操作,比如,直接手持或者放在衣兜中等。触摸控制设备上具有至少一个触控区域,用户可以用手或者触摸笔等触控工具,在触控区域中触摸,以实现触控操作,触控指令即通过相应的触控操作下达,触摸动作比如包括点击、持续按压、连续轨迹滑动、持续接触以带动触摸轨迹球或者触控杆变向等。
触控指令至少能够在取景区域内的图像中指定位置,所指定的位置与用户的下达该触控指令所执行的触摸动作相对应,也即,实际上指定怎样的位置就是由用户触控决定的。该位置可以是单个点、或者多个离散点、或者至少一个子区域等,具体可以取决于预先设定的规则。
通过图1的智能系统,使得用户能够通过对触摸控制设备进行触控,主动而便利地在可穿戴智能设备的取景区域内的图像中指定自己所关注的位置,以指示可穿戴智能设备有针对性地向用户播报针对该位置的视觉分析信息,从而避免用户长时间等待,便利性较好;不仅如此,由于位置是用户自己指定的,因此,还能够帮助用户更直观地感受方位,使用户对于当前正在播报的视觉分析信息对应的方位心知肚明,有效减少了用户的反应时间,用户体验较好。
基于图1的智能系统,本申请的一些实施例还提供了该智能系统的一些具体实施方案,以及扩展方案,下面进行说明。
在本申请的一些实施例中,对于穿戴方便和取景方便等实际需求,智能眼镜作为一种典型的可穿戴智能设备,能够较好地满足这些需求,下面一些实施例以这种情况为例进行说明。
上述的取景区域可以包括智能眼镜的至少部分视野,这与视力正常的用户眼睛的视野类似,可以对照理解。智能眼镜上用于取景的功能模块可以包括一个或者多个摄像头,其中,当包括两个以上摄像头时,能够更真实地模拟用户的视野,能够采集并处理得到三维图像,进而,再通过视觉分析能够获得空间距离、三维坐标等更丰富的视觉分析信息。摄像头可以采用普通摄像头,或者为了实现一些特殊功能,也可以采用诸如鱼眼摄像头(使得视野更广)、红外摄像头(使得夜间可视)等特殊摄像头。摄像头比如设置于智能眼镜的镜片上或者镜框上等处。
为了实现智能化,智能眼镜上还可以具备一些常规或者非常规的软硬件模块,比如,嵌入式操作系统、智能应用、中央处理器、图像处理器、存储器、天线、蓝牙模块、WiFi模块、电池、外设接口、实体按键等。
在本申请的一些实施例中,对于视障用户需要直观地定位等实际需求,触摸板作为一种典型的触摸控制设备,能够较好地满足该需求,下面一些实施例以这种情况为例进行说明。
触摸板上具有至少一个触控区域,用户通过在触控区域内触摸,下达相应的触控指令。上述的取景区域(或者,也可以是通过该取景区域所采集的图像中的区域;原因在于,在实时性较高的场景下,该图像中的区域与该取景区域可以视为是一致的)与触摸板的触控区域之间具有映射关系,上述的指定的位置可以包括:用户下达触控指令时,通过触摸而选择的部分触控区域所映射的部分取景区域。
上述的映射关系有助于保证用户更明确地了解:当想要收听图像中某个位置对应的视觉分析信息时,到底应该触摸触控区域中的哪个点或者哪个子区域。进而,有助于用户更顺心以及更准确地进行触控操作,能够实现“所触即所得”。
映射关系优选地可以遵从一般用户的习惯而设定,比如,可以使取景区域与触控区域保持一致,等比例地进行映射,取景区域中的左上角子区域与触控区域中的左上角子区域相映射,取景区域中的右下角子区域与触控区域中的右下角子区域相映射,取景区域中的中间子区域与触控区域中的中间子区域相映射,等等。若取景区域与触控区域的形状不同,在映射时可以进行适配处理,比如,在逻辑上对区域进行变形,假定取景区域是长方形,而触控区域是正方形,可以在逻辑上对取景区域进行拉伸,以正方形的形式与触控区域进行映射,等等。
上一段中对映射关系的设定进行了示例性的粗略的说明。更具体的设定方案也是多种多样的,比如,点对点映射、子区域对子区域映射、点对子区域映射等,并且,映射时可以是一对一映射,也可以是一对多映射。
例如,对于点对点映射的情况,上述的部分触控区域、部分取景区域可以分别为一个点或者多个离散点,如此,有助于精确定位交互焦点。需要说明的是,在实际应用中,对于用户而言,无论部分触控区域是点还是子区域,部分取景区域优选地可以为一个或者多个子区域,而非点,如此,有助于用户更有效率地收听到更多的视觉分析信息,否则,用户可能需要进行更多的触控操作,才能收听到同数量的视觉分析信息。
在触控区域中,无论是点还是子区域,都可以由用户根据预定的规则触摸而选择,具体采用怎样的规则本申请不做具体限定,仅举例说明。对于点的选择,容易理解,一般可以认为用户触摸哪个点即表示选择哪个点;而对于子区域的选择,选择方式很多,比如,可以认为若用户触摸某子区域内任意点即表示选择该子区域,或者若用户在某个子区域连续滑动轨迹超过一定阈值即表示选择该子区域,或者若用户采用闭合的连续轨迹圈住某个子区域的面积超过一定阈值(为了便于描述,可以称这样的操作为圈定)即表示选择该子区域,等等。
在本申请的一些实施例中,取景区域可以被划分为一定数量的多个第一子区域,触控区域也被相应划分为同数量的多个第二子区域,各第一子区域与各第二子区域之间具有一一映射关系,并且,在这种情况下,上述的通过触摸而选择的部分触控区域可以包括:在触摸板上触摸的点所在的第二子区域,或者,在触摸板上通过触摸而圈定的第二子区域等。
例如,在一种实际应用场景下,按照九宫格形式,分别将取景区域和触控区域对应划分为9个子区域,如图2示出了该实际应用场景下,用户通过触摸控制设备(假定为触摸板)进行触控操作的示意图,在图2中,用户当前正在触摸触控区域的右下角子区域中的某一点(可以是该子区域中的任意点),则相应地,对于当前在取景区域内采集的图像,可穿戴智能设备会将该图像的右下角子区域对应的视觉分析信息播报给用户,则用户既能够便利地收听到所欲了解的视觉分析信息,也能直观地了解播报是针对自己当前视野前方的右下方的。进而,假定用户通过该视觉分析信息了解到视野前方存在障碍物,则理所当然地,用户知道该障碍物显然就在该右下方,方位感受较好;类似地,假定用户来到某个房间,也能够通过这种方式高效地了解该房间内各个方位的情况。
在本申请的一些实施例中,可穿戴智能设备是基于通信连接,与触摸控制设备进行交互,确定触控指令在图像中指定的位置的。交互内容可以取决于可穿戴智能设备与触摸控制设备之间的工作分工情况。
例如,假定触摸控制设备有能力尽量多地承担工作,则比如可以使触摸控制设备在用户进行触控操作时,不仅根据触控指令确定触摸位置信息(可以是坐标或者位置编号等形式,反映了用户所触摸的位置),还根据触摸位置信息和映射关系,进一步确定所映射的图像中的点或者区域(也即,由触控指令在图像中指定的位置),并告知可穿戴智能设备,则可穿戴智能设备据此能够直接确定指定的位置,负担减轻了。
又例如,假定触摸控制设备能力较弱,则比如可以使触摸控制设备在用户进行触控操作时,仅根据触控指令确定触摸位置信息,就将触摸位置信息发送给可穿戴智能设备,由可穿戴智能设备再根据映射关系和触摸位置信息,确定由触控指令在所述图像中指定的位置,如此,有助于简化触摸控制设备并降低其成本。
需要说明的是,以上两例主要是以确定位置作为交互目,对交互内容进行简要说明的,在实际应用中,交互内容可以包括更多的内容,实现更多可能的交互目的,比如,维护通信连接、控制播报动作(如重播、暂停、音量调节等)、调节可穿戴智能设备的视野等目的。
在本申请的一些实施例中,若可穿戴智能设备本身具有视觉分析功能,则可以在本地对图像进行视觉分析;而若不在本地分析,也可以交由远程的服务器进行视觉分析,或者若触摸控制设备具有视觉分析功能,则也可以交由触摸控制设备进行视觉分析,可穿戴智能设备得到它们返回的视觉分析信息即可。
进一步地,假定由可穿戴智能设备在本地分析,则上述的可穿戴智能设备获取针对指定的位置的视觉分析信息,具体可以包括:可穿戴智能设备利用图像处理算法,对指定的位置进行视觉分析,得到针对该指定的位置的视觉分析信息;或者,可穿戴智能设备利用图像处理算法,对图像中的全部区域进行视觉分析,得到针对该全部区域的视觉分析信息,并从中筛选出针对该指定的位置的视觉分析信息。前一种方案有利于减少可穿戴智能设备的工作量,后一种方案则有利于高效地连续响应用户针对同一图像中多个不同位置的视觉分析信息需求。
在本申请的一些实施例中,在触摸控制设备能够支持的前提下,除了根据触摸位置以外,还可以根据诸如触摸时长、触摸力度等其他因子,对视觉分析信息的播报进行差异化控制。即使对于同一图像中的同一位置,触摸时长和/或触摸力度的不同也可能导致视觉分析信息被差异化地播报,这种差异化可以指播报内容的差异化,也可以指播报内容相同而播报方式(比如,重复次数、音量大小、是否有警报声等)差异化。
可以预先设定上述的因子与播报内容或者播报方式之间的匹配关系,进而根据匹配关系播报。基于此,上述的可穿戴智能设备播报针对指定的位置的视觉分析信息,具体可以包括:可穿戴智能设备根据触控指令对应的触摸时长和/或触摸力度,播报针对指定的位置且匹配于触摸时长和/或触摸力度的视觉分析信息。比如,可穿戴智能设备当所述触摸时长和/或触摸力度大于一定阈值时,播报相对详细的视觉分析信息,否则播报相对简略的视觉分析信息(如,当触摸时长为2秒时,播报对应位置是否存在障碍物,触摸时长为4秒时,播报对应位置存在的障碍物具体为何物等);再比如,可穿戴智能设备当触摸时长和/或触摸力度大于一定阈值时,若确定前方存在障碍物,则可以播报障碍物的信息以及警报声,否则可以不播报警报声;等等。
另外,还可以设定触摸时长和/或触摸力度的最小阈值,若未达到该最小阈值,可以不对用户进行播报,如此,有助于避免用户误触摸。
在本申请的一些实施例中,用户可以通过外放喇叭或者耳机收听可穿戴智能设备的播报。若采用耳机,对于视障人士,尤其可以采用骨传导耳机,原因在于,由于视障,视障人士的耳朵听力通道对其感知世界显得更为重要,而骨传导耳机可以在不阻碍耳朵听力通道的同时,向其传达额外的声音信息,实用性较好。
在本申请的一些实施例中,前面已经提到,通信连接可以为有线连接,若该有线连接具有供电能力,比如USB连接等,则触摸控制设备还可以包括用于通过该有线连接,为可穿戴智能设备供电的电池,在这种情况下,可穿戴智能设备上可以不设置电池或者设置容量相对小的电池,有助于减轻可穿戴智能设备的重量。
基于上面的说明,本申请的一些实施例还提供了图1的智能系统的一种示例性详细结构示意图,如图3所示。
在图3中,假定可穿戴智能设备12为智能眼镜,触摸控制设备11为触摸板,触摸板的触控区域对应于智能眼镜的取景区域。可穿戴智能设备12包括至少一个摄像头121、至少一个处理器122、蓝牙模块123、USB接口124、至少一个电池125等。可穿戴智能设备12与触摸控制设备11之间具有USB连接和/或蓝牙连接。
进一步地,本申请的一些实施例还提供了图3的智能系统的一种示例性工作流程示意图,该工作流程是简略描述的,如图4所示。
图4中的流程可以包括以下步骤:
智能系统启动;智能眼镜针对取景区域采集图像;触摸板接收输入(用户通过触控操作下达的触控指令),输入确定后发送给智能眼镜;智能眼镜若接收到输入,则根据输入确定所采集的图像上的指定位置,对该指定位置进行视觉分析,得到该指定位置的视觉分析信息并向用户播报,通过播报至少可以告知用户在该指定位置是否存在物体,若存在可以进一步地告知所存在物体的相关信息;播报完毕后可以继续针对取景区域采集图像,以便持续地辅助用户。
本申请的一些实施例还提供了图3的智能系统的另一种示例性工作流程示意图,该工作流程是简略描述的,如图5所示。
图5中的流程可以包括以下步骤:
智能系统启动;智能眼镜针对取景区域采集图像,并对所采集的图像中的全部区域进行视觉分析;触摸板接收输入,输入确定后发送给智能眼镜;智能眼镜若接收到输入,则根据输入确定所采集的图像上的指定位置,并在通过视觉分析到的视觉分析信息中筛选出针对该指定位置的视觉分析信息,将该指定位置的视觉分析信息向用户播报,通过播报至少可以告知用户在该指定位置是否存在物体,若存在可以进一步地告知所存在物体的相关信息;播报完毕后可以继续针对取景区域采集图像,以便持续地辅助用户。
基于同样的思路,本申请的一些实施例还提供了上述智能系统对应的非易失性计算机存储介质。
本申请的一些实施例提供的一种应用于图1中的辅助用户的智能系统的非易失性计算机存储介质,该介质一部分位于触摸控制设备上,一部分位于可穿戴智能设备上,分别存储有计算机可执行指令,该计算机可执行指令设置为:
使所述触摸控制设备接收用户的触控指令,根据所述触控指令与所述可穿戴智能设备进行交互;
使所述可穿戴智能设备获取取景区域内的图像,通过所述交互,确定由所述触控指令在所述图像中指定的位置,获取并播报针对所述指定的位置的视觉分析信息。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于介质实施例而言,由于其基本相似于系统实施例,所以描述的比较简单,相关之处参见系统实施例的部分说明即可。
本申请实施例提供的介质与系统是对应的,因此,介质也具有与其对应的系统类似的有益技术效果,由于上面已经对系统的有益技术效果进行了详细说明,因此,这里不再赘述介质的有益技术效果。
本领域内的技术人员应明白,本实用新型的实施例可提供为方法、系统、或计算机程序产品。因此,本实用新型可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本实用新型可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本实用新型是参照根据本实用新型实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种辅助用户的智能系统,其特征在于,包括触摸控制设备、与所述触摸控制设备之间具有通信连接的可穿戴智能设备;
所述触摸控制设备,用于接收用户的触控指令,根据所述触控指令与所述可穿戴智能设备进行交互;
所述可穿戴智能设备,用于获取取景区域内的图像,通过所述交互,确定由所述触控指令在所述图像中指定的位置,获取并播报针对所述指定的位置的视觉分析信息。
2.如权利要求1所述的智能系统,其特征在于,所述可穿戴智能设备包括智能眼镜,所述取景区域包括所述智能眼镜的至少部分视野。
3.如权利要求1所述的智能系统,其特征在于,所述触摸控制设备包括触摸板,所述触控指令通过用户触摸所述触摸板的触控区域而下达;
所述取景区域与所述触控区域之间具有映射关系,所述指定的位置包括:用户下达所述触控指令时,通过触摸而选择的部分触控区域所映射的部分取景区域。
4.如权利要求3所述的智能系统,其特征在于,所述部分触控区域、所述部分取景区域分别为一个点或者多个离散点。
5.如权利要求3所述的智能系统,其特征在于,所述取景区域被划分为一定数量的多个第一子区域,所述触控区域也被相应划分为同数量的多个第二子区域,各所述第一子区域与各所述第二子区域之间具有一一映射关系;
所述通过触摸而选择的部分触控区域包括:在所述触摸板上触摸的点所在的第二子区域,或者,在所述触摸板上通过触摸而圈定的第二子区域。
6.如权利要求3所述的智能系统,其特征在于,所述触摸控制设备根据所述触控指令与所述可穿戴智能设备进行交互,具体包括:
所述触摸控制设备根据所述触控指令,确定触摸位置信息,将所述触摸位置信息发送给所述可穿戴智能设备;
所述可穿戴智能设备根据所述映射关系和接收的所述触摸位置信息,确定由所述触控指令在所述图像中指定的位置。
7.如权利要求3所述的智能系统,其特征在于,所述可穿戴智能设备获取针对所述指定的位置的视觉分析信息,具体包括:
所述可穿戴智能设备利用图像处理算法,对所述指定的位置进行视觉分析,得到针对所述指定的位置的视觉分析信息;或者,
所述可穿戴智能设备利用图像处理算法,对所述图像中的全部区域进行视觉分析,得到针对所述全部区域的视觉分析信息,并从中筛选出针对所述指定的位置的视觉分析信息。
8.如权利要求1所述的智能系统,其特征在于,所述针对所述指定的位置的视觉分析信息包括:通过视觉分析,获取的在所述指定的位置中所存在的物体的相关信息,所述相关信息包括障碍物信息和/或识别物信息,所述障碍物信息包括距离和/或方位,所述识别物信息包括文字、物体种类、属性中的至少一种。
9.如权利要求1所述的智能系统,其特征在于,所述可穿戴智能设备播报针对所述指定的位置的视觉分析信息,具体包括:
所述可穿戴智能设备根据所述触控指令对应的触摸时长和/或触摸力度,播报针对所述指定的位置且匹配于所述触摸时长和/或触摸力度的视觉分析信息。
10.如权利要求9所述的智能系统,其特征在于,所述可穿戴智能设备当所述触摸时长和/或触摸力度大于一定阈值时,播报相对详细的视觉分析信息,否则播报相对简略的视觉分析信息。
11.如权利要求1所述的智能系统,其特征在于,所述可穿戴智能设备包括骨传导耳机,用于向用户播报针对所述指定的位置的视觉分析信息。
12.如权利要求1所述的智能系统,其特征在于,所述通信连接为可供电有线连接或者短距离无线通信连接;
若所述通信连接为可供电有线连接,则所述触摸控制设备包括用于通过所述可供电有线连接,为所述可穿戴智能设备供电的电池。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201821571832.9U CN208689558U (zh) | 2018-09-26 | 2018-09-26 | 一种辅助用户的智能系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201821571832.9U CN208689558U (zh) | 2018-09-26 | 2018-09-26 | 一种辅助用户的智能系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN208689558U true CN208689558U (zh) | 2019-04-02 |
Family
ID=65889151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201821571832.9U Active CN208689558U (zh) | 2018-09-26 | 2018-09-26 | 一种辅助用户的智能系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN208689558U (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111110530A (zh) * | 2020-01-09 | 2020-05-08 | 韩凤明 | 一种智能出行的雷达背心及系统 |
CN113253797A (zh) * | 2020-02-07 | 2021-08-13 | 阿里巴巴集团控股有限公司 | 数据处理系统、方法、装置、电子设备以及可穿戴设备 |
CN114549974A (zh) * | 2022-01-26 | 2022-05-27 | 西宁城市职业技术学院 | 基于用户的多智能设备的交互方法 |
-
2018
- 2018-09-26 CN CN201821571832.9U patent/CN208689558U/zh active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111110530A (zh) * | 2020-01-09 | 2020-05-08 | 韩凤明 | 一种智能出行的雷达背心及系统 |
CN113253797A (zh) * | 2020-02-07 | 2021-08-13 | 阿里巴巴集团控股有限公司 | 数据处理系统、方法、装置、电子设备以及可穿戴设备 |
CN114549974A (zh) * | 2022-01-26 | 2022-05-27 | 西宁城市职业技术学院 | 基于用户的多智能设备的交互方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11024083B2 (en) | Server, user terminal device, and control method therefor | |
US9563272B2 (en) | Gaze assisted object recognition | |
US11164546B2 (en) | HMD device and method for controlling same | |
CN107390863B (zh) | 设备的控制方法及装置、电子设备、存储介质 | |
JP2020530631A (ja) | インタラクション位置決定方法、システム、記憶媒体、およびスマートデバイス | |
KR20150028084A (ko) | 디스플레이장치 및 디스플레이장치의 동작방법 | |
JP2018530016A (ja) | Vr制御方法、装置及び電子機器、プログラム、及び記録媒体 | |
US10630887B2 (en) | Wearable device for changing focal point of camera and method thereof | |
CN208689558U (zh) | 一种辅助用户的智能系统 | |
JP6423129B1 (ja) | スマートデバイス制御方法および装置 | |
US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
CN111970456A (zh) | 拍摄控制方法、装置、设备及存储介质 | |
CN110969120B (zh) | 图像处理方法及装置、电子设备、可读存储介质 | |
CN106774849B (zh) | 虚拟现实设备控制方法及装置 | |
CN104301661A (zh) | 一种智能家居监控方法、客户端及相应装置 | |
CN110782532B (zh) | 图像生成方法、生成装置、电子设备及存储介质 | |
CN107092359A (zh) | 虚拟现实视角重定位方法、装置及终端 | |
CN112614228A (zh) | 三维网格的简化方法、装置、电子设备和存储介质 | |
US9998671B2 (en) | Electronic apparatus, method of controlling the same, and computer-readable recording medium | |
WO2019119290A1 (zh) | 提示信息确定方法、装置、电子设备和计算机程序产品 | |
CN110955348A (zh) | 一种辅助用户的智能系统及应用于该智能系统的介质 | |
CN111782053B (zh) | 模型编辑方法、装置、设备及存储介质 | |
CN113989424A (zh) | 三维虚拟形象的生成方法、装置及电子设备 | |
KR20160093890A (ko) | 이동단말기 및 그 제어방법 | |
US12028645B2 (en) | Subject-based smart segmentation of video feed on a transmitting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |