CN104423038B - 电子设备及其焦点信息获取方法 - Google Patents
电子设备及其焦点信息获取方法 Download PDFInfo
- Publication number
- CN104423038B CN104423038B CN201310362035.5A CN201310362035A CN104423038B CN 104423038 B CN104423038 B CN 104423038B CN 201310362035 A CN201310362035 A CN 201310362035A CN 104423038 B CN104423038 B CN 104423038B
- Authority
- CN
- China
- Prior art keywords
- unit
- focus area
- focus
- eyeglass
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 74
- 210000001747 pupil Anatomy 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 24
- 230000005611 electricity Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Abstract
电子设备以及焦点信息获取方法,所述电子设备包括:第一镜片以及第二镜片;第一框架单元,用于固定并支撑所述第一镜片以及所述第二镜片;第一显示单元,设置在所述第一镜片以及所述第二镜片中的至少一个上;第一焦点区域确定单元,设置在所述第一框架单元上,并且配置来获取用户通过所述电子设备关注的焦点区域,产生与所述焦点区域对应的焦点信息并且通过所述第一显示单元显示与所述焦点信息对应的提示信息。
Description
技术领域
本发明涉及一种电子设备及其焦点信息获取方法。
背景技术
当前,随着电子技术的发展,已经开发出了具有诸如拍摄照片或视频、导航之类的各种功能的电子眼镜。在用户佩戴这类电子眼镜时,经常会出现该用户希望固定其所关注的场景或画面作为焦点的情况。在这种情况下,通常很难固定其所关注的场景或画面作为焦点。此外,在佩戴这类电子眼镜的用户希望与其他用户分享的焦点的情况下,通常很难指出焦点的区域,尤其是在二者之间存在一定距离的情况下。
发明内容
为了解决现有技术中的上述技术问题,根据本发明的一方面,提供一种电子设备,包括:第一镜片以及第二镜片;第一框架单元,用于固定并支撑所述第一镜片以及所述第二镜片;第一显示单元,设置在所述第一镜片以及所述第二镜片中的至少一个上;第一焦点区域确定单元,设置在所述第一框架单元上,并且配置来获取用户通过所述电子设备关注的焦点区域,产生与所述焦点区域对应的焦点信息并且通过所述第一显示单元显示与所述焦点信息对应的提示信息。
此外,根据本发明的一个实施例,其中所述第一焦点区域确定单元进一步包括:前置摄像头单元,设置在所述第一框架单元前侧,并且配置来拍摄并产生所述电子设备前方的第一图像;处理单元,配置来根据所述第一图像确定所述第一图像中是否存在佩戴所述电子设备的用户的指向参照物,其中如果所述处理单元确定所述第一图像中存在用户的指向参照物,则所述处理单元基于所述指向参照物在第一图像中的位置确定所述焦点区域并产生所述焦点区域对应的焦点信息。
此外,根据本发明的一个实施例,其中所述第一焦点区域确定单元进一步包括:前置摄像头单元,设置在所述第一框架单元前侧,并且配置来拍摄并产生所述电子设备前方的第一图像;后置摄像头单元,设置在所述第一框架单元后侧,并且配置来拍摄并产生佩戴所述电子设备的用户的两个瞳孔角度的第二图像;处理单元,配置来根据所述第二图像确定所述用户的两个瞳孔角度,并且基于所述两个瞳孔角度确定所述第一图像中的焦点区域并产生所述焦点区域对应的焦点信息。
此外,根据本发明的一个实施例,其中所述焦点信息包括所述焦点区域的图像、所述焦点区域的图像的特征向量以及与所述焦点区域相关的区域的图像和特征向量中的至少一种。
此外,根据本发明的一个实施例,其中所述电子设备进一步包括:第一通信单元,设置在所述第一框架单元上,并且配置来将所述焦点信息传输给目标电子设备。
此外,根据本发明的一个实施例,其中所述目标电子设备进一步包括:第三镜片以及第四镜片;第二框架单元,用于固定并支撑所述第三镜片以及所述第四镜片;第二显示单元,设置在所述第三镜片以及所述第四镜片中的至少一个上;第二通信单元,配置来从所述第一通信单元获得所述焦点信息;以及第二焦点区域确定单元,设置在所述第二框架单元上,并且配置来基于所述焦点信息确定对应的焦点区域,并且通过第二显示单元向佩戴所述目标电子设备的用户提示所述焦点区域。
另外,根据本发明的另一方面,提供一种焦点信息获取方法,应用于一电子设备,所述电子设备包括第一镜片以及第二镜片、用于固定并支撑所述第一镜片以及所述第二镜片的第一框架单元、设置在所述第一镜片以及所述第二镜片中的至少一个上的第一显示单元以及设置在所述第一框架单元上的第一焦点区域确定单元,所述方法包括:通过所述第一焦点区域确定单元获取用户通过所述电子设备关注的焦点区域;产生与所述焦点区域对应的焦点信息;以及通过所述第一显示单元显示与所述焦点信息对应的提示信息。
此外,根据本发明的一个实施例,其中所述第一焦点区域确定单元进一步包括设置在所述第一框架单元前侧的前置摄像头单元;以及获取用户通过所述电子设备关注的焦点区域的步骤进一步包括:拍摄并产生所述电子设备前方的第一图像;以及根据所述第一图像确定所述第一图像中是否存在佩戴所述电子设备的用户的指向参照物;如果确定所述第一图像中存在用户的指向参照物,则基于所述指向参照物在第一图像中的位置确定所述焦点区域。
此外,根据本发明的一个实施例,其中所述第一焦点区域确定单元进一步包括:设置在所述第一框架单元前侧的前置摄像头单元以及设置在所述第一框架单元后侧的后置摄像头单元;以及获取用户通过所述电子设备关注的焦点区域的步骤进一步包括:拍摄并产生所述电子设备前方的第一图像;拍摄并产生佩戴所述电子设备的用户的两个瞳孔角度的第二图像;以及根据所述第二图像确定所述用户的两个瞳孔角度,并且基于所述两个瞳孔角度确定所述第一图像中的焦点区域。
此外,根据本发明的一个实施例,其中所述焦点信息包括所述焦点区域的图像、所述焦点区域的图像的特征向量以及与所述焦点区域相关的区域的图像和特征向量中的至少一种。
此外,根据本发明的一个实施例,其中所述电子设备进一步包括第一通信单元;以及所述方法进一步包括:通过第一通信单元将所述焦点信息传输给目标电子设备。
此外,根据本发明的一个实施例,其中所述目标电子设备进一步包括第三镜片以及第四镜片、用于固定并支撑所述第三镜片以及所述第四镜片的第二框架单元、设置在所述第三镜片以及所述第四镜片中的至少一个上的第二显示单元、用于配置来从所述第一通信单元获得所述焦点信息的第二通信单元以及设置在所述第二框架单元上的第二焦点区域确定单元,所述方法进一步包括:基于所述焦点信息确定对应的焦点区域,并且通过所述第二显示单元向佩戴所述目标电子设备的用户提示所述焦点区域。
附图说明
图1A和1B是图解根据本发明实施例的电子设备的示意图;以及
图2A和2B是图解根据本发明实施例的焦点区域确定单元的示意方框图;以及
图3是图解根据本发明实施例的焦点信息获取方法的流程图。
具体实施方式
将参照附图详细描述根据本发明的各个实施例。这里,需要注意的是,在附图中,将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分,并且将省略关于它们的重复描述。
图1A和图1B是图解根据本发明实施例的电子设备的示意方框图。这里,根据本发明实施例的电子设备可以是诸如电子眼镜之类的便携设备。
如图1A或图1B所示,根据本发明实施例的电子设备1可以包括镜片11以及镜片12、框架单元13、显示单元14以及焦点区域确定单元15。
这里,镜片11以及镜片12可以由任意的塑料或玻璃制成。
框架单元13可以由任意材料实现的眼镜架,该眼镜架可以固定并支撑镜片11以及镜片12。
显示单元14可以设置在镜片11以及镜片12中的至少一个上。如图1A所示,显示单元14可以设置在镜片11上,而如图2B所示,显示单元14可以设置在镜片12上。另外,显示单元14显然也可以设置在镜片11和12上。这里,显示单元14可以是设置在镜片11或镜片12内的透明液晶显示层。此外,显示单元14还可以是能够将图像投影在镜片11或镜片12上的微型投影仪。
焦点区域确定单元15可以设置在框架单元13上。例如,如图1A所示,焦点区域确定单元15可以设置在框架单元13上位于镜片11以及镜片12之间的区域上。另外,如图1B所示,焦点区域确定单元15可以设置在框架单元13的左侧镜架或右侧镜架上。根据本发明的实施例,焦点区域确定单元15可以获取用户通过电子设备1关注的焦点区域,产生与焦点区域对应的焦点信息并且通过显示单元14显示与焦点信息对应的提示信息。
下面将参照不同的实施例描述焦点区域确定单元15的结构以及执行的操作。
例如,根据本发明的一个实施例,如图2A所示,焦点区域确定单元15可以进一步包括前置摄像头单元151以及处理单元152。
具体地,前置摄像头单元151设置在框架单元13前侧。例如,前置摄像头单元151可以设置在框架单元13上位于镜片11以及镜片12之间的区域上,另外,前置摄像头单元151还可以设置在框架单元13的左侧镜架或右侧镜架上。前置摄像头单元151可以由摄像头模块实现,并且可以用于拍摄并产生电子设备1前方的图像。
处理单元152可以由任意的微处理器实现。这里,处理单元152可以基于预设在电子设备的存储器(未示出)中的程序执行预设的处理。根据本发明的实施例,处理单元152可以根据前置摄像头单元151获得的图像确定在该图像中是否存在佩戴电子设备1的用户的指向参照物(如,手指)。如果处理单元152确定在该图像中存在用户的指向参照物,则处理单元152基于指向参照物在该图像中的位置确定焦点区域并产生焦点区域对应的焦点信息并通过显示单元14显示与焦点信息对应的提示信息。
具体地,可以在电子设备1中预设焦点区域追踪模式。当用户通过输入(如,电子设备1上的按键、语音输入、手势输入)激活焦点区域追踪模式时,前置摄像头单元151启动,并且拍摄并产生电子设备1前方的图像。然后,前置摄像头单元151将所产生的图像发送给处理单元152。在这种情况下,处理单元152可以根据所获得的图像确定在该图像中是否存在佩戴电子设备1的用户的指向参照物。这里,用户的指向参照物可以是手指或者是诸如笔之类的能够进行指向的参照物,而且可以在电子设备1中预设上述指向参照物的图形识别功能以使得处理单元152能够根据所获得的图像确定在该图像中是否存在佩戴电子设备1的用户的指向参照物。
在处理单元152确定在该图像中存在用户的指向参照物的情况下,处理单元152基于指向参照物在该图像中的位置确定焦点区域并产生焦点区域对应的焦点信息。具体地,由于前置摄像头单元151的实际位置(如,两个镜片之间或在任意的镜片的一侧)与佩戴电子设备1的用户的眼睛的位置不同,因此在前置摄像头单元151拍摄的图像中的指向参照物所指向的对象与用户实际指向的对象有可能不同。这里,由于不同用户的眼部位置通常是固定的,因此处理单元152需要根据前置摄像头单元151在框架13上的位置获得其与用户的眼部位置之间的位置关系,然后利用该位置关系、前置摄像头单元151的焦距以及指向参照物在该图像中的位置来计算用户希望指向的对象在前置摄像头单元151所拍摄的图像中的位置。然后,处理单元152基于用户希望指向的对象在前置摄像头单元151在所拍摄的图像中的位置来确定焦点区域(如,从该位置起扩展50*50像素的区域)。这里,根据本发明的一个实施例,为了减少计算量,前置摄像头单元151的焦距可以为与人眼的焦距类似(如,50mm)。这里,可以通过实验值来获得完成上述计算的各种参数(如,位置关系、焦距、指向参照物在图像中的位置等的加权系数),并且上述计算参数可以因前置摄像头单元151的位置的不同而不同,因此这里不对其进行限定。在确定了焦点区域之后,处理单元152可以产生焦点区域对应的焦点信息。根据本发明的实施例,焦点信息可以至少包括焦点区域的图像、焦点区域的图像的特征向量以及焦点区域相关的区域的图像和特征向量中的一种。例如,焦点信息可以是所确定的焦点区域的图像或者可以是从所确定的焦点区域的图像提取的特征向量(如,线条轮廓等),还可以是二者。
然后,处理单元152可以通过显示单元14显示与焦点信息对应的提示信息。这里,根据本发明的一个实施例,由于显示单元14可以是设置在镜片11或镜片12内的透明液晶显示层,因此可以在显示单元14上显示与焦点信息对应的提示信息同时不影响佩戴电子设备1的用户观察真实景象。这里,焦点信息对应的提示信息可以是包围所确定的焦点区域的边框等等以提示用户所选取的焦点区域,使得用户可以确定是否已经选择了其所希望选择的对象。这里,处理单元152既可以使用前置摄像头单元151拍摄的图像来使显示单元14显示提示信息,还可以不使用前置摄像头单元151拍摄的图像来使显示单元14显示提示信息。在不使用前置摄像头单元151拍摄的图像来使显示单元14显示提示信息的情况下,处理单元152可以基于所确定的焦点区域在前置摄像头单元151拍摄的图像中的位置计算提示信息(如,边框)在显示单元14上的显示位置(如,根据前置摄像头单元151与显示单元14的位置关系以及焦点区域在前置摄像头单元151拍摄的图像中的位置调整诸如边框之类的提示信息在显示单元14上的显示位置)。此外,需要注意的是,处理单元152可以以预定的时间间隔(如,100ms)重复执行上面描述的处理,使得焦点区域、焦点信息以及提示信息可以随用户的指向参照物的变化而改变。
下面将描述根据本发明另一个实施例的焦点区域确定单元的结构和操作。例如,如图2B所示,焦点区域确定单元15可以进一步包括前置摄像头单元151、处理单元152以及后置摄像头单元153。与之前的描述类似,前置摄像头单元151设置在框架单元13前侧,并且可以用于拍摄并产生电子设备1前方的图像。
后置摄像头单元153,设置在框架单元13后侧。例如,后置摄像头单元153可以设置在框架单元13上位于镜片11以及镜片12之间面向用户的面部的区域上。后置摄像头单元153可以拍摄并产生佩戴电子设备1的用户的两个瞳孔角度的图像。
根据本实施例,在预设的程序的控制下,处理单元152可以根据后置摄像头单元153拍摄的图像确定用户的两个瞳孔角度,并且基于该两个瞳孔角度确定前置摄像头单元151拍摄的图像中的焦点区域并产生焦点区域对应的焦点信息。
具体地,可以在电子设备1中预设焦点区域追踪模式。当用户通过输入(如,电子设备1上的按键、语音输入、手势输入)激活焦点区域追踪模式时,前置摄像头单元151启动,并且拍摄并产生电子设备1前方的图像。同时,后置摄像头单元153启动,并且拍摄并产生佩戴电子设备1的用户的两个瞳孔角度的图像。
然后,前置摄像头单元151和后置摄像头单元153分别将所产生的图像发送给处理单元152。由于用户在观看特定的对象时,其双眼均注视该对象,因此该用户的两个通孔的朝向的延长线会在该对象处汇聚。根据这种情况下,处理单元152可以根据后置摄像头单元153拍摄的图像确定用户的两个瞳孔角度,并且基于该两个瞳孔角度确定前置摄像头单元151拍摄的图像中的焦点区域并产生焦点区域对应的焦点信息。具体地,处理单元152可以根据后置摄像头单元153拍摄的图像中用户的两个瞳孔的位置计算该两个瞳孔的方向(注视方向)相对于其中心轴(向正前方直视)偏离的角度,从而根据两个瞳孔的方向相对于其中心轴偏离的角度计算二者相交的区域(焦点区域),即用户在朝哪个方向看。然后,处理单元152根据计算的相交区域确定在前置摄像头单元151拍摄的图像中的焦点区域(如,50*50像素的区域)的位置。这里,由于前置摄像头单元151和后置摄像头单元153可以选取具有不同焦距或具有变焦功能的摄像头,因此可以通过实验来获得完成上述计算的各种参数(如,前置摄像头单元151和后置摄像头153之间的位置关系、焦距等的加权系数),并且这里不对其进行限定。在确定了焦点区域之后,处理单元152可以产生焦点区域对应的焦点信息。这里,焦点信息可以是所确定的焦点区域的图像或者可以是从所确定的焦点区域的图像提取的特征向量(如,线条轮廓等),还可以是二者。
然后,处理单元152可以通过显示单元14显示与焦点信息对应的提示信息。例如,焦点信息对应的提示信息可以是包围所确定的焦点区域的边框等等以提示用户所选取的焦点区域,使得用户可以确定是否已经选择了其所希望选择的对象。这里,处理单元152既可以使用前置摄像头单元151拍摄的图像来使显示单元14显示提示信息,还可以不使用前置摄像头单元151拍摄的图像来使显示单元14显示提示信息。在不使用前置摄像头单元151拍摄的图像来使显示单元14显示提示信息的情况下,处理单元152可以基于所确定的焦点区域在前置摄像头单元151拍摄的图像中的位置计算提示信息(如,边框)在显示单元14上的显示位置(如,根据前置摄像头单元151与显示单元14的位置关系以及焦点区域在前置摄像头单元151拍摄的图像中的位置调整诸如边框之类的提示信息在显示单元14上的显示位置)。这里,需要注意的是,处理单元152可以以预定的时间间隔(如,100ms)重复执行上面描述的处理,使得焦点区域、焦点信息以及提示信息可以随用户的瞳孔的移动而改变。
在上述两个实施例中描述了确定焦点区域并产生焦点信息的不同方式,下面将描述针对焦点信息的处理。
在电子设备1中的处理单元152确定了焦点区域、产生与焦点区域相关的焦点信息并向用户显示提示信息期间,当用户通过特定输入(如,电子设备1上的按键、语音输入、手势输入)确认了焦点区域时,处理单元152可以在电子设备的存储器(未示出)中存储与所确认的焦点区域对应的焦点信息。这里,该焦点信息可用于与佩戴该电子设备1的其它用户或佩戴其它电子设备1的其它用户进行分享。
将描述焦点信息用于与佩戴该电子设备1的其它用户分享的情况。例如,在另一用户从电子设备1的当前用户接过电子设备1并佩戴电子设备1并通过特定的输入(如,电子设备1上的按键、语音输入、手势输入)希望查询之前用户确认的焦点区域时,电子设备1的前置摄像头单元151可以拍摄电子设备1前方的图像,处理单元152可以通过任意的图像识别技术确定在前置摄像头单元151拍摄的图像中是否存在与之前确认的焦点区域的焦点信息匹配的区域。如果存在与焦点信息匹配的区域,则处理单元152通过显示单元14向佩戴电子设备1的另一用户提示该区域(如,通过边框)。这里,与之前的描述类似,处理单元152既可以使用前置摄像头单元151拍摄的图像来使显示单元14向另一用户提示该区域,还可以不使用前置摄像头单元151拍摄的图像来向另一用户进行提示。在不使用前置摄像头单元151拍摄的图像来向另一用户进行提示的情况下,处理单元152可以基于在前置摄像头单元151拍摄的图像中与焦点信息匹配的区域的位置计算提示信息(如,边框)在显示单元14上的显示位置(如,根据前置摄像头单元151与显示单元14的位置关系以及与焦点信息匹配的区域在前置摄像头单元151拍摄的图像中的位置调整诸如边框之类的提示信息在显示单元14上的显示位置)。
另外,根据本发明的另一个实施例,电子设备1还可以包括通信单元(未示出)。通信单元可以设置在框架单元13的任意位置上,并且可以由诸如蓝牙、2G-4G模块之类的通信模块实现。通信单元可以用于将之前用户确认的焦点信息传输给目标电子设备。
这里,根据本发明的一个实施例,目标电子设备可以是与电子设备1具有相同或类似结构的电子设备,因此这里仅对其进行简单描述。根据本发明实施例的目标电子设备可以包括:两个镜片(为了与电子设备1区分,下面称为第三镜片以及第四镜片)、框架单元(为了与电子设备1区分下面称为第二框架单元)、显示单元(为了与电子设备1区分下面称为第二显示单元)、通信单元(为了与电子设备1区分下面称为第二通信单元)以及焦点区域确定单元(为了与电子设备1区分下面称为第二焦点区域确定单元)。
第二框架单元用于固定并支撑第三镜片以及第四镜片。第二显示单元可以设置在第三镜片以及第四镜片中的至少一个上。第二通信单元可以设置在第二框架单元上,并且可以从电子设备1的通信单元获得之前电子设备1的用户确认的焦点信息;第二焦点区域确定单元可以设置在第二框架单元上(如,框架单元的第三镜片和第四镜片之间的部分或第二框架的一侧),并且配置来基于焦点信息确定对应的焦点区域,并且通过第二显示单元向佩戴目标电子设备的用户提示焦点区域。
下面,将描述焦点信息用于与佩戴该目标电子设备的其它用户分享的情况。例如,在佩戴目标电子设备的另一用户从电子设备1接收到之前电子设备1的用户确认的焦点信息时,目标电子设备的第二焦点区域确定单元中的前置摄像头单元可以拍摄目标电子设备前方的图像,第二焦点区域确定单元中的处理单元可以通过任意的图像识别技术确定在第二焦点区域确定单元的前置摄像头单元拍摄的图像中是否存在与所接收的焦点信息匹配的区域。如果存在与焦点信息匹配的区域,则第二焦点区域确定单元的处理单元通过第二显示单元向佩戴目标电子设备的另一用户提示该区域(如,通过边框)。这里,与之前的描述类似,第二焦点区域确定单元的处理单元既可以使用第二焦点区域确定单元的前置摄像头单元拍摄的图像来使第二显示单元向另一用户提示该区域,还可以不使用该前置摄像头单元拍摄的图像来向另一用户进行提示。在不使用该前置摄像头单元拍摄的图像来向另一用户进行提示的情况下,第二焦点区域确定单元的处理单元可以基于在该前置摄像头单元拍摄的图像中与焦点信息匹配的区域的位置计算提示信息(如,边框)在第二显示单元上的显示位置(如,根据该前置摄像头单元与第二显示单元的位置关系以及与焦点信息匹配的区域在该前置摄像头单元拍摄的图像中的位置调整诸如边框之类的提示信息在第二显示单元上的显示位置)。
通过上述方式,在用户佩戴电子设备1期间,在该用户希望固定其所关注的场景或画面时,可以通过确定焦点区域并产生焦点信息的方式固定其所关注的场景或画面。此外,在佩戴电子设备1的用户希望与其他用户分享的其所关注的场景或画面的情况下,可以通过在电子设备1中存储焦点信息或向目标电子设备发送焦点信息使得电子设备1或目标电子设备能够基于焦点信息寻找之前佩戴电子设备1的用户关注的场景或画面以向另一用户进行提示。
下面,将描述根据本发明实施例的焦点信息获取方法。图3是图解根据本发明实施例的焦点信息获取方法的流程图。这里,图3的方法可以应用到图1所示的电子设备1上。需要注意的是,由于之前已经对电子设备1进行了详细描述,因此为了使说明书更加简明,这里仅对其进行简单描述。与图1的描述类似,电子设备1包括镜片11以及镜片12、框架单元13、显示单元14以及焦点区域确定单元15。框架单元13用于固定并支撑镜片11以及镜片12。显示单元14设置在镜片11以及镜片12中的至少一个上,而焦点区域确定单元15设置在框架单元13上。
如图3所示,在步骤S301,通过焦点区域确定单元获取用户通过电子设备关注的焦点区域。然后在步骤S302,产生与焦点区域对应的焦点信息。在步骤S303,通过显示单元显示与焦点信息对应的提示信息。
例如,根据本发明的一个实施例,在焦点区域确定单元15包括前置摄像头单元151(设置在框架单元13前侧,并且用于拍摄并产生电子设备1前方的图像)以及处理单元152的情况中,步骤S301可以进一步包括步骤:拍摄并产生电子设备前方的图像;以及根据该图像确定该图像中是否存在佩戴电子设备的用户的指向参照物;如果确定在该图像中存在用户的指向参照物,则基于指向参照物在该图像中的位置确定焦点区域。具体地,处理单元152可以根据前置摄像头单元151获得的图像确定在该图像中是否存在佩戴电子设备1的用户的指向参照物(如,手指)。如果处理单元152确定在该图像中存在用户的指向参照物,则处理单元152基于指向参照物在该图像中的位置确定焦点区域。这里,由于在之前已经详细描述了处理单元152基于指向参照物在该图像中的位置确定焦点区域的处理,因此这里不再赘述。
然后,在确定了焦点区域之后,在步骤S302,处理单元152产生与焦点区域对应的焦点信息。根据本发明的实施例,焦点信息可以至少包括焦点区域的图像、焦点区域的图像的特征向量以及焦点区域相关的区域的图像和特征向量中的一种。例如,焦点信息可以是所确定的焦点区域的图像或者可以是从所确定的焦点区域的图像提取的特征向量(如,线条轮廓等),还可以是二者。
然后,在步骤S303,处理单元152通过显示单元14显示与焦点信息对应的提示信息。这里,焦点信息对应的提示信息可以是包围所确定的焦点区域的边框等等以提示用户所选取的焦点区域,使得用户可以确定是否已经选择了其所希望选择的对象。此外,需要注意的是,处理单元152可以以预定的时间间隔(如,100ms)重复执行上面描述的处理,使得焦点区域、焦点信息以及提示信息可以随用户的指向参照物的变化而改变。
此外,根据本发明的另一个实施例,在焦点区域确定单元15包括前置摄像头单元151(设置在框架单元13前侧,并且用于拍摄并产生电子设备1前方的图像)、处理单元152以及后置摄像头单元153(设置在框架单元13后侧并且用于拍摄并产生佩戴电子设备1的用户的两个瞳孔角度的图像)的情况下,步骤S301可以进一步包括步骤:拍摄并产生电子设备前方的图像;拍摄并产生佩戴电子设备的用户的两个瞳孔角度的另一图像;以及根据该另一图像确定用户的两个瞳孔角度,并且基于两个瞳孔角度确定电子设备前方的图像中的焦点区域。具体地,处理单元152根据后置摄像头单元153拍摄的图像确定用户的两个瞳孔角度,并且基于该两个瞳孔角度确定前置摄像头单元151拍摄的图像中的焦点区域并产生焦点区域对应的焦点信息。这里,由于在之前已经详细描述了处理单元152基于两个瞳孔的角度确定前置摄像头单元151拍摄的图像中焦点区域的处理,因此这里不再赘述。
在确定了焦点区域之后,在步骤S302,处理单元152产生焦点区域对应的焦点信息。这里,焦点信息可以是所确定的焦点区域的图像或者可以是从所确定的焦点区域的图像提取的特征向量(如,线条轮廓等),还可以是二者。
然后,在步骤S303,处理单元152通过显示单元14显示与焦点信息对应的提示信息。例如,焦点信息对应的提示信息可以是包围所确定的焦点区域的边框等等以提示用户所选取的焦点区域,使得用户可以确定是否已经选择了其所希望选择的对象。这里,需要注意的是,处理单元152可以以预定的时间间隔(如,100ms)重复执行上面描述的处理,使得焦点区域、焦点信息以及提示信息可以随用户的瞳孔的移动而改变。
此外,所产生的与焦点区域对应的焦点信息可以用于与佩戴该电子设备1的其它用户或佩戴其它电子设备的其它用户进行分享。例如,在电子设备1中的处理单元152确定了焦点区域、产生与焦点区域相关的焦点信息并向用户显示提示信息期间,当用户通过特定输入(如,电子设备1上的按键、语音输入、手势输入)确认了焦点区域时,处理单元152可以在电子设备的存储器(未示出)中存储与所确认的焦点区域对应的焦点信息。这里,该焦点信息可用于与佩戴该电子设备1的其它用户或佩戴其它电子设备1的其它用户进行分享。
例如,在电子设备1电子设备进一步包括通信单元的情况下,图3的方法还可以进一步包括步骤:通过通信单元将焦点信息传输给目标电子设备。这里,根据本发明的一个实施例,目标电子设备可以是与电子设备1具有相同或类似结构的电子设备。例如,目标电子设备可以包括:两个镜片(为了与电子设备1区分,下面称为第三镜片以及第四镜片)、用于固定并支撑第三镜片以及第四镜片的框架单元(为了与电子设备1区分下面称为第二框架单元)、设置在第三镜片以及第四镜片中的至少一个上的显示单元(为了与电子设备1区分下面称为第二显示单元)、设置在第二框架单元上的通信单元(为了与电子设备1区分下面称为第二通信单元)以及设置在第二框架单元上的焦点区域确定单元(为了与电子设备1区分下面称为第二焦点区域确定单元)。在这种情况下,图3的方法还可以进一步包括步骤:基于焦点信息确定对应的焦点区域,并且通过第二显示单元向佩戴目标电子设备的用户提示焦点区域。
具体地,在佩戴目标电子设备的另一用户从电子设备1接收到之前电子设备1的用户确认的焦点信息时,目标电子设备的第二焦点区域确定单元中的前置摄像头单元可以拍摄目标电子设备前方的图像,第二焦点区域确定单元中的处理单元可以通过任意的图像识别技术确定在第二焦点区域确定单元的前置摄像头单元拍摄的图像中是否存在与所接收的焦点信息匹配的区域。如果存在与焦点信息匹配的区域,则第二焦点区域确定单元的处理单元通过第二显示单元向佩戴目标电子设备的另一用户提示该区域(如,通过边框)。这里,与之前的描述类似,第二焦点区域确定单元的处理单元既可以使用第二焦点区域确定单元的前置摄像头单元拍摄的图像来使第二显示单元向另一用户提示该区域,还可以不使用该前置摄像头单元拍摄的图像来向另一用户进行提示。在不使用该前置摄像头单元拍摄的图像来向另一用户进行提示的情况下,第二焦点区域确定单元的处理单元可以基于在该前置摄像头单元拍摄的图像中与焦点信息匹配的区域的位置计算提示信息(如,边框)在第二显示单元上的显示位置(如,根据该前置摄像头单元与第二显示单元的位置关系以及与焦点信息匹配的区域在该前置摄像头单元拍摄的图像中的位置调整诸如边框之类的提示信息在第二显示单元上的显示位置)。
此外,根据本发明的另一个实施例,在另一用户从电子设备1的当前用户接过电子设备1并佩戴电子设备1并通过特定的输入(如,电子设备1上的按键、语音输入、手势输入)希望查询之前用户确认的焦点区域时,电子设备1的前置摄像头单元151可以拍摄电子设备1前方的图像,处理单元152可以通过任意的图像识别技术确定在前置摄像头单元151拍摄的图像中是否存在与之前确认的焦点区域的焦点信息匹配的区域。如果存在与焦点信息匹配的区域,则处理单元152通过显示单元14向佩戴电子设备1的另一用户提示该区域(如,通过边框)。这里,与之前的描述类似,处理单元152既可以使用前置摄像头单元151拍摄的图像来使显示单元14向另一用户提示该区域,还可以不使用前置摄像头单元151拍摄的图像来向另一用户进行提示。在不使用前置摄像头单元151拍摄的图像来向另一用户进行提示的情况下,处理单元152可以基于在前置摄像头单元151拍摄的图像中与焦点信息匹配的区域的位置计算提示信息(如,边框)在显示单元14上的显示位置(如,根据前置摄像头单元151与显示单元14的位置关系以及与焦点信息匹配的区域在前置摄像头单元151拍摄的图像中的位置调整诸如边框之类的提示信息在显示单元14上的显示位置)。
如上所述,已经在上面具体地描述了本发明的各个实施例,但是本发明不限于此。本领域的技术人员应该理解,可以根据设计要求或其它因素进行各种修改、组合、子组合或者替换,而它们在所附权利要求及其等效物的范围内。
Claims (12)
1.一种电子设备,包括:
第一镜片以及第二镜片;
第一框架单元,用于固定并支撑所述第一镜片以及所述第二镜片;
第一显示单元,设置在所述第一镜片以及所述第二镜片中的至少一个上;
第一焦点区域确定单元,设置在所述第一框架单元上,并且配置来获取用户通过所述电子设备关注的焦点区域,产生与所述焦点区域对应的焦点信息并且通过所述第一显示单元显示与所述焦点信息对应的提示信息。
2.如权利要求1所述的电子设备,其中所述第一焦点区域确定单元进一步包括:
前置摄像头单元,设置在所述第一框架单元前侧,并且配置来拍摄并产生所述电子设备前方的第一图像;
处理单元,配置来根据所述第一图像确定所述第一图像中是否存在佩戴所述电子设备的用户的指向参照物,其中如果所述处理单元确定所述第一图像中存在用户的指向参照物,则所述处理单元基于所述指向参照物在第一图像中的位置确定所述焦点区域并产生所述焦点区域对应的焦点信息。
3.如权利要求1所述的电子设备,其中所述第一焦点区域确定单元进一步包括:
前置摄像头单元,设置在所述第一框架单元前侧,并且配置来拍摄并产生所述电子设备前方的第一图像;
后置摄像头单元,设置在所述第一框架单元后侧,并且配置来拍摄并产生佩戴所述电子设备的用户的两个瞳孔角度的第二图像;
处理单元,配置来根据所述第二图像确定所述用户的两个瞳孔角度,并且基于所述两个瞳孔角度确定所述第一图像中的焦点区域并产生所述焦点区域对应的焦点信息。
4.如权利要求2或3所述的电子设备,其中
所述焦点信息包括所述焦点区域的图像和所述焦点区域的图像的特征向量中的至少一种,或者与所述焦点区域相关的区域的图像和特征向量。
5.如权利要求1所述的电子设备,进一步包括:
第一通信单元,设置在所述第一框架单元上,并且配置来将所述焦点信息传输给目标电子设备。
6.如权利要求5所述的电子设备,其中所述目标电子设备进一步包括:
第三镜片以及第四镜片;
第二框架单元,用于固定并支撑所述第三镜片以及所述第四镜片;
第二显示单元,设置在所述第三镜片以及所述第四镜片中的至少一个上;
第二通信单元,配置来从所述第一通信单元获得所述焦点信息;以及
第二焦点区域确定单元,设置在所述第二框架单元上,并且配置来基于所述焦点信息确定对应的焦点区域,并且通过第二显示单元向佩戴所述目标电子设备的用户提示所述焦点区域。
7.一种焦点信息获取方法,应用于一电子设备,所述电子设备包括第一镜片以及第二镜片、用于固定并支撑所述第一镜片以及所述第二镜片的第一框架单元、设置在所述第一镜片以及所述第二镜片中的至少一个上的第一显示单元以及设置在所述第一框架单元上的第一焦点区域确定单元,所述方法包括:
通过所述第一焦点区域确定单元获取用户通过所述电子设备关注的焦点区域;
通过所述第一焦点区域确定单元产生与所述焦点区域对应的焦点信息;以及
通过所述第一显示单元显示与所述焦点信息对应的提示信息。
8.如权利要求7所述的方法,其中
所述第一焦点区域确定单元进一步包括设置在所述第一框架单元前侧的前置摄像头单元;以及
获取用户通过所述电子设备关注的焦点区域的步骤进一步包括:
通过前置摄像头单元拍摄并产生所述电子设备前方的第一图像;以及
通过所述第一焦点区域确定单元的处理单元根据所述第一图像确定所述第一图像中是否存在佩戴所述电子设备的用户的指向参照物;
如果确定所述第一图像中存在用户的指向参照物,则通过所述第一焦点区域确定单元的处理单元基于所述指向参照物在第一图像中的位置确定所述焦点区域。
9.如权利要求7所述的方法,其中
所述第一焦点区域确定单元进一步包括:设置在所述第一框架单元前侧的前置摄像头单元以及设置在所述第一框架单元后侧的后置摄像头单元;以及
获取用户通过所述电子设备关注的焦点区域的步骤进一步包括:
通过前置摄像头单元拍摄并产生所述电子设备前方的第一图像;
通过后置摄像头单元拍摄并产生佩戴所述电子设备的用户的两个瞳孔角度的第二图像;以及
通过所述第一焦点区域确定单元的处理单元根据所述第二图像确定所述用户的两个瞳孔角度,并且基于所述两个瞳孔角度确定所述第一图像中的焦点区域。
10.如权利要求8或9所述的方法,其中
所述焦点信息包括所述焦点区域的图像和所述焦点区域的图像的特征向量中的至少一种,或者与所述焦点区域相关的区域的图像和特征向量。
11.如权利要求7所述的方法,其中
所述电子设备进一步包括第一通信单元;以及
所述方法进一步包括:
通过第一通信单元将所述焦点信息传输给目标电子设备。
12.如权利要求11所述的方法,其中所述目标电子设备进一步包括第三镜片以及第四镜片、用于固定并支撑所述第三镜片以及所述第四镜片的第二框架单元、设置在所述第三镜片以及所述第四镜片中的至少一个上的第二显示单元、用于配置来从所述第一通信单元获得所述焦点信息的第二通信单元以及设置在所述第二框架单元上的第二焦点区域确定单元,所述方法进一步包括:
通过所述第二焦点区域确定单元基于所述焦点信息确定对应的焦点区域,并且通过所述第二显示单元向佩戴所述目标电子设备的用户提示所述焦点区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310362035.5A CN104423038B (zh) | 2013-08-19 | 2013-08-19 | 电子设备及其焦点信息获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310362035.5A CN104423038B (zh) | 2013-08-19 | 2013-08-19 | 电子设备及其焦点信息获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104423038A CN104423038A (zh) | 2015-03-18 |
CN104423038B true CN104423038B (zh) | 2017-07-21 |
Family
ID=52972536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310362035.5A Active CN104423038B (zh) | 2013-08-19 | 2013-08-19 | 电子设备及其焦点信息获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104423038B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210073603A (ko) | 2018-11-09 | 2021-06-18 | 베크만 컬터, 인코포레이티드 | 선택적 데이터 제공을 갖는 서비스 안경 |
US11983959B2 (en) | 2019-04-18 | 2024-05-14 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102404584A (zh) * | 2010-09-13 | 2012-04-04 | 腾讯科技(成都)有限公司 | 调整场景左右摄像机的方法及装置、3d眼镜、客户端 |
CN102458224A (zh) * | 2009-05-12 | 2012-05-16 | 依视路国际集团(光学总公司) | 描绘佩戴者注视方向特征的成副眼镜 |
US8203502B1 (en) * | 2011-05-25 | 2012-06-19 | Google Inc. | Wearable heads-up display with integrated finger-tracking input sensor |
CN102598655A (zh) * | 2009-11-12 | 2012-07-18 | 三星电子株式会社 | 图像显示装置、照相机及其控制方法 |
-
2013
- 2013-08-19 CN CN201310362035.5A patent/CN104423038B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102458224A (zh) * | 2009-05-12 | 2012-05-16 | 依视路国际集团(光学总公司) | 描绘佩戴者注视方向特征的成副眼镜 |
CN102598655A (zh) * | 2009-11-12 | 2012-07-18 | 三星电子株式会社 | 图像显示装置、照相机及其控制方法 |
CN102404584A (zh) * | 2010-09-13 | 2012-04-04 | 腾讯科技(成都)有限公司 | 调整场景左右摄像机的方法及装置、3d眼镜、客户端 |
US8203502B1 (en) * | 2011-05-25 | 2012-06-19 | Google Inc. | Wearable heads-up display with integrated finger-tracking input sensor |
Also Published As
Publication number | Publication date |
---|---|
CN104423038A (zh) | 2015-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11614631B1 (en) | Adaptive viewports for a hyperfocal viewport (HVP) display | |
US9509916B2 (en) | Image presentation method and apparatus, and terminal | |
CN111696213B (zh) | 图像生成装置、图像生成方法以及计算机可读介质 | |
US10198622B2 (en) | Electronic mirror device | |
JP6095763B2 (ja) | ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法 | |
US10284817B2 (en) | Device for and method of corneal imaging | |
WO2016021034A1 (ja) | 3次元上の注視点の位置特定アルゴリズム | |
JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
WO2014128748A1 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
KR20160146037A (ko) | 카메라의 초점을 변경하는 방법 및 장치 | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
JP6576639B2 (ja) | 電子眼鏡および電子眼鏡の制御方法 | |
CN109799899B (zh) | 交互控制方法、装置、存储介质和计算机设备 | |
JP2022183177A (ja) | ヘッドマウントディスプレイ装置 | |
KR20200075541A (ko) | 안경 착용 시뮬레이션 방법 | |
JP2018513656A (ja) | 画像強調可能な眼鏡構造 | |
CN104423038B (zh) | 电子设备及其焦点信息获取方法 | |
JP6446465B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
CN206833075U (zh) | 头戴式显示设备和电子设备 | |
JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
KR100846355B1 (ko) | 두부 장착식 디스플레이 장치의 시력 보조 방법 및 그 두부장착식 디스플레이 장치 | |
CN115103094A (zh) | 一种基于注视点的摄像头模组远视角调节方法及系统 | |
CN113891002A (zh) | 拍摄方法及装置 | |
KR20180116044A (ko) | 증강현실용 디바이스와 그 증강현실 출력 방법 | |
WO2016051429A1 (ja) | 入出力装置、入出力プログラム、および入出力方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |