CN117425004A - Tof相机的测试方法及相关装置 - Google Patents
Tof相机的测试方法及相关装置 Download PDFInfo
- Publication number
- CN117425004A CN117425004A CN202311733780.6A CN202311733780A CN117425004A CN 117425004 A CN117425004 A CN 117425004A CN 202311733780 A CN202311733780 A CN 202311733780A CN 117425004 A CN117425004 A CN 117425004A
- Authority
- CN
- China
- Prior art keywords
- tof camera
- camera
- tof
- node
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000010998 test method Methods 0.000 claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims description 73
- 238000001559 infrared map Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 230000005856 abnormality Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 230000037361 pathway Effects 0.000 claims description 12
- 230000008093 supporting effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 8
- 125000004122 cyclic group Chemical group 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种TOF相机的测试方法及相关装置,涉及终端技术领域。该方法包括:响应于对电子设备中第一飞行时间TOF相机进行测试的操作,获取第一TOF相机的第一信息,其中,电子设备中存储有一个或多个TOF相机各自的信息;通过第一信息,创建第一通路,第一通路用于传输打开第一TOF相机的控制指令,和用于传输第一TOF相机获取的图像;在第一通路中对第一TOF相机进行测试。这样,可以实现对一个或多个TOF相机进行测试。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种TOF相机的测试方法及相关装置。
背景技术
电子设备可以包括一个或者多个飞行时间(time of flight,TOF)相机,以实现人脸解锁、人脸支付以及对焦等功能。
在电子设备出厂前,需要对这一个或者多个TOF相机进行测试,实现对有问题的TOF相机进行提前拦截,以降低电子设备出厂后的维修成本和市场维修率(fault feedbackratio,FFR)。
但是,目前的测试方法不能对多个TOF相机进行测试,灵活性较差。
发明内容
本申请实施例提供一种TOF相机的测试方法及相关装置,应用于终端技术领域,可以对一个或多个TOF相机进行测试。
第一方面,本申请实施例提出一种TOF相机的测试方法。该方法包括:响应于对电子设备中第一TOF相机进行测试的操作,获取第一TOF相机的第一信息,其中,电子设备中存储有一个或多个TOF相机各自的信息;通过第一信息,创建第一通路,第一通路用于传输打开第一TOF相机的控制指令,和用于传输第一TOF相机获取的图像;在第一通路中对第一TOF相机进行测试。
本申请实施例提供的TOF相机的测试方法,存储有一个或多个TOF相机相关的信息,可以通过第一TOF相机的第一信息,创建支持第一TOF相机测试的通路,这样,便于基于不同的TOF相机的相关信息创建不同的通路进行测试,灵活性较强,可以实现对一个或多个TOF相机进行测试。
在一种可能的实现方式中,第一信息包括第一TOF相机的分辨率和第一TOF相机的数据格式;通过第一信息,创建第一通路,包括:将支持分辨率和数据格式的节点进行设置,得到第一通路。这样,有利于得到与第一TOF相机相符的通路,对第一TOF相机进行测试。
在一种可能的实现方式中,响应于对电子设备中第一TOF相机进行测试的操作,获取第一TOF相机的第一信息,包括:应用层响应于对电子设备中第一TOF相机进行测试的操作,向应用程序框架层传输打开第一TOF相机的请求,第一TOF相机的请求中包括第一信息;通过第一信息,创建第一通路,包括:应用程序框架层调用硬件抽象层,使得硬件抽象层通过第一信息,创建第一通路。
这样,通过硬件抽象层创建第一通路,无需应用层感知。
在一种可能的实现方式中,第一信息包括第一TOF相机的分辨率和第一TOF相机的数据格式;应用程序框架层调用硬件抽象层,使得硬件抽象层通过第一信息,创建第一通路,包括:硬件抽象层将支持分辨率和数据格式的第一节点和第二节点进行设置,创建第一通路,第一通路包括第一TOF相机、图像前处理(image front end,IFE)模块、图像信号处理(image signal processor,ISP)驱动、IFE节点以及深度节点;其中,传感器节点用于指示摄像头驱动控制第一TOF相机工作,并用于接收来自摄像头驱动检测的第一异常数据,和/或,用于接收ISP驱动检测的第二异常数据,第一异常数据表示第一TOF相机存在上电异常,第二异常数据表示第一TOF相机与IFE模块之间的硬件通路异常;摄像头驱动用于驱动第一TOF相机工作,且用于检测第一TOF相机是否存在上电异常或者器件本身是否存在异常;IFE模块用于接收第一TOF相机采集的原始图像,并向IFE节点转发;ISP驱动用于将从IFE模块接收的数据向IFE节点传输,并检测第一TOF相机与IFE模块之间的硬件通路是否异常;IFE节点用于向深度节点传输第一TOF相机采集的原始图像,并向深度节点传输摄像头驱动检测的第三异常数据,第三异常数据表示第一TOF相机器件本身存在异常;深度节点用于判断第一TOF相机器件本身和第一TOF相机的标定数据是否存在异常。这样,通过第一通路实现对第一TOF相机的测试。
在一种可能的实现方式中,创建第一通路,包括:传感器节点接收到来自摄像头驱动的第一异常数据;传感器节点向应用程序框架层传输上电失败的消息;上电失败的消息经应用程序框架层传输至应用层。这样,测试失败时,有利于快速确认是由于上电失败造成的TOF测试失败。
在一种可能的实现方式中,在创建第一通路之后,方法还包括:应用层向应用程序框架层发送数据请求消息,数据请求消息用于请求第一TOF相机的红外(infrared ray,IR)图和第一TOF相机的深度图;若在第一通路中对第一TOF相机进行测试的结果为第一TOF相机没有异常,则应用程序框架层通过第一通路得到IR图和深度图,并向应用层传输IR图和深度图;应用层显示IR图。这样,可以显示第一TOF相机采集的图像。
在一种可能的实现方式中,在第一通路中对第一TOF相机进行测试,包括:传感器节点接收到来自ISP驱动的第二异常数据;传感器节点向应用程序框架层传输第一TOF相机的硬件通路存在异常的消息;第一TOF相机的硬件通路存在异常的消息经应用程序框架层传输至应用层。这样,可以实现对第一TOF相机的硬件通路的检测。
在一种可能的实现方式中,在第一通路中对第一TOF相机进行测试,包括:深度节点接收到第三异常数据;深度节点向应用程序框架层传输第一TOF相机器件本身存在异常的消息;第一TOF相机器件本身存在异常的消息经应用程序框架层传输至应用层。这样,可以实现对第一TOF器件本身进行测试。
在一种可能的实现方式中,在第一通路中对第一TOF相机进行测试,包括:深度节点接收到第一TOF相机采集的原始图像;若电子设备的软件版本为第一版本,深度节点获取第一TOF相机的标定数据,第一版本用于表示电子设备中的TOF相机已被标定;深度节点通过标定数据将原始图像转换为IR图和深度图;若转换不成功,深度节点向应用程序框架层传输检查失败的消息,检查失败的消息经应用程序框架层传输至应用层。这样,可以实现对第一TOF器件的标定数据进行测试。
在一种可能的实现方式中,第一信息包括第一TOF相机的分辨率,分辨率为IR图的分辨率。这样,可以基于IR图的分辨率为第一TOF相机配流,相比请求RAW图,有利于节约内存。
在一种可能的实现方式中,包括:响应于对电子设备中第二TOF相机进行测试的操作,获取第二TOF相机的第二信息,第二信息与第一信息不同;通过第二信息,创建第二通路,第二通路用于传输打开第二TOF相机的控制指令,和用于传输第二TOF相机获取的图像;在第二通路中对第二TOF相机进行测试。本申请实施例可以适用于多个TOF相机测试的场景。
第二方面,本申请实施例提供一种TOF相机的测试装置,该TOF相机的测试装置可以是电子设备,也可以是电子设备内的芯片或者芯片系统。当该TOF相机的测试装置是电子设备时,该处理单元可以是处理器。该TOF相机的测试装置还可以包括存储单元,该存储单元可以是存储器。该存储单元用于存储指令,该处理单元执行该存储单元所存储的指令,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种TOF相机的测试方法。当该TOF相机的测试装置是电子设备内的芯片或者芯片系统时,该处理单元可以是处理器。该处理单元执行存储单元所存储的指令,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种TOF相机的测试方法。该存储单元可以是该芯片内的存储单元(例如,寄存器、缓存等),也可以是该电子设备内的位于该芯片外部的存储单元(例如,只读存储器、随机存取存储器等)。
第三方面,本申请实施例提供一种电子设备,包括处理器和存储器,存储器用于存储代码指令,处理器用于运行代码指令,以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序或指令,当计算机程序或指令在计算机上运行时,使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。
第五方面,本申请实施例提供一种包括计算机程序的计算机程序产品,当计算机程序在计算机上运行时,使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。
第六方面,本申请提供一种芯片或者芯片系统,该芯片或者芯片系统包括至少一个处理器和通信接口,通信接口和至少一个处理器通过线路互联,至少一个处理器用于运行计算机程序或指令,以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。其中,芯片中的通信接口可以为输入/输出接口、管脚或电路等。
在一种可能的实现中,本申请中上述描述的芯片或者芯片系统还包括至少一个存储器,该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元,例如,寄存器、缓存等,也可以是该芯片的存储单元(例如,只读存储器、随机存取存储器等)。
应当理解的是,本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构的示意图;
图2为本申请实施例提供的一种电子设备的软件架构的示意图;
图3为本申请实施例提供的一种软件模块交互的示意图;
图4为本申请实施例提供的一种TOF相机的测试方法的模块交互示意图;
图5为本申请实施例提供的另一种软件模块交互的示意图;
图6为本申请实施例提供的另一种TOF相机的测试方法的模块交互示意图;
图7为本申请实施例提供的又一种软件模块交互的示意图;
图8为本申请实施例提供的又一种TOF相机的测试方法的模块交互示意图;
图9为本申请实施例提供的一种标定数据异常的界面示意图;
图10为本申请实施例提供的一种电子设备显示TOF相机获取的图像的界面示意图;
图11为本申请实施例提供的一种TOF相机的测试方法的示意性流程图;
图12为本申请实施例提供的一种芯片结构的示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,首先进行以下说明:
在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一TOF相机和第二TOF相机仅仅是为了区分不同的TOF相机,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a--c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
电子设备可以包括一个或者多个TOF相机,以实现人脸解锁、人脸支付以及对焦等功能。
在电子设备出厂前,需要对电子设备中的一个或者多个TOF相机进行测试,实现对有问题的TOF相机进行提前拦截,以降低电子设备出厂后的维修成本和FFR。
但是,目前的测试方法不能对多个TOF相机进行测试,灵活性较差。另外,现有的测试方法,在TOF相机出现问题的情况下,只能显示TOF相机存在问题,不知道出现问题的原因,降低维修效率。
之所以会出现对多个TOF相机无法测试的情况,是因为目前的测试方式,无法自动测试多个TOF相机,需要人为配置TOF相机的相关信息。
有鉴于此,本申请实施例提供的TOF相机的测试方法及相关装置,存储有一个或多个TOF相机相关的信息,可以通过TOF相机的相关信息,创建支持TOF相机相关信息的通路,在通路中对TOF相机进行测试,这样,便于基于不同的TOF相机的相关信息创建不同的通路进行测试,灵活性较强,可以实现对一个或多个TOF相机进行测试。
另外,本申请实施例可以识别TOF相机的错误类别,例如,可以识别TOF相机存在上电问题、TOF相机的硬件通路存在问题、TOF相机的器件本身存在问题以及TOF相机的标定数据存在问题等等。
在一些实现中,本申请实施例提供的测试方法可以部署在电子设备中,电子设备可以为测试人员提供人机交互接口,测试人员可以通过人机交互接口控制电子设备对电子设备中的一个或多个TOF相机进行测试。
本申请实施例的电子设备可以包括TOF相机的手持式设备和包括TOF相机的车载设备等。例如,一些电子设备为:手机(mobile phone)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备,虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(session initiation protocol,SIP)电话、无线本地环路(wireless local loop,WLL)站、个人数字助理(personal digital assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备,5G网络中的终端设备或者未来演进的公用陆地移动通信网络(publicland mobile network,PLMN)中的终端设备等,本申请实施例对此并不限定。
本申请实施例中的电子设备也可以称为:终端设备、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。
为了便于理解本申请实施例,下面对本申请实施例提供的电子设备的硬件结构进行介绍。
图1示出了本申请实施例提供的一种电子设备的硬件结构的示意图。如图1所示,电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,以及显示屏194等。
可选地,上述传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
摄像头193可以包括一个或多个TOF相机。在一些示例中,摄像头193可以包括iTOF相机和dTOF相机,其中,iTOF相机可以用于实现人脸支付和人脸解锁等功能,dTOF相机可以用于实现对焦的功能。
电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。分层架构可以采用安卓(Android)系统,也可以采用苹果(IOS)系统,还可以采用其他操作系统,本申请实施例对此不作限定。下面以分层架构的Android系统为例,示例性说明本申请实施例提供的电子设备的软件架构。
图2为本申请实施例提供的一种电子设备的软件架构的示意图。如图2所示,分层架构可以将电子设备的软件系统分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,可以将Android系统分为五层,从上到下依次为应用程序层(applications)、应用程序框架层(application framework)、硬件抽象层(hardware abstraction layer,HAL)、内核层(kernel)以及硬件层。
应用程序层可以包括一系列应用程序包,应用程序层通过调用应用程序框架层所提供的应用程序接口(application programming interface,API)运行应用程序。如图2所示,应用程序包可以包括相机、图库以及视频等应用程序。在本申请实施例中,应用程序层还包括人机交互接口(man-manchine interface,MMI),该MMI可以支持测试人员对电子设备中的一个或者多个TOF相机进行测试。
在一些实现中,该MMI可以包括一个控件或者多个控件。若MMI包括一个控件,则这个控件可以测试电子设备中的TOF相机。若电子设备中存在多个TOF相机,电子设备可以在这个控件被触发的情况下,按照预设顺序依次测试这多个TOF相机。若MMI包括多个控件,该多个控件中每个控件可以对应一个TOF相机,测试人员可以通过这多个控件对所对应的TOF相机进行测试。
应用程序框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,应用程序框架层可以包括视图系统、内容提供器以及相机服务(CameraSever)。在一些示例中,相机服务可以从MMI中得到打开TOF相机的请求,在得到打开TOF相机的请求后,调用HAL层的模块创建测试TOF相机的通路。相机服务还可以从HAL层得到图像数据,并将图像数据传输至MMI。
HAL层的目的在于将硬件抽象化,可以为上层的应用提供一个统一的查询硬件设备的接口,或也可以为上层应用提供数据存储服务。如图2所示,该HAL层可以包括显示驱动模块和相机HAL。其中,相机HAL中包括深度摄像头的特定用例(DepthSensorUsecase),即可以包括某个特定的管线(pipeline)。
如图2所示,相机HAL可以包括传感器节点(SensorNode)、IFELite节点(IFE Litenode)以及深度节点(Depthnode)。IFE Lite节点也可以称为轻量级图像处理前端节点,深度节点也可以称为深度图处理节点,本申请实施例对此不做限定。
在本申请实施例中,相机HAL可以基于相机服务的调用,创建测试TOF相机的通路,该通路可以传输控制命令和数据。相机HAL创建的通路可以包括传感器节点、IFE Lite节点以及深度节点。
内核层是硬件和HAL层之间的层。如图2所示,该内核层中可以包括下述一种或多种:显示驱动和相机驱动(Camera Driver)等。其中,相机驱动包括传感器驱动(SensorDriver)和ISP驱动。其中,传感器驱动可以用于驱动TOF相机获取图像数据。ISP驱动可以用于驱动IFE Lite 模块工作,并可以用于接收TOF相机获取的图像数据,并将其传输至HAL层。
硬件层中可以包括:显示屏、TOF相机以及IFE Lite模块等硬件。其中,TOF相机可以包括一个或多个TOF相机。如图2所示,TOF相机包括iTOF相机和dTOF相机。IFE Lite模块可以称为图像前处理模块,可以用于对图像数据进行转发,转发过程中可以不对图像数据进行处理。
TOF相机可以使用本申请实施例自研的tag在电子设备启动(或者说开机)时,读取TOF相机的标识、分辨率以及数据流格式,并将这些信息经内核层和硬件抽象层传输至应用程序框架层的相机服务。
在一些示例中,TOF相机包括iTOF相机和dTOF相机,则相机服务可以包括iTOF相机的标识、分辨率以及数据流格式,和dTOF相机的标识、分辨率以及数据流格式。
需要说明的是,这里的分辨率是指的由原始(RAW)图转换的IR图的分辨率,而不是RAW图的分辨率。这样,便于后续请求IR图,相比请求RAW图,可以减少RAW图转换为IR图的步骤,有利于提高处理效率。另外,IR图的分辨率小于RAW图的分辨率,例如IR图的分辨率为1280*2898,RAW图的分辨率为640*480,存储IR图相比存储RAW图,有利于节省内存。
应理解,在一些实施例中,可以将实现相同功能的层称为其他名称,或者将能够实现多个层的功能的层作为一层,或者将能够实现多个层的功能的层划分为多层。本申请实施例对此不做限制。
基于上述图2所示的软件架构,下面将详细介绍本申请实施例提供的测试方法。
本申请实施例可以对一个或多个TOF相机进行测试,测试多个TOF相机的过程是依次测试多个TOF相机中的每个TOF相机,对每个TOF相机的测试过程可以参考对一个TOF相机的测试过程,故本申请实施例以测试一个TOF相机为例进行说明。
本申请实施例可以对TOF相机是否能够上电进行检测,也可以说,本申请实施例可以对TOF相机的电源类问题进行检测。可以理解的是,TOF相机是否能够上电用于表示TOF相机是否能够成功通电。
如图3所示,MMI响应于对TOF相机进行测试的操作,可以向相机服务传输打开TOF相机的请求,相机服务得到打开TOF相机的请求后,可以调用相机HAL创建用于传输控制命令和数据的通路,同时,相机服务可以向相机HAL进行注册回调,以便于相机HAL可以将创建通路的结果返回至相机服务。相机HAL在创建通路的过程中,传感器驱动可以为TOF相机上电,若上电失败,则传感器驱动可以将上电失败的消息经过传感器节点和相机服务上报至MMI。
可以理解的是,TOF相机可以为iTOF相机或者dTOF相机。
为了更好的理解该测试方法,下面结合图4进行具体说明。
示例性地,图4示出了本申请实施例提供的一种TOF相机的测试方法的模块交互示意图。如图4所示,该方法可以包括如下步骤:
S401、MMI检测到测试TOF相机的操作,从相机服务中得到TOF相机的相关信息,并向相机服务传输打开TOF相机的请求,对应地,相机服务得到打开TOF相机的请求,其中,打开TOF相机的请求中包括TOF相机的相关信息。
MMI中可以包括多个测试项,测试TOF相机可以是多个测试项中的一项,当测试到TOF相机时,MMI检测到测试TOF相机的操作。
可选地,MMI可以包括测试的安卓应用程序包(android package,APK),APK测试到TOF的测试项时,可以向相机服务传输打开TOF相机的请求。
可选地,MMI包括一个控件,该控件用于对TOF相机进行测试,当测试人员触发该控件时,MMI检测到测试TOF相机的操作。
相机服务中包括的TOF相机的相关信息是电子设备启动时,TOF相机上报至相机服务的。TOF相机的相关信息中可以包括TOF相机的标识、分辨率以及数据流格式等。在电子设备包括iTOF相机和dTOF相机的情况下,TOF相机可以用于表示iTOF相机或dTOF相机。
若TOF相机为iTOF相机,则打开TOF相机的请求中包括iTOF相机的标识、分辨率以及数据流格式。
示例性地,iTOF相机为电子设备中的第3个摄像头,iTOF相机的标识为ID:3,分辨率为1280x2898像素(pixel);数据流格式:RAW16和深度(depth)Y16。打开TOF相机的请求中可以包括这些信息。
若TOF相机为dTOF相机,则打开TOF相机的请求中包括dTOF相机的标识、分辨率以及数据流格式。
示例性地,dTOF相机为电子设备中的第5个摄像头,dTOF相机的标识为ID:5,分辨率为640x480 pixel;数据流格式:RAW16和深度Y16。打开TOF相机的请求中可以包括这些信息。
需要说明的是,TOF相机的相关信息中包括的TOF相机的分辨率是IR图的分辨率,这样,直接通过IR图的分辨率请求IR图,相比先获取原始(RAW)图再将原始图转换为IR图进行送显,有利于提高处理效率。
S402、相机服务响应于打开TOF相机的请求,可以指示相机HAL创建用于传输控制命令和数据的通路,同时,相机服务可以向相机HAL进行注册回调,以便于相机HAL可以将创建通路的结果返回至相机服务。
相机HAL可以根据打开TOF相机的请求中的相机的ID、分辨率以及数据流格式选择可用的节点,并根据可用的节点创建相对应的通路。该通路用于传输获取图像的控制命令和传输TOF相机获取的图像数据。
示例性地,TOF相机相机为iTOF相机,iTOF相机的标识为ID:3,分辨率为1280x2898pixel;数据流格式:RAW16,而传感器节点和IFE Lite节点可以用于支持分辨率为1280x2898像素和数据格式是RAW格式的数据,故相机HAL可以将传感器节点的输出端口和IFE Lite节点的输入端口进行连接,并使IFE Lite节点的输出端口和深度节点的输入端口连接,创建传感器节点-传感器驱动-iTOF相机-IFE Lite模块-ISP驱动-IFE Lite节点-深度节点的数据通路。通路完成后,通路中的硬件完成上电(即硬件电路通电)等待数据请求。
S403、相机HAL创建的通路中可以包括传感器节点、传感器驱动以及TOF相机,在创建通路过程中,传感器驱动可以为TOF上电。
可以理解的是,若TOF相机为iTOF相机,则传感器驱动可以为iTOF相机上电。若TOF相机为dTOF相机,则传感器驱动可以为dTOF相机上电。
S404、若在传感器驱动执行为TOF相机上电的过程中,出现上电失败,则传感器驱动可以将上电失败的消息传输至传感器节点。
可选地,若出现上电失败,则传感器驱动可以将创建失败的消息传输至传感器节点,其中,该创建失败的消息包括创建失败的原因:上电失败。
S405、传感器节点可以将上电失败的消息传输至相机服务。
可选地,传感器节点可以将上电失败的消息写到本申请实施例自研tag(toferrorstring)中传输至相机服务。其中,本申请实施例自研tag用于表示新建一种tag方法,可以实现将上电失败的消息传输至相机服务。
S406、相机服务可以将上电失败的消息传输至MMI。
MMI可以显示TOF相机上电失败,和/或显示TOF相机打开失败。
这种测试方法,可以对TOF相机的电源类问题进行检测,有利于提前对出现电源类问题的TOF相机进行拦截,可以降低后续的维修成本和FFR。
在TOF相机能够成功上电的情况下,本申请实施例还可以对TOF相机的硬件通路进行检测,其中,TOF相机的硬件通路用于表示TOF相机与其他硬件的通路。
在图2所示的架构中,TOF相机和IFE Lite模块之间的通路可以称为TOF相机的硬件通路,相机驱动中的ISP驱动可以检测TOF的硬件通路是否存在问题。
如图5所示,TOF相机能够成功上电,相机HAL创建通路成功,在创建通路成功的情况下,MMI可以请求获取TOF相机采集的原始(RAW)图像,传感器驱动可以驱动TOF相机工作,TOF相机可以将采集的原始图像传输至IFE Lite模块,在这过程中,ISP驱动可以检测TOF相机的硬件通路是否存在问题,若存在问题,则可以将异常现象传输至传感器节点,传感器节点可以将异常现象经过相机服务上报至MMI。
为了更好的理解该测试方法,下面结合图6进行具体说明。
示例性地,图6示出了本申请实施例提供的一种TOF相机的测试方法的模块交互示意图。如图6所示,该方法可以包括如下步骤:
S601和S602与上述S401和S402相同,此处不再赘述。
S603、相机HAL创建通路过程中,没有出现问题,可以向相机服务传输创建成功。
S604、相机服务得到创建成功的消息后,可以向MMI传输TOF相机打开完成的消息。对应地,MMI可以得到TOF相机打开完成的消息。
需要说明的是,TOF相机打开完成,此时,TOF相机还没有获取图像。
S605、MMI可以响应于TOF相机打开完成的消息,向相机服务传输数据请求消息,以获取TOF相机获取的IR图和深度图。
数据请求消息用于获取两路数据流,该两路数据流中一路数据流为预览流,用于获取IR图,另一路数据流为深度流(例如Y16),用于获取深度图。
S606、相机服务响应于数据请求消息,调用相机HAL获取数据流。
相机服务响应于数据请求消息,调用相机HAL获取预览流和深度流。
S607、相机HAL可以通过传感器节点获取人眼安全电流值,并通过传感器节点将人眼安全模式的配置参数发送至传感器驱动。
人眼安全模式的配置参数中可以包括人眼安全电流值。
人眼安全模式(EyeSafe Mode)是指TOF相机在打光时工作在一个小电流下的模式,该小电流可以称为人眼安全电流值。人眼安全模式用于检查TOF摄像头是否有损坏。
电子设备中的内存中可以存储有标定好的人眼安全电流值,相机HAL可以通过传感器节点从内存中获取人眼安全电流值。
可选地,传感器节点可以通过v4l2-ioctl将人眼安全模式的配置参数发送至传感器驱动。其中,V4L2-ioctl可以支持软件(例如应用程序)与硬件设备(例如摄像头、视频采集卡等)进行交互和通信,可以提供了多个ioctl命令来管理设备、配置属性、控制数据流等功能。
S608、传感器驱动可以将人眼安全模式的配置参数更新到TOF相机的寄存器中,并驱动TOF相机基于人眼安全模式采集原始图像。
该步骤可以理解为传感器驱动可以将人眼安全模式的配置参数写入TOF相机的寄存器中。
示例性,传感器驱动可以将人眼安全模式的配置参数通过集成电路总线(inter-integrated circuit,I2C)方式写入TOF相机的寄存器中。
S609、TOF相机基于人眼安全模式采集原始图像,并可以向IFE Lite模块传输原始图像。
示例性地,相机驱动可以通过传感器驱动向TOF相机传输stream on命令,该stream on命令用于指示TOF相机获取图像。TOF相机响应于stream on命令,可以工作在人眼安全电流值向人脸发射光信号,并接收人脸反射的光并成像得到图像数据,该图像数据可以为原始图像。TOF相机可以通过移动产业处理器接口(mobile industry processorinterface,MIPI)向IFE Lite模块传输原始图像。IFE Lite模块可以不对原始图像进行处理。
S610、相机驱动中的ISP驱动可以检测TOF的硬件通路是否存在问题。
S611、若存在问题,ISP驱动可以以通知的形式将检测到的事件(或者说出现的错误类型)向传感器节点传输,该通知中可以包括错误类型。
示例性地,表一示出了TOF硬件通路可能的错误类型。
表一
如表一所示,ISP驱动检测到IFE Lite模块接收不到图像,则可以确定TOF相机不出图,将错误类型标记为sofFreeze,并以通知的形式向传感器节点传输。
ISP驱动检测到IFE Lite模块接收到的图像不满足尺寸要求,则可以确定TOF相机出图不全,将错误类型标记为CSIDPixelCountMismatch,并以通知的形式向传感器节点传输。
ISP驱动检测到IFE Lite模块接收到图像,但循环校验码(cyclic redundancycheck,CRC)错误,则可以确定TOF相机起流后输出的信号MIPI CRC校验错误,将错误类型标记为crc mismatch,并以通知的形式向传感器节点传输。
ISP驱动检测到IFE Lite模块接收到图像,但缺少源端到漏端(source of truth,SOT)信号,则可以确定TOF相机起流后输出的信号MIPI缺少SOT信号,将错误类型标记为less sot,并以通知的形式向传感器节点传输。
ISP驱动检测到IFE Lite模块接收到图像出现错误检查和纠正(error checkingand correcting,ECC)校验错误,则可以确定TOF相机出图过程中MIPI出现ECC校验错误,将错误类型标记为ECC error,并以通知的形式向传感器节点传输。
S612、传感器节点接收到通知后,并可以向相机服务传输该通知。
可选地,传感器节点可以将通知中的异常信息(或者说错误类型)写到本申请实施例自研tag(toferrorstring)中传输至相机服务。
S613、相机服务在接收到该通知后,可以向MMI传输该通知。
本申请实施例提供的测试方法,可以对TOF相机的硬件通路进行检测,有利于提前对硬件通路存在问题的电子设备进行拦截,可以降低后续的维修成本和FFR。
在TOF相机的硬件通路没有问题的情况下,本申请实施例还提供一种测试方法,可以对TOF相机本身和TOF相机的标定数据进行测试。
如图7所示,若TOF相机的硬件通路没有问题,则TOF获取的原始图像可以经ITF模块传输至ISP驱动。在TOF相机采集原始图像的过程中,传感器驱动可以对TOF相机进行检测,得到检测数据。传感器驱动可以将检测的数据传输至ISP驱动,ISP驱动可以将检测数据添加在原始图像中一起传输至IFE Lite节点,IFE Lite节点可以将添加了检测数据的原始图像传输至深度节点。若检测数据中包括异常信息,则说明TOF相机存在问题,可以将TOF相机异常的信息经相机服务返回至MMI。
若检测数据中无异常信息,且电子设备当前的软件版本为升级版本,由于升级版本部署基础功能算法,包括标定数据,故深度节点可以获取标定数据,通过标定数据将原始图像转化为IR图和深度图。若标定数据异常,则深度节点不能成功实现将原始图像转化为IR图和深度图,则通过相机服务向MMI传输初始化算法失败或者说检查失败。若标定数据正常,则深度节点可以实现将原始图像转化为IR图和深度图,并将IR图和深度图经相机服务传输至MMI。
为了更好的理解该测试方法,下面结合图8进行具体说明。
示例性地,图8示出了本申请实施例提供的一种TOF相机的测试方法的模块交互图。如图8所示,该方法可以包括如下步骤:
S801至S809与上述S601至S609相同,此处不再赘述。
S810、IFE Lite模块可以将从TOF相机中得到的原始图像传输至ISP驱动。
S811、相机驱动通过传感器驱动TOF相机采集原始图像的过程中,可以对TOF相机进行检测,得到检测数据,检测数据中可以包括TOF相机的工作状态。若TOF相机存在问题,则检测数据中包括异常信息。
示例性地,表二示出了TOF器件可能存在的异常。
表二
如表二所示,TOF器件包括发送(transmitter,TX)端和接收(receiver,RX)端,TX端用于发射光信号(红外光或激光脉冲),RX端用于接收成像。
TOF相机可能存在的异常包括:TX端负温度系数(negative temperaturecoefficient,NTC)温度异常、TX端功率器件(power device,功率器件)电流异常、TOF器件的逻辑器件(logic device,LD)的供电电压LDVCC异常、TOF器件中的扩散器(Diffuser)异常以及RX端温度异常。
S812、传感器驱动可以向ISP驱动传输检测数据。
S813、ISP驱动可以将检测数据添加到原始图像中的Metadata信息中,并向IFELite节点传输原始图像,该原始图像包括图像(image)和Metadata信息。
S814、IFE Lite节点可以向深度节点传输原始图像。
S815、深度节点可以基于Metadata信息判断TOF相机是否存在问题。
S816、若Metadata信息中包括上述表二中的一种或多种异常,则TOF相机存在异常,深度节点可以向相机服务传输TOF相机存在异常的消息。
TOF相机存在异常的消息可以包括TOF相机存在异常的原因,例如,TOF相机存在异常的原因为TX NTC温度异常、TX PD电流异常、LDD 供电LDVCC异常、Diffuser异常或者RX温度异常中的一个或多个。
可选地,深度节点可以将TOF相机存在异常的信息写到本申请实施例自研tag(toferrorstring)中传输至相机服务。
S817、相机服务向MMI传输TOF相机存在异常的消息。
MMI得到TOF相机存在异常的消息后,可以显示TOF相机存在异常,并可以显示TOF相机存在异常的原因。
S818、若TOF相机没有异常,深度节点可以判断电子设备当前的软件版本是否为升级版本。
S819、若为升级版本,则获取标定数据。
在一些实现中,标定数据是测试人员预设于电子设备中的内存中的,电子设备可以从内存中获取标定数据。标定数据可以包括温漂标定、固定模式噪声(fixed-patternnoise,FPN)、循环误差(cyclic error coding,CEC)标定以及内参等数据中的一个或多个。
S820、若深度节点不能成功实现将原始图像转化为IR图和深度图,则标定数据异常,深度节点可以向相机服务传输初始化算法失败或者检查失败。
S821、相机服务可以向MMI传输初始化算法失败或者检查失败。
MMI得到初始化算法失败或者检查失败后,可以显示标定数据异常或者漏标定。
示例性地,图9示出了一种标定数据异常的界面示意图。如图9所示,电子设备为手机,若标定数据异常,电子设备可以显示TOF相机异常的信息,还可以显示错误码(errorcode):702097301和错误标题(error title):后置摄像头预览测试(back camera previewtest)。电子设备显示这些信息用于表示后置摄像头预览测试失败,失败原因为TOF相机异常。
可选地,若电子设备当前的软件版本不是升级版本,例如,电子设备当前的软件版本为烧录版本,由于烧录版本部署轻量级算法,在进行TOF相机测试之前,还未进行标定,故可以不获取标定数据,可以利用预设的数据将原始图像转化为IR图和深度图。
S822、若深度节点可以根据标定数据将原始图像转化为IR图和深度图,则标定数据正常。
深度节点还可以对深度图进行测试,若深度图存在问题,则将深度图存在异常的信息经相机服务传输至MMI。若深度图没有问题,则可以将深度图与IR图一起传输至相机服务。
S823、深度节点可以将IR图和深度图传输至相机服务。
S824、相机服务可以将IR图传输和深度图至MMI。
MMI可以显示IR图。MMI可以将深度图存储在缓存中。
示例性地,图10示出了一种电子设备显示TOF相机获取的图像的示意图。如图10所示,电子设备为手机,在后置摄像头预览测试中,若TOF相机无异常,电子设备可以显示通过TOF相机获取的图像,该图像可以为IR图。
本申请实施例提供的TOF相机的测试方法,可以对TOF相机本身进行测试,还可以对TOF相机的标定数据进行测试,有利于对出现问题的TOF相机和/或未标定的TOF相机进行拦截,可以降低后续的维修成本和FFR。
由上述图3至图8所示的内容可知,本申请实施例可以对TOF相机的电源、硬件通路、TOF相机本身以及TOF相机的标定数据进行测试,有利于对出现问题的TOF相机进行拦截,可以降低后续的维修成本和FFR。
上面结合电子设备的软件架构,对本申请实施例提供的TOF测试方法进行说明,下面将从电子设备的角度对本申请实施例提供的TOF测试方法进行说明。
示例性地,图11示出了本申请实施例提供的一种TOF相机的测试方法的示意性流程图。该方法可以适用于电子设备,也可以适用于服务器等设备,本申请实施例对此不做限定。
如图11所示,该方法可以包括如下步骤:
S1101、响应于对电子设备中第一TOF相机进行测试的操作,获取第一TOF相机的第一信息,其中,电子设备中存储有一个或多个TOF相机各自的信息。
第一信息可以表示第一TOF相机相关的信息,例如,第一信息可以包括第一TOF相机的标识,分辨率或者数据格式等信息。可以理解的是,不同TOF相机的信息可以不同。
电子设备包括一个TOF相机,则可以存储有一个TOF相机的信息。若电子设备包括多个TOF相机,则电子设备可以包括多个TOF相机的信息。
一个或多个TOF相机各自的信息可以是测试人员预先存储在电子设备中的,也可以是电子设备在测试这一个或多个TOF相机之前,获取这一个或多个TOF相机各自的信息存储在电子设备中的内存中的,本申请实施例对此不做限定。
若电子设备在测试这一个或多个TOF相机之前,获取这一个或多个TOF相机各自的信息存储在电子设备中的内存中,在增加TOF相机的场景中,无需人为设置TOF相机的信息,有利于扩展更多的TOF相机,灵活性更强。
电子设备中第一TOF相机进行测试的操作可以为测试人员操作的,也可以是自动触发的,本申请实施例对此不做限定。
S1102、通过第一信息,创建第一通路,第一通路用于传输打开第一TOF相机的控制指令,和用于传输第一TOF相机获取的图像。
对第一TOF相机进行测试,需要基于第一信息打开第一TOF相机,并获取第一TOF相机采集的图像,故可以基于第一信息,创建第一通路,可以用于传输打开第一TOF相机的控制指令,和用于传输第一TOF相机获取的图像。
S1103、在第一通路中对第一TOF相机进行测试。
在传输打开第一TOF相机的控制指令的过程中,可以对第一TOF相机是否能够上电进行测试。在第一TOF相机采集图像的过程中,可以对第一TOF相机的器件本身是否异常进行测试。在第一TOF相机传输图像的过程中,可以对第一TOF相机的硬件通路是否异常进行测试。第一TOF相机采集的图像为原始图像,在第一通路中对原始图像进行转换时,可以对第一TOF相机的标定数据进行检测。
本申请实施例提供的TOF相机的测试方法,存储有一个或多个TOF相机相关的信息,可以通过第一TOF相机的第一信息,创建支持第一TOF相机测试的通路,这样,便于基于不同的TOF相机的相关信息创建不同的通路进行测试,灵活性较强,可以实现对一个或多个TOF相机进行测试。
可选地,第一信息包括第一TOF相机的分辨率和第一TOF相机的数据格式;通过第一信息,创建第一通路,包括:将支持分辨率和数据格式的节点进行设置,得到第一通路。
第一TOF相机的分辨率用于表示IR图的分辨率或者原始(RAW)图像的分辨率,本申请实施例对此不做限定。若第一TOF相机的分辨率为IR图的分辨率,则可以基于IR图的分辨率为第一TOF相机配流,相比请求RAW图,有利于节约内存。
这样,有利于得到与第一TOF相机相符的通路,对第一TOF相机进行测试。
可选地,支持分辨率和数据格式的模块可以包括第一节点和第二节点。其中,第一节点可以用于指示第一TOF相机工作,并用于接收第一异常数据,和/或,用于接收第二异常数据,第一异常数据表示第一TOF相机存在上电异常,第二异常数据表示第一TOF相机的硬件通路异常,第一TOF相机的硬件通路用于传输第一TOF相机采集的原始图像。第二节点用于获取第一TOF相机采集的图像和第三异常数据,第三异常数据表示第一TOF相机器件本身存在异常,并判断第一TOF相机器件本身和第一TOF相机的标定数据是否存在异常。
第一节点接收到第一异常数据,可以说明第一TOF相机存在上电异常。第一节点接收到第二异常数据,可以说明第一TOF相机的硬件通路存在异常。
第二节点接收到第三异常数据,可以说明第一TOF相机器件本身存在问题。第二节点可以根据是否能对原始图像进行转换,确定第一TOF相机的标定数据是否存在异常。
在上述示例中,第一节点可以参考上述传输器节点。第二节点可以参考上述深度节点。
这样,有利于通过第一通路对第一TOF相机进行测试。
可选地,响应于对电子设备中第一TOF相机进行测试的操作,获取第一TOF相机的第一信息,包括:应用层响应于对电子设备中第一TOF相机进行测试的操作,向应用程序框架层传输打开第一TOF相机的请求,第一TOF相机的请求中包括第一信息;通过第一信息,创建第一通路,包括:应用程序框架层调用硬件抽象层,使得硬件抽象层通过第一信息,创建第一通路。
这样,通过硬件抽象层创建第一通路,无需应用层感知。
可选地,第一信息包括第一TOF相机的分辨率和第一TOF相机的数据格式;应用程序框架层调用硬件抽象层,使得硬件抽象层通过第一信息,创建第一通路,包括:硬件抽象层将支持分辨率和数据格式的第一节点和第二节点进行设置,创建第一通路,第一通路包括第一节点、第二节点、驱动模块以及第一TOF相机;其中,驱动模块用于驱动第一TOF相机工作,并接收第一TOF相机采集的原始图像;第一节点和第二节点的作用参考上述示例,此处不做赘述。
这样,通过第一节点、第二节点、驱动模块以及第一TOF相机实现对第一TOF相机的测试。
可选地,第一信息包括第一TOF相机的分辨率和第一TOF相机的数据格式;应用程序框架层调用硬件抽象层,使得硬件抽象层通过第一信息,创建第一通路,包括:硬件抽象层将支持分辨率和数据格式的第一节点和第二节点进行设置,创建第一通路,第一通路包括第一TOF相机、IFE模块、ISP驱动、IFE节点以及深度节点;其中,传感器节点用于指示摄像头驱动控制第一TOF相机工作,并用于接收来自摄像头驱动检测的第一异常数据,和/或,用于接收ISP驱动检测的第二异常数据,第一异常数据表示第一TOF相机存在上电异常,第二异常数据表示第一TOF相机与IFE模块之间的硬件通路异常;摄像头驱动用于驱动第一TOF相机工作,且用于检测第一TOF相机是否存在上电异常或者器件本身是否存在异常;IFE模块用于接收第一TOF相机采集的原始图像,并向IFE节点转发;ISP驱动用于将从IFE模块接收的数据向IFE节点传输,并检测第一TOF相机与IFE模块之间的硬件通路是否异常;IFE节点用于向深度节点传输第一TOF相机采集的原始图像,并向深度节点传输摄像头驱动检测的第三异常数据,第三异常数据表示第一TOF相机器件本身存在异常;深度节点用于判断第一TOF相机器件本身和第一TOF相机的标定数据是否存在异常。
第一通路中的各个模块可以参考上述图2所示的软件架构,IFE模块可以为图2所示的IFE Lite模块,IFE Lite节点可以为图2所示的IFE Lite节点,对于其他模块此处不再赘述。这样,通过第一通路实现对第一TOF相机的测试。
可选地,创建第一通路,包括:传感器节点接收到来自摄像头驱动的第一异常数据;传感器节点向应用程序框架层传输上电失败的消息;上电失败的消息经应用程序框架层传输至应用层。
对第一TOF相机是否能够上电的测试可以参考上述图3和图4,本申请实施例对此不做限定。
这样,测试失败时,有利于快速确认是由于上电失败造成的TOF测试失败。
可选地,在创建第一通路之后,方法还包括:应用层向应用程序框架层发送数据请求消息,数据请求消息用于请求第一TOF相机的IR图和第一TOF相机的深度图;若在第一通路中对第一TOF相机进行测试的结果为第一TOF相机没有异常,则应用程序框架层通过第一通路得到IR图和深度图,并向应用层传输IR图和深度图;应用层显示IR图。
得到IR图和深度图可以参考上述S822至S824,本申请实施例对此不作限定。
这样,可以显示第一TOF相机采集的图像。
可选地,在第一通路中对第一TOF相机进行测试,包括:传感器节点接收到来自ISP驱动的第二异常数据;传感器节点向应用程序框架层传输第一TOF相机的硬件通路存在异常的消息;第一TOF相机的硬件通路存在异常的消息经应用程序框架层传输至应用层。
第二异常数据可以参考上述错误类型。对第一TOF相机的硬件通路的检测可以参考上述图5和图6,此处不在具体赘述。
这样,可以实现对第一TOF相机的硬件通路的检测。
可选地,在第一通路中对第一TOF相机进行测试,包括:深度节点接收到第三异常数据;深度节点向应用程序框架层传输第一TOF相机器件本身存在异常的消息;第一TOF相机器件本身存在异常的消息经应用程序框架层传输至应用层。第三异常数据可以存储在上述Metadata数据中。对第一TOF相机器件本身的测试可以参考上述S811至S817,此处不再赘述。
这样,可以实现对第一TOF器件本身进行测试。
可选地,在第一通路中对第一TOF相机进行测试,包括:深度节点接收到第一TOF相机采集的原始图像;
若电子设备的软件版本为第一版本,深度节点获取第一TOF相机的标定数据,第一版本用于表示电子设备中的TOF相机已被标定;深度节点通过标定数据将原始图像转换为IR图和深度图;若转换不成功,深度节点向应用程序框架层传输检查失败的消息,检查失败的消息经应用程序框架层传输至应用层。
第一版本可以为上述升级版本。该步骤可以参考上述S818至S821,此处不再赘述。
这样,可以实现对第一TOF器件的标定数据进行测试。
可选地,第一信息包括第一TOF相机的分辨率,分辨率为IR图的分辨率。这样,可以基于IR图的分辨率为第一TOF相机配流,相比请求RAW图,有利于节约内存。
可选地,包括:响应于对电子设备中第二TOF相机进行测试的操作,获取第二TOF相机的第二信息,第二信息与第一信息不同;通过第二信息,创建第二通路,第二通路用于传输打开第二TOF相机的控制指令,和用于传输第二TOF相机获取的图像;在第二通路中对第二TOF相机进行测试。
第二通路可以与第一通路不同,可以实现对第二TOF相机的测试,创建第二通路的过程,具体可参考上述第一通路,此处不再赘述。
本申请实施例可以适用于多个TOF相机测试的场景。
需要说明的是,本申请实施例所涉及的模块名称均可以定义为其他的名称,能够实现各模块的作用即可,不对模块的名称做具体限制。
需要说明的是,本申请实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
上面已对本申请实施例的TOF相机的测试方法进行了说明,下面对本申请实施例提供的执行上述方法的装置进行描述。本领域技术人员可以理解,方法和装置可以相互结合和引用,本申请实施例提供的相关装置可以执行上述TOF相机的测试方法中的步骤。
图12为本申请实施例提供的一种芯片的结构示意图。如图12所示,芯片120包括一个或两个以上(包括两个)处理器1201、通信线路1202、通信接口1203和存储器1204。
在一些实施方式中,存储器1204存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
上述本申请实施例描述的TOF相机的测试方法可以应用于处理器1201中,或者由处理器1201实现。处理器1201可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述TOF相机的测试方法的各步骤可以通过处理器1201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1201可以是通用处理器(例如,微处理器或常规处理器)、数字信号处理器(digital signal processing,DSP)、专用集成电路(applicationspecific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gatearray,FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件,处理器1201可以实现或者执行本申请实施例中的公开的各处理相关的方法、步骤及逻辑框图。
结合本申请实施例所公开的TOF相机的测试方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。其中,软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electrically erasable programmable read only memory,EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1204,处理器1201读取存储器1204中的信息,结合其硬件完成上述方法的步骤。
处理器1201、存储器1204以及通信接口1203之间可以通过通信线路1202进行通信。
在上述实施例中,存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中,计算机程序产品可以是事先写入在存储器中,也可以是以软件形式下载并安装在存储器中。
本申请实施例提供的TOF相机的测试方法,可以应用在具备通信功能的电子设备中。电子设备包括终端设备,终端设备的具体设备形态等可以参照上述相关说明,此处不再赘述。
本申请实施例提供一种终端设备,该终端设备包括:包括:处理器和存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得终端设备执行上述方法。
本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
一种可能的实现方式中,计算机可读介质可以包括RAM,ROM,只读光盘(compactdisc read-only memory,CD-ROM)或其它光盘存储器,磁盘存储器或其它磁存储设备,或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码,并且可由计算机访问。而且,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,数字用户线(Digital Subscriber Line,DSL)或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘,激光盘,光盘,数字通用光盘(Digital Versatile Disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
本申请实施例提供一种计算机程序产品,计算机程序产品包括计算机程序,当计算机程序被运行时,使得计算机执行上述方法。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (14)
1.一种TOF相机的测试方法,其特征在于,包括:
响应于对电子设备中第一TOF相机进行测试的操作,获取所述第一TOF相机的第一信息,其中,所述电子设备中存储有一个或多个TOF相机各自的信息;
通过所述第一信息,创建第一通路,所述第一通路用于传输打开所述第一TOF相机的控制指令,和用于传输所述第一TOF相机获取的图像;
在所述第一通路中对所述第一TOF相机进行测试。
2.根据权利要求1所述的方法,其特征在于,所述第一信息包括所述第一TOF相机的分辨率和所述第一TOF相机的数据格式;
所述通过所述第一信息,创建第一通路,包括:
将支持所述分辨率和所述数据格式的节点进行设置,得到所述第一通路。
3.根据权利要求1或2所述的方法,其特征在于,所述响应于对电子设备中第一TOF相机进行测试的操作,获取所述第一TOF相机的第一信息,包括:
应用层响应于对所述电子设备中第一TOF相机进行测试的操作,向应用程序框架层传输打开所述第一TOF相机的请求,所述第一TOF相机的请求中包括所述第一信息;
所述通过所述第一信息,创建第一通路,包括:
所述应用程序框架层调用硬件抽象层,使得所述硬件抽象层通过所述第一信息,创建所述第一通路。
4.根据权利要求3所述的方法,其特征在于,所述第一信息包括所述第一TOF相机的分辨率和所述第一TOF相机的数据格式;
所述应用程序框架层调用硬件抽象层,使得所述硬件抽象层通过所述第一信息,创建所述第一通路,包括:
所述硬件抽象层将支持所述分辨率和所述数据格式的传感器节点、图像前处理IFE节点以及深度节点进行连接,创建所述第一通路,所述第一通路包括所述传感器节点、摄像头驱动、所述第一TOF相机、IFE模块、图像信号处理ISP驱动、所述IFE节点以及所述深度节点;
其中,所述传感器节点用于指示所述摄像头驱动控制所述第一TOF相机工作,并用于接收来自所述摄像头驱动检测的第一异常数据,和/或,用于接收所述ISP驱动检测的第二异常数据,所述第一异常数据表示所述第一TOF相机存在上电异常,所述第二异常数据表示所述第一TOF相机与所述IFE模块之间的硬件通路异常;
所述摄像头驱动用于驱动所述第一TOF相机工作,且用于检测所述第一TOF相机是否存在上电异常或者器件本身是否存在异常;
所述IFE模块用于接收所述第一TOF相机采集的原始图像,并向所述IFE节点转发;
所述ISP驱动用于将从所述IFE模块接收的数据向所述IFE节点传输,并检测所述第一TOF相机与所述IFE模块之间的硬件通路是否异常;
所述IFE节点用于向所述深度节点传输所述第一TOF相机采集的原始图像,并向所述深度节点传输所述摄像头驱动检测的第三异常数据,所述第三异常数据表示所述第一TOF相机器件本身存在异常;
所述深度节点用于判断所述第一TOF相机器件本身和所述第一TOF相机的标定数据是否存在异常。
5.根据权利要求4所述的方法,其特征在于,所述创建所述第一通路,包括:
所述传感器节点接收到来自所述摄像头驱动的所述第一异常数据;
所述传感器节点向所述应用程序框架层传输上电失败的消息;所述上电失败的消息经所述应用程序框架层传输至所述应用层。
6.根据权利要求4或5所述的方法,其特征在于,在所述创建第一通路之后,所述方法还包括:
所述应用层向所述应用程序框架层发送数据请求消息,所述数据请求消息用于请求所述第一TOF相机的红外IR图和所述第一TOF相机的深度图;
若在所述第一通路中对所述第一TOF相机进行测试的结果为所述第一TOF相机没有异常,则所述应用程序框架层通过所述第一通路得到所述IR图和所述深度图,并向所述应用层传输所述IR图和所述深度图;
所述应用层显示所述IR图。
7.根据权利要求4所述的方法,其特征在于,所述在所述第一通路中对所述第一TOF相机进行测试,包括:
所述传感器节点接收到来自所述ISP驱动的所述第二异常数据;
所述传感器节点向所述应用程序框架层传输所述第一TOF相机的硬件通路存在异常的消息;所述第一TOF相机的硬件通路存在异常的消息经所述应用程序框架层传输至所述应用层。
8.根据权利要求4所述的方法,其特征在于,所述在所述第一通路中对所述第一TOF相机进行测试,包括:
所述深度节点接收到所述第三异常数据;
所述深度节点向所述应用程序框架层传输所述第一TOF相机器件本身存在异常的消息;所述第一TOF相机器件本身存在异常的消息经所述应用程序框架层传输至所述应用层。
9.根据权利要求4所述的方法,其特征在于,所述在所述第一通路中对所述第一TOF相机进行测试,包括:
所述深度节点接收到所述第一TOF相机采集的原始图像;
若所述电子设备的软件版本为第一版本,所述深度节点获取所述第一TOF相机的标定数据,所述第一版本用于表示所述电子设备中的TOF相机已被标定;
所述深度节点通过所述标定数据将所述原始图像转换为IR图和深度图;
若转换不成功,所述深度节点向应用程序框架层传输检查失败的消息,所述检查失败的消息经所述应用程序框架层传输至所述应用层。
10.根据权利要求1或2所述的方法,其特征在于,所述第一信息包括所述第一TOF相机的分辨率,所述分辨率为IR图的分辨率。
11.根据权利要求1或2所述的方法,其特征在于,包括:
响应于对所述电子设备中第二TOF相机进行测试的操作,获取所述第二TOF相机的第二信息,所述第二信息与所述第一信息不同;
通过所述第二信息,创建第二通路,所述第二通路用于传输打开所述第二TOF相机的控制指令,和用于传输所述第二TOF相机获取的图像;
在所述第二通路中对所述第二TOF相机进行测试。
12.一种电子设备,其特征在于,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述电子设备执行如权利要求1-11中任一项所述的方法。
13.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的方法。
14.一种芯片系统,其特征在于,包括至少一个处理器和通信接口,所述通信接口和所述至少一个处理器通过线路互联,所述至少一个处理器用于运行计算机程序或指令,以执行如权利要求1-11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311733780.6A CN117425004B (zh) | 2023-12-18 | 2023-12-18 | Tof相机的测试方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311733780.6A CN117425004B (zh) | 2023-12-18 | 2023-12-18 | Tof相机的测试方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117425004A true CN117425004A (zh) | 2024-01-19 |
CN117425004B CN117425004B (zh) | 2024-07-16 |
Family
ID=89528637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311733780.6A Active CN117425004B (zh) | 2023-12-18 | 2023-12-18 | Tof相机的测试方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117425004B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085788A (zh) * | 2020-08-03 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 回环检测方法、装置、计算机可读存储介质及移动装置 |
CN113127213A (zh) * | 2019-12-30 | 2021-07-16 | 斑马智行网络(香港)有限公司 | 支持多应用共享数据的方法、装置、设备及存储介质 |
WO2022133976A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳市大疆创新科技有限公司 | Tof模组的检测方法、电子设备及可读存储介质 |
CN115278211A (zh) * | 2022-06-29 | 2022-11-01 | 深圳市辰卓科技有限公司 | 图像处理方法、装置、系统及图像采集设备 |
CN117156088A (zh) * | 2023-04-21 | 2023-12-01 | 荣耀终端有限公司 | 图像处理方法及相关装置 |
-
2023
- 2023-12-18 CN CN202311733780.6A patent/CN117425004B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113127213A (zh) * | 2019-12-30 | 2021-07-16 | 斑马智行网络(香港)有限公司 | 支持多应用共享数据的方法、装置、设备及存储介质 |
CN112085788A (zh) * | 2020-08-03 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 回环检测方法、装置、计算机可读存储介质及移动装置 |
WO2022133976A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳市大疆创新科技有限公司 | Tof模组的检测方法、电子设备及可读存储介质 |
CN115278211A (zh) * | 2022-06-29 | 2022-11-01 | 深圳市辰卓科技有限公司 | 图像处理方法、装置、系统及图像采集设备 |
CN117156088A (zh) * | 2023-04-21 | 2023-12-01 | 荣耀终端有限公司 | 图像处理方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117425004B (zh) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12041447B2 (en) | Image sharing method and system, and electronic device | |
WO2021027630A9 (zh) | 补丁方法、相关装置及系统 | |
KR101820392B1 (ko) | 데이터 접속을 구축하기 위한 방법, 장치 및 시스템 | |
EP3287866A1 (en) | Electronic device and method of providing image acquired by image sensor to application | |
KR102201616B1 (ko) | 전자 장치 간의 장치 검색 방법 | |
KR101727249B1 (ko) | 단말기 테스트 방법, 장치, 프로그램 및 저장매체 | |
US9606957B2 (en) | Electronic device and method of linking a task thereof | |
US20230122238A1 (en) | Account binding method, device, and system | |
CN108132850B (zh) | 代码定位方法、装置及电子设备 | |
EP2963889A1 (en) | Method and apparatus for sharing data of electronic device | |
ES2977616T3 (es) | Método y dispositivo de visualización | |
US9927383B2 (en) | Apparatus and method for preventing malfunction in an electronic device | |
US9763126B2 (en) | Electronic device and method for processing packet in internet protocol-based network | |
US20150309164A1 (en) | Method and apparatus for controlling gesture sensor | |
CN104796460B (zh) | 文件传输方法和装置 | |
KR20110132507A (ko) | 컴퓨터와 휴대단말기 간 영상통신을 이용한 원격 에프터 서비스방법 | |
WO2020143525A1 (zh) | 物理下行控制信道候选的位置确定方法、终端及网络设备 | |
WO2024037032A1 (zh) | 账号登录的方法及电子设备 | |
US20150200835A1 (en) | Method for providing status messaging service in electronic device and the electronic device thereof | |
US11899139B2 (en) | Photonic devices with redundant components and their applications | |
US10123184B2 (en) | Method for controlling call forwarding information and electronic device thereof | |
RU2015106144A (ru) | Системы и способы совместного использования данных изображений | |
CN117425004B (zh) | Tof相机的测试方法及相关装置 | |
KR102305117B1 (ko) | 텍스트 입력 제어 방법 및 그 전자 장치 | |
KR102360495B1 (ko) | 캘리브레이션을 위한 방법 및 그 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |