CN111209904A - 一种业务处理的方法以及相关装置 - Google Patents
一种业务处理的方法以及相关装置 Download PDFInfo
- Publication number
- CN111209904A CN111209904A CN201811392818.7A CN201811392818A CN111209904A CN 111209904 A CN111209904 A CN 111209904A CN 201811392818 A CN201811392818 A CN 201811392818A CN 111209904 A CN111209904 A CN 111209904A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- terminal device
- processed
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 162
- 238000000034 method Methods 0.000 claims abstract description 92
- 230000006870 function Effects 0.000 claims description 89
- 238000004422 calculation algorithm Methods 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 28
- 230000005236 sound signal Effects 0.000 claims description 22
- 238000013135 deep learning Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 53
- 230000001133 acceleration Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 238000003062 neural network model Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005358 geomagnetic field Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- User Interface Of Digital Computer (AREA)
- Library & Information Science (AREA)
- Telephone Function (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
- Hardware Redundancy (AREA)
Abstract
本申请公开了一种业务处理的方法,应用于终端设备,通过该终端设备上配置的传感器获取图像数据,并根据图像数据自动匹配当前的情景,然后自动运行当前情景对应的处理方式。比如采集到二维码(或还包括“支付”相关的文字),因此识别到当前是支付场景,然后自动打开支付软件。本申请还提供一种终端设备和业务处理装置。通过以上方法或装置,能够简化用户的操作步骤,提升操作的智能程度。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种业务处理的方法以及相关装置。
背景技术
随着科技的发展,以智能手机为代表的终端设备在人们生活中的占比越来越高。以智能手机为例,在日常生活中,人们可以使用智能手机扫描携带二维码的图片以实现相关应用程序的功能或是获取信息。
目前,智能手机处于灭屏状态时,如果需要执行扫描二维码的行动,首先需要点亮屏幕,完成对智能手机的解锁后,需要对相关的应用程序进行操作以完成对二维码的扫描。
然而,上述智能手机对携带二维码的图片进行扫描的行动,存在操作繁琐以及智能程度低等缺陷,降低了用户的使用便利度。
发明内容
本申请实施例提供了一种业务处理的方法以及相关装置,应用于终端设备中,终端设备可以通过终端设备中的传感器获取待处理数据,终端设备中的情景识别模型根据该待处理数据确定当前的情景并根据当前的情景确定对应的业务处理方式,由于业务处理方式是终端设备中预设的处理业务的方式,因此可以简化用户的操作步骤,提升操作的智能程度,提升用户的使用便利度。
为解决上述技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供了一种业务处理的方法,应用于终端设备,包括:获取待处理数据,其中,该待处理数据由传感器采集得到的数据生成,该传感器中至少包含红外线图像传感器,该待处理数据中至少包含由该红外线图像传感器采集得到的图像数据生成的待处理图像数据;通过情景识别模型确定该待处理数据所对应的目标情景,其中,该情景识别模型为传感数据集合以及情景类型集合训练得到的;根据该目标情景确定业务处理方式。
本申请中,终端设备通过部署于终端设备内部或与终端设备相连的传感器采集数据,该传感器中至少包括有红外线图像传感器,根据采集得到的数据生成待处理数据,待处理数据中至少包含由红外线图像传感器采集得到的图像数据生成的待处理图像数据。终端设备获取待处理数据后,可以通过情景识别模型确定这些待处理数据所对应的目标情景,该情景识别模型为使用传感器采集得到的数据集合与对应不同数据的情景类型集合在线下训练得到,线下训练为使用深度学习框架进行模型设计与训练。当终端设备确定当前的目标情景后,可根据该目标情景确定对应的业务处理方式。通过使用传感器采集得到的数据与情景识别模型可确定当前终端设备所处的目标情景,并根据目标情景确定对应的业务处理方式,终端设备无需额外操作即可自动确定对应与目标情景的业务处理方式,提升用户的使用便利度。以上红外线图像传感器是常开(always on)的。随着技术的发展,本申请中的图像传感器也可以不是红外线传感器,只要可以采集图像即可,只是目前已知的传感器中红外线传感器的功耗较低。
在第一方面的一种可能的实现方式中,通过情景识别模型确定待处理数据所对应的目标情景,包括:通过该情景识别模型中的AI算法确定该待处理数据所对应的该目标情景,其中,该AI算法包含深度学习算法,该AI算法运行于AI处理器中。
本申请中,终端设备具体使用情境识别模型中的AI算法确定待处理数据所对应的目标情景,AI算法中包含有深度学习算法,在运行于终端设备中的AI处理器上,由于AI处理器具有强大的并行运算能力,运行AI算法时具有效率高的特点,因此情景识别模型使用AI算法确定具体的目标情景,AI算法运行于终端设备中的AI处理器上,提升了情景识别的效率,进一步提升了用户的使用便利度。
在第一方面的一种可能的实现方式中,该传感器中至少还包含音频采集器以及第一子传感器中的一个,该待处理数据中至少包含待处理音频数据以及第一待处理子数据中的一个,其中,该待处理音频数据由该音频采集器采集得到的音频数据生成,该第一待处理子数据由该第一子传感器采集得到的第一子传感器数据生成。
本申请中,部署于终端设备中的传感器,除了红外线图像传感器以外,还包含有音频采集器以及第一子传感器中的一个,第一子传感器可以为加速度传感器、陀螺仪、环境光传感器、接近光传感器以及地磁传感器等传感器中的一种或多种。音频采集器采集得到音频数据,经终端设备处理后生成待处理音频数据。第一子传感器采集得到第一子传感器数据,经终端设备处理后生成待处理第一子传感器数据。终端设备使用多种传感器,多维度采集数据,提升了情景识别的准确性。
在第一方面的一种可能的实现方式中,获取待处理数据,包括:当到达图像采集预设运行时间时,通过该红外线图像传感器获取图像数据,其中该图像数据为该红外线图像传感器采集得到的数据;通过图像信号处理器获取该待处理图像数据,其中,该待处理图像数据由该图像信号处理器根据该图像数据生成;和/或当到达音频采集预设运行时间时,通过该音频采集器获取该音频数据;通过音频信号处理器获取该待处理音频数据,其中,该待处理音频数据由该音频信号处理器根据该音频数据生成;和/或当到达第一预设运行时间时,通过该第一子传感器获取第一子传感器数据,其中该第一子传感器数据为该第一子传感器采集得到的数据;通过第一子传感器处理器获取该第一待处理子数据,其中,该第一待处理子数据由该第一子传感器处理器根据该第一子传感器数据生成。
本申请中,红外线图像传感器、音频采集器以及第一子传感器中的一种或多种,分别可以在达到各自的预设的运行时间之后,采集与传感器相对应的数据,采集得到原始的传感器数据后,终端设备使用与传感器对应的处理器处理原始的传感器数据生成待处理的传感器数据。通过设置预设的运行时间,定时开启传感器采集数据,采集得到的原始数据可以经过与传感器对应的处理器处理。降低了情景识别模型所占用的缓存空间,降低了情景识别模型的功耗,提升了终端设备的待机使用时长。
在第一方面的一种可能的实现方式中,根据目标情景确定业务处理方式,包括:若该目标情景为扫描二维码情景,则根据该扫描二维码情景确定该业务处理方式为启动该终端设备主图像传感器和/或启动该终端设备中支持扫描二维码功能的应用程序。
本申请中,终端设备根据终端设备中的一种或多种传感器采集得到的数据,确定与传感器采集得到的数据对应的目标情景为扫描二维码情景时,确定与扫描二维码所对应的业务处理方式,包括有启动终端设备中主图像传感器,终端设备可以使用该主图像传感器扫描二维码,终端设备还可以启动支持扫描二维码功能的应用程序,例如启动应用程序微信并打开微信中的扫描二维码功能。可以同时启动主图像传感器以及启动支持扫描二维码功能的应用程序,也可以根据预设的指令或接收用户的指令启动主图像传感器或启动支持扫描二维码的应用程序,此处不作限定。除了扫描二维码以外,还可以应用于扫描条形码等其它图形标识,此处不作限定。终端设备使用多维度传感器采集得到的数据,通过情景识别模型确定目标情景为扫描二维码情景后,可自动执行相关的业务处理方式,提升了终端设备的智能化程度,提升了用户的操作便捷性。
在第一方面的一种可能的实现方式中,根据目标情景确定业务处理方式,包括:若该目标情景为会议情景,则根据该会议情景确定该业务处理方式为启动该终端设备的静音模式和/或启动该终端设备中应用程序的静音功能和/或在该终端设备的屏幕待机常显区显示静音模式图标,其中该静音模式图标用于启动该的静音模式。
本申请中,终端设备根据终端设备中的一种或多种传感器采集得到的数据,确定与传感器采集得到的数据对应的目标情景为会议情景时,确定与会议情景所对应的业务处理方式,包括有启动终端设备的静音模式,终端设备处于静音模式时,运行于终端设备中的所有应用程序处于静音状态,终端设备还可以启动运行于终端设备中应用程序的静音功能,例如启动应用程序微信的静音功能,此时微信的提示音切换为静音,还可以在终端设备的屏幕待机常显区显示静音模式图标,终端设备可以通过静音模式图标接收用户的静音操作指令,终端设备响应于该静音操作指令启动静音模式。终端设备使用多维度传感器采集得到的数据,通过情景识别模型确定目标情景为会议情景后,可自动执行相关的业务处理方式,提升了终端设备的智能化程度,提升了用户的操作便捷性。
在第一方面的一种可能的实现方式中,根据目标情景确定业务处理方式,包括:根据该目标情景确定该业务处理方式,包括:若该目标情景为运动情景,则根据该运动情景确定该业务处理方式为启动该终端设备的运动模式和/或启动该终端设备中应用程序的运动模式功能和/或在该终端设备的屏幕待机常显区显示音乐播放图标,其中,该终端设备的运动模式包括计步功能,该音乐播放图标用于开始播放或暂停播放音乐。
本申请中,终端设备根据终端设备中的一种或多种传感器采集得到的数据,确定与传感器采集得到的数据对应的目标情景为运动情景时,确定与运动情景所对应的业务处理方式,包括有启动终端设备的运动模式,终端设备处于运动模式时,终端设备启动计步应用程序以及生理数据监测应用程序,通过使用终端设备中相关传感器,记录用户的步数与相关生理数据。终端设备还可以启动终端设备中应用程序的运动模式功能,例如启动应用程序网易云音乐的运动功能,此时网易云音乐的播放模式为运动模式,还可以在终端设备的屏幕待机常显区显示音乐播放图标,终端设备可以通过音乐播放图标接收用户的音乐播放指令,终端设备响应于该音乐播放指令开始播放或暂停播放音乐。终端设备使用多维度传感器采集得到的数据,通过情景识别模型确定目标情景为运动情景后,可自动执行相关的业务处理方式,提升了终端设备的智能化程度,提升了用户的操作便捷性。
在第一方面的一种可能的实现方式中,根据目标情景确定业务处理方式,包括:根据该目标情景确定该业务处理方式,包括:若该目标情景为驾驶情景,则根据该驾驶情景确定该业务处理方式为启动该终端设备的驾驶模式和/或启动该终端设备中应用程序的驾驶模式功能和/或在该终端设备的屏幕待机常显区显示驾驶模式图标,其中,该终端设备的驾驶模式包括导航功能以及语音助手,该驾驶模式图标用于启动该驾驶模式。
本申请中,终端设备根据终端设备中的一种或多种传感器采集得到的数据,确定与传感器采集得到的数据对应的目标情景为驾驶情景时,确定与驾驶情景所对应的业务处理方式,包括有启动终端设备的驾驶模式,终端设备处于驾驶模式时,终端设备启动语音助手,终端设备可根据用户输入的语音指令执行相关操作,终端设备还可以启动导航功能。终端设备还可以启动终端设备中应用程序的驾驶模式功能,例如启动应用程序高德地图的驾驶功能,此时网易云音乐的导航模式为驾驶模式,还可以在终端设备的屏幕待机常显区显示驾驶模式图标,终端设备可以通过驾驶模式图标接收用户的驾驶模式指令,终端设备响应于该驾驶模式指令启动驾驶模式。终端设备使用多维度传感器采集得到的数据,通过情景识别模型确定目标情景为驾驶情景后,可自动执行相关的业务处理方式,提升了终端设备的智能化程度,提升了用户的操作便捷性。
第二方面,本申请实施例提供了一种终端设备,包括:传感器、处理器,该传感器中至少包含红外线图像传感器;该处理器,用于获取待处理数据,其中,该待处理数据由该传感器采集得到的数据生成,该待处理数据中至少包含由该红外线图像传感器采集得到的图像数据生成的待处理图像数据;该处理器,还用于通过情景识别模型确定该待处理数据所对应的目标情景,其中,该情景识别模型为该传感器获取的传感数据集合以及情景类型集合训练得到的;该处理器,还用于根据该目标情景确定业务处理方式。该处理器还用于执行如上述第一方面的业务处理的方法。
第三方面,本申请实施例提供了一种业务处理装置,该业务处理装置应用于终端设备,包括:获取单元,用于获取待处理数据,其中,该待处理数据由传感器采集得到的数据生成,该传感器中至少包含红外线图像传感器,该待处理数据中至少包含由该红外线图像传感器采集得到的图像数据生成的待处理图像数据;确定单元,用于通过情景识别模型确定该待处理数据所对应的目标情景,其中,该情景识别模型为传感数据集合以及情景类型集合训练得到的;该确定单元,还用于根据该目标情景确定业务处理方式。
在第三方面的一种可能的实现方式中,包括:该确定单元,具体用于通过该情景识别模型中的AI算法确定该待处理数据所对应的该目标情景,其中,该AI算法包含深度学习算法,该AI算法运行于AI处理器中。
在第三方面的一种可能的实现方式中,包括:该传感器中至少还包含音频采集器以及第一子传感器中的一个,该待处理数据中至少包含待处理音频数据以及第一待处理子数据中的一个,其中,该待处理音频数据由该音频采集器采集得到的音频数据生成,该第一待处理子数据由该第一子传感器采集得到的第一子传感器数据生成。
在第三方面的一种可能的实现方式中,包括:该获取单元,具体用于当到达图像采集预设运行时间时,该获取单元通过该红外线图像传感器获取图像数据,其中该图像数据为该红外线图像传感器采集得到的数据;该获取单元,具体用于通过图像信号处理器获取该待处理图像数据,其中,该待处理图像数据由该图像信号处理器根据该图像数据生成;和/或该获取单元,具体用于当到达音频采集预设运行时间时,该获取单元通过该音频采集器获取该音频数据;该获取单元,具体用于通过音频信号处理器获取该待处理音频数据,其中,该待处理音频数据由该音频信号处理器根据该音频数据生成;和/或该获取单元,具体用于当到达第一预设运行时间时,该获取单元通过该第一子传感器获取第一子传感器数据,其中该第一子传感器数据为该第一子传感器采集得到的数据;该获取单元,具体用于通过第一子传感器处理器获取该第一待处理子数据,其中,该第一待处理子数据由该第一子传感器处理器根据该第一子传感器数据生成。
在第三方面的一种可能的实现方式中,包括:该确定单元,具体用于若该确定单元确定该目标情景为扫描二维码情景,则该确定单元根据该扫描二维码情景确定该业务处理方式为启动该终端设备主图像传感器和/或启动该终端设备中支持扫描二维码功能的应用程序。
在第三方面的一种可能的实现方式中,包括:该确定单元,具体用于若该确定单元确定该目标情景为会议情景,则该确定单元根据该会议情景确定该业务处理方式为启动该终端设备的静音模式和/或启动该终端设备中应用程序的静音功能和/或在该终端设备的屏幕待机常显区显示静音模式图标,其中该静音模式图标用于启动该的静音模式。
在第三方面的一种可能的实现方式中,包括:该确定单元,具体用于若该确定单元确定该目标情景为运动情景,则该确定单元根据该运动情景确定该业务处理方式为启动该终端设备的运动模式和/或启动该终端设备中应用程序的运动模式功能和/或在该终端设备的屏幕待机常显区显示音乐播放图标,其中,该终端设备的运动模式包括计步功能,该音乐播放图标用于开始播放或暂停播放音乐。
在第三方面的一种可能的实现方式中,包括:该确定单元,具体用于若该确定单元确定该目标情景为驾驶情景,则该确定单元根据该驾驶情景确定该业务处理方式为启动该终端设备的驾驶模式和/或启动该终端设备中应用程序的驾驶模式功能和/或在该终端设备的屏幕待机常显区显示驾驶模式图标,其中,该终端设备的驾驶模式包括导航功能以及语音助手,该驾驶模式图标用于启动该驾驶模式。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如上述第一方面的存储块处理的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有报文处理的指令,当其在计算机上运行时,使得计算机执行上述第一方面描述的存储块处理的方法。
第七方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持网络设备实现上述方面中所涉及的功能,例如,例如发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存网络设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
第八方面,本申请提供一种业务处理的方法,所述方法应用于终端设备,所述终端设备上配置有常开的图像传感器,所述方法包括:获取数据,其中,所述数据包括所述图像传感器采集到的图像数据;通过情景识别模型确定所述数据所对应的目标情景,其中,所述情景识别模型为传感数据集合以及情景类型集合训练得到的;根据所述目标情景确定业务处理方式。
第八方面的其他实现方式可参考前述第一方面的各种实现方式。在此不再赘述。
第九方面,本申请提供一种终端设备,所述终端设备上配置有常开的图像传感器,所述终端设备用于实现前述任意实现方式所述的方法。
另外,第二方面至第九方面任一种实现方式所带来的技术效果可参见第一方面实现方式所带来的技术效果,此处不再赘述。
从以上技术方案可以看出,本申请实施例具有以下优点:
通过上述方法,终端设备可以通过终端设备中的传感器获取待处理数据,终端设备中的情景识别模型根据该待处理数据确定当前的情景并根据当前的情景确定对应的业务处理方式,由于业务处理方式是终端设备中预设的处理业务的方式,因此可以简化用户的操作步骤,提升操作的智能程度,提升用户的使用便利度。例如终端设备具体为智能手机,当智能手机处于灭屏状态且需要扫描携带二维码的图片时,智能手机可以自动实现相关应用程序的功能或是获取信息,无需额外操作,提升用户的使用便利度。
附图说明
图1a为本申请实施例中一个系统架构示意图;
图1b为本申请实施例中另一个系统架构示意图;
图2为本申请实施例提供的业务处理的方法涉及的使用场景示意图;
图3为本申请实施例提供的一种业务处理的方法的实施例示意图;
图4为本申请实施例提供的一种应用程序智能启动的实施例示意图;
图5为本申请实施例提供的一种智能推荐服务的实施例示意图;
图6为本申请实施例中一种业务处理的方法的应用场景流程示意图;
图7为本申请实施例提供的一种计算机系统的结构示意图;
图8为本申请实施例提供的一种AI处理器的结构示意图;
图9为本申请实施例中业务处理装置的一个实施例示意图。
具体实施方式
本申请提供一种业务处理的方法以及相关装置,终端设备可以通过终端设备中的传感器获取待处理数据,终端设备中的情景识别模型根据该待处理数据确定当前的情景并根据当前的情景确定对应的业务处理方式,由于业务处理方式是终端设备中预设的处理业务的方式,因此可以简化用户的操作步骤,提升操作的智能程度,提升用户的使用便利度。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别相似的对象,而不必用于介绍特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里介绍的实施例能够以除了在这里图示或介绍的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍本实施例之前,首先介绍本实施例中可能出现的几个概念。应理解的是,以下的概念解释可能会因为本实施例的具体情况有所限制,但并不代表本申请仅能局限于该具体情况,以下概念的解释伴随不同实施例的具体情况可能也会存在差异。
为了方便理解本申请的各个实施例,首先介绍本申请中可能出现的几个概念。应理解的是,以下的概念解释可能会因为本申请的具体情况有所限制,但并不代表本申请仅能局限于该具体情况,以下概念的解释伴随不同实施例的具体情况可能也会存在差异。
1、处理器
终端设备上设有多种处理器(还可称之为核心或计算单元),这些核心构成处理器。本申请实施例的核心主要涉及异构核心,这些核心的类型包括但不限于以下几种:
1)中央处理器(central processing unit,CPU)是一块超大规模的集成电路,是一台计算机的运算核心(core)和控制核心(control unit)。它的功能主要是解释计算机指令以及处理计算机软件中的数据。
2)图形处理器(graphics processing unit,GPU),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动终端设备(如平板电脑、智能手机等)上图像运算工作的微处理器。
3)数字信号处理器(digital signal process,DSP),DSP指能够实现数字信号处理技术的芯片。DSP芯片的内部采用程序和数据分开的哈佛结构,具有专门的硬件乘法器,广泛采用流水线操作,提供特殊的DSP指令,可以用来快速的实现各种数字信号处理算法。
3.1)图像信号处理器(image signal processor,ISP),ISP指能够实现图像信号处理计算的芯片,ISP是DSP芯片的一种,主要作用是对图像传感器输出的数据进行后期处理,主要功能有线性纠正、噪声去除、坏点校正、内插、白平衡以及自动曝光等。
3.2)音频信号处理器(audio signal processor,ASP),ASP指能够实现音频信号处理计算的芯片,ASP是DSP芯片的一种,主要作用是对音频采集器输出的数据进行后期处理,主要功能有声源定位、声源增强、回声消除以及噪音抑制技术等。
4)AI处理器(artificial intelligence,人工智能)
AI处理器又称人工智能处理器或AI加速器,为运行有人工智能算法的处理芯片,通常采用专用集成电路(application specific integrated circuits,ASIC)实现,还可采用现场可编程门阵列(field-programmable gate array,FPGA)实现,还可以采用GPU实现,此处不作限定,AI处理器采用脉动阵列(systolic array)结构,在这种阵列结构中,数据按预先确定的“流水”方式在阵列的处理单元间有节奏地“流动”。在数据流动的过程中,所有的处理单元同时并行地对流经它的数据进行处理,因而它可以达到很高的并行处理速度。
AI处理器具体可以是神经网络处理器(neural-network processing unit,NPU)、张量处理器(tensor processing unit,TPU)、智能处理器(intelligence processingunit,IPU)以及GPU等。
4.1)神经网络处理器(neural-network processing unit,NPU),NPU在电路层模拟人类神经元和突触,并且用深度学习指令集直接处理大规模的神经元和突触,一条指令完成一组神经元的处理。相比于CPU中采取的存储与计算相分离的冯诺伊曼结构,NPU通过突触权重实现存储和计算一体化,从而大大提高了运行效率。
4.2)张量处理器(tensor processing unit,TPU)人工智能旨在为机器赋予人的智能,机器学习是实现人工智能的强有力方法。所谓机器学习,即研究如何让计算机自动学习的学科。TPU就是这样一款专用于机器学习的芯片,它可以是一个针对Tensorflow平台的可编程人工智能加速器,本质是脉动阵列结构的加速器。其内部的指令集在Tensorflow程序变化或者更新算法时也可以运行。TPU可以提供高吞吐量的低精度计算,用于模型的前向运算而不是模型训练,且能效(TOPS/w)更高。TPU也可以称之为智能处理器(intelligenceprocessing unit,IPU)。
2、传感器
终端设备上设有多种传感器(sensor),终端设备通过这些传感器获取外界信息。本申请实施例涉及的传感器包括但不限于以下几种:
1)红外线图像传感器(infrared radiation-red green blue image sensor,IR-RGB image sensor),采用CCD单元(charge-coupled device,电荷耦合器件)或标准CMOS单元(complementary meta-oxide semiconductor,互补金属氧化物半导体),通过滤波片滤波,只允许透过彩色波长段和设定的红外波长段的光,在图像信号处理器中分离IR(infrared radiation,红外)图像数据流以及RGB(red green blue,三原色)图像数据流,IR图像数据流为微光环境下得到的图像数据流,分离得到的该两个图像数据流用做其他应用处理。
2)加速度传感器(acceleration sensor),加速度传感器用于测量物体的加速度变化值,通常从X、Y以及Z三个方向进行测算,X方向值的大小代表终端设备水平方向运动,Y方向值的大小代表终端设备垂直方向移动,Z方向值的大小代表终端设备的空间垂直方向运动。在实际场景中,用于测量终端设备的运动速度和方向,例如:当用户拿着终端设备运动时,会出现上下摆动的情况,这样可以检测出加速度在某个方向上来回改变,通过检测这个来回改变的次数,可以计算出步数。
3)陀螺仪(gyroscope),陀螺仪是一种测量一个物体围绕某个中心旋转轴的角速度的传感器,应用于终端设备中的陀螺仪为微机械陀螺仪芯片(micro-electro-mechanical-systems gyroscope,MEMS gyroscope),常见的MEMS陀螺仪芯片为三轴陀螺仪芯片,可追踪6个方向的位移变化。三轴陀螺仪芯片可以获取终端设备在x、y、z三个方向上的角加速度的变化值,用于检测终端设备的旋转方
4)环境光传感器(ambient light sensor),环境光传感器是一种测量外界光线变化的传感器,基于光电效应测量外界光线强度的变化。应用于终端设备中,用于用来调节终端设备的显示屏的亮度。而因为显示屏通常是终端设备最耗电的部分,因此运用环境光传感器来协助调整荧幕亮度,能进一步达到延长电池寿命的作用。
5)接近光传感器(proximity sensor),接近光传感器由一个红外线发射灯和红外辐射光线探测器构成。接近光传感器位于终端设备的听筒附近,终端设备靠近耳朵时,系统借助接近光传感器知道用户在通电话,然后会关闭显示屏,防止用户因误操作影响通话。接近光传感器的工作原理是,红外线发射灯发出的不可见红外光由附近的物体反射后,被红外辐射光线探测器探测到。一般发出的不可见红外光采取近红外光谱波段。
6)地磁传感器(magnetism sensor),地磁传感器是一类利用被测物体在地磁场中的运动状态不同,由于地磁场在不同方向上的磁通量分布是不同的,因此可通过感应地磁场的分布变化而指示被测物体的姿态和运动角度等信息的测量装置。一般用于终端设备的指南针或导航应用中,通过计算出终端设备在三维空间中的具体朝向,帮助用户实现准确定位。
3、情景识别,又称情景感知(context awareness)源于所谓普适计算的研究,最早由Schilit于1994年提出。情景感知有诸多定义,简单说就是通过传感器及其相关的技术使计算机设备能够“感知”到当前的情景。能够进行情景感知的信息亦有很多,如温度、位置、加速度、音频、视频等等。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例进行介绍。
本申请实施例提供的业务处理的方法可以应用于终端设备,该终端设备可以说移动电话、平板电脑(tablet personal computer)、膝上型电脑(laptop computer)、数码相机、个人数字助理(personal digital assistant,简称PDA)、导航装置、移动上网装置(mobile internet device,MID)、可穿戴式设备(wearable device)、智能手表以及智能手环等。当然,在以下实施例中,对该终端设备的具体形式不作任何限制。其中,终端设备可以搭载的系统可以包括或者其它操作系统等,本申请实施例对此不作任何限制。
以搭载操作系统的终端设备为例,如图1a所示,图1a为本申请实施例中一个系统架构示意图,终端设备从逻辑上可划分为硬件层、操作系统,以及应用层。硬件层包括主处理器、微控制器单元、调制调解器、Wi-Fi模块、传感器、定位模块等硬件资源。应用层包括一个或多个应用程序,比如应用程序,应用程序可以为社交类应用、电子商务类应用、浏览器、多媒体类应用以及导航应用等任意类型的应用程序,还可以为情景识别模型以及人工智能算法等应用程序。操作系统作为硬件层和应用层之间的软件中间件,是管理和控制硬件与软件资源的应用程序。
硬件层中,除主处理器、传感器、Wi-Fi模块等硬件资源以外,还包括有永远在线(always on,AO)区,永远在线区中的硬件通常情况下全天候开启,永远在线区中还包括传感器控制中心(sensor hub)、AI处理器以及传感器等硬件资源,sensor hub中包含有协处理器以及传感器处理器,传感器处理器用于处理传感器输出的数据,AI处理器以及传感器处理器生成的数据经过协处理器进一步处理后,由协处理器与主处理器建立交互联系。其中永远在线区中的传感器包括有:红外线图像传感器、陀螺仪、加速度传感器以及音频采集器(mic)等,传感器处理器包括有:迷你图像信号处理器(mini ISP)以及音频信号处理器(ASP)。为了便于理解,AO区与硬件层之间的连接关系如图1b所示,图1b为本申请实施例中另一个系统架构示意图。
在一个实施例中,操作系统包括内核,硬件抽象层(hardware abstractionlayer,HAL)、库和运行时(libraries and runtime)以及框架(framework)。其中,内核用于提供底层系统组件和服务,例如:电源管理、内存管理、线程管理、硬件驱动程序等;硬件驱动程序包括Wi-Fi驱动、传感器驱动、定位模块驱动等。硬件抽象层是对内核驱动程序的封装,向框架提供接口,屏蔽低层的实现细节。硬件抽象层运行在用户空间,而内核驱动程序运行在内核空间。
库和运行时也叫做运行时库,它为可执行程序在运行时提供所需要的库文件和执行环境。库与运行时包括安卓运行时(android runtime,ART)以及库等。ART是能够把应用程序的字节码转换为机器码的虚拟机或虚拟机实例。库是为可执行程序在运行时提供支持的程序库,包括浏览器引擎(比如webkit)、脚本执行引擎(比如JavaScript引擎)、图形处理引擎等。
框架用于为应用层中的应用程序提供各种基础的公共组件和服务,比如窗口管理、位置管理等等。框架可以包括电话管理器,资源管理器,位置管理器等。
以上介绍的操作系统的各个组件的功能均可以由主处理器执行存储器中存储的程序来实现。
所属领域的技术人员可以理解终端可包括比图1a以及图1b所示的更少或更多的部件,图1a以及图1b所示的该终端设备仅包括与本申请实施例所公开的多个实现方式更加相关的部件。
如图2所示,图2为本申请实施例提供的业务处理的方法涉及的使用场景示意图。在该使用场景中,在终端设备上设有处理器,该处理器包括至少两个核心。该至少两个核心可以包括CPU以及AI处理器等。AI处理器包括但不限于神经网络处理器、张量处理器以及GPU等。这些芯片可以称之为核心,用于在终端设备上进行计算。其中,不同的核心有不同的能效比。
终端设备可以使用具体的算法执行不同的应用业务,本申请实施例的方法涉及运行情景识别模型,终端设备可以使用情景识别模型确定当前使用终端设备的用户所在的目标情景,并根据确定的目标情景执行不同的业务处理方式。
终端设备在确定当前使用终端设备的用户所在的目标情景时,会依据不同的传感器采集得到的数据以及情景识别模型中的AI算法,确定不同的目标情景。
为此,本申请实施例提供了一种业务处理的方法,本申请以下各实施例主要对终端设备根据不同的传感器采集得到的数据以及情景识别模型,确定终端设备所在的目标情景以及对应目标情景的业务处理方式。
下面以实施例的方式,对本申请技术方案做进一步的说明,请参阅图3,图3为本申请实施例提供的一种业务处理的方法的实施例示意图,本申请实施例提供的一种业务处理的方法的实施例包括:
301、启动定时器;
本实施例中,终端设备启动与传感器相连接的定时器,该定时器用于指示与其相连的传感器采集数据的时间间隔。AO区中的协处理器根据情景识别模型的要求,设置不同传感器对应的定时器的定时时间。例如:与加速度传感器对应的定时器,可设置定时时间为100毫秒(millisecond,ms),含义为,每隔100ms采集一次加速度数据,并将该加速度数据存储至终端设备指定的缓存区域中。
这里的定时时间既可以根据情景识别模型的要求进行设置,也可以根据传感器寿命、缓存空间占用率以及功耗情况等多方面需求进行设置,例如:对于红外线图像传感器而言,红外线图像传感器本身可以采集较高帧频的红外图像,但是长时间的连续采集会对传感器本身造成损伤,影响寿命。同时,长时间的连续采集会导致红外线图像传感器耗电量增加,降低终端设备的使用时长。综合上述情况以及实际情景识别模型的需求,可设置与红外线图像传感器相连的定时器的定时时间为,例如:人脸识别情景下,可设置采集图像的定时时间为1/6秒,即每秒采集图像10帧;在其它识别情景下,可设置采集图像的定时时间为1秒,即每秒采集图像1帧。还可以为:当终端设备处于低电量模式时,定时时间设置为1秒,以达到延长终端设备使用时长的目的。对于一些功耗较低以及采集得到的数据占用存储空间较小的传感器,可不设置该传感器的定时时间,以达到实时采集数据的目的。
需要说明的是,定时器既可以为与传感器相连接的具有定时功能的芯片,也可以时传感器内置的定时功能,此处不作限定。
302、传感器采集得到数据;
本实施例中,定时器在到达定时时间后,指示相连接的传感器启动并采集数据。具体需要什么传感器采集数据,由协处理器根据情景识别模型选择。例如:当需要确定当前是否处于扫码二维码情景时,终端设备通过红外线图像传感器采集得到数据,在对该红外线图像传感器采集得到的数据进行处理以及运算后,即可完成情景识别的过程。当需要确定当前是否处于会议情景时,终端设备除了使用红外线图像传感器采集得到数据,还需要使用音频采集器采集得到数据,在对该红外线图像传感器采集得到的数据以及音频采集器采集得到的数据进行处理以及运算后,即可完成情景识别的过程。
以红外线图像传感器为例,在到达与红外线图像传感器对应的定时时间后,红外线图像传感器采集图像数据,该图像数据包含有IR图像和RGB图像,其中IR图像为灰度图,可用于展示低光环境下的所拍摄的外界信息,RGB图像为彩色图像,可用于展示非低光环境下所拍摄的外界信息,红外线图像传感器将采集得到的图像数据存储至缓存空间中,以供后续步骤使用。
获取红外线图像传感器采集得到的图像数据存在两种不同的应用情景:第一种应用情景是终端设备内与终端设备的主屏幕相同平面的壳体内布置有第一红外线图像传感器;第二种应用情景是终端设备内与终端设备的主图像传感器相同平面的壳体内布置有第二红外线图像传感器。下面分别对这两种情况进行介绍。
第一种应用情景中,第一红外线图像传感器可以采集投影至终端设备的主屏幕的图像数据,例如当用户使用终端设备进行自拍操作时,布置于与终端设备的主屏幕相同的平面内的第一红外线图像传感器可以采集用户的脸部图像数据。
第二种应用情景中,第二红外线图像传感器可以采集投影至终端设备的主图像传感器的图像数据,例如当用户使用终端设备的主图像传感器进行扫描二维码操作时,布置于终端设备的主图像传感器相同的平面内第二红外线图像传感器可以采集二维码图像数据。
需要说明的是,在同一终端设备中,可以同时布置第一红外线图像传感器与第二红外线传感器,布置的方式与采集数据的方式与前述方式相似,此处不再赘述。
音频采集器可布置于终端设备的壳体上任意位置,一般以16千赫兹的采样频率采集终端设备所在环境的音频数据。
加速度传感器布置于终端设备内部的always on区中,采用两线式串行总线接口(inter-integrated circuit,I2C)或串行外设接口(serial peripheral interface,SPI)SPI和sensor hub相连,一般提供±2重力(gravity,G)至±16重力(gravity,G)的加速度测量范围,采集得到的加速度数据精度小于16比特(bit)。
需要说明的是,传感器采集得到的数据既可以直接发送至传感器处理器或情景识别模型进行处理,也可以存储至缓存区域,传感器处理器或情景识别模型通过读取缓存区域中的传感器数据进行处理,此处不作限定。
303、传感器处理器处理数据;
本实施例中,传感器采集得到的数据之后,该采集得到的数据可经由与传感器对应的传感器处理器,又称为与传感器对应的数字信号处理器,进行数据预处理后,生成供后续情景识别模型使用的待处理数据。
以与红外线图像传感器对应的传感器处理器miniISP为例,在获取红外线图像传感器采集得到的图像数据后,miniISP对该图像数据进行处理,例如,当传感器采集得到的图像数据的分辨率(image resolution)为640像素乘480像素时,miniISP可将该图像数据进行压缩处理,生成320像素乘240像素的待处理图像数据。miniISP还可以对图像数据进行自动曝光(automatic exposure,AE)处理。除了上述处理方式,miniISP还可用于根据图像数据中包含的亮度信息,自动选择图像数据中所需处理的图像,例如,当miniISP确定当前图像为低光环境下采集得到的,由于IR图像所包含的低光环境下的图像细节信息比RGB图像更多,因此选择图像数据中的IR图像进行处理。
可以理解的是,并不是所有的传感器都需要传感器处理器处理数据,例如,加速度传感器采集得到的加速度数据,情景识别模型可以直接使用。步骤303为可选步骤。
304、确定目标情景;
本实施例中,终端设备使用传感器采集得到的数据和/或经过传感器处理器处理后的待处理数据,根据情景识别模型确定对应的目标情景。情景识别模型运行于协处理器和AI处理器中,情景识别模型中的AI算法运行于AI处理器中。对于不同的传感器采集得到的的数据,在情景识别模型中数据流动的方向与顺序是不同的,例如:对于miniISP根据图像数据处理生成的待处理图像数据以及ASP根据音频数据生成的待处理音频数据,先加载至情景识别模型中AI处理器上运行的AI算法,后协处理器根据AI处理器的计算结果确定目标情景。对于加速度传感器采集生成的加速度数据,先经过协处理器的处理,后加载至情景识别模型中AI处理器上运行的AI算法,最后协处理器根据AI处理器的计算结果确定目标情景。
其中,情景识别模型包含两部分:第一部分是AI算法,AI算法中包含有根据传感器采集得到的数据集合以及经过传感器处理器处理后的待处理数据集合,在线下训练得到神经网络模型。第二部分是根据AI算法运算的结果,确定目标情景,由协处理器完成。对于图像数据,通常采用的是卷积神经网络(convolutional neural network,CNN),对于音频数据,通常采用的是深度神经网络(deep neural network,DNN)/循环神经网络(recurrentneural network,RNN)/长短期记忆网络(long short-term memory,LSTM),对于不同的数据可以采用不同的深度神经网络算法,对具体的算法类型不作限制。
CNN是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。该CNN由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得CNN能够利用输入数据的二维结构。该CNN中的卷积层的卷积核会对图像进行卷积,卷积就是用一个特定参数的滤波器去扫描图像,提取图像的特征值。
线下训练是指在tensorflow、caffe(convolutional architecture for fastfeature embedding)等深度学习框架上进行模型设计与训练。
以红外线图像传感器为例。终端设备中可应用红外线图像数据的情景识别模型有多种,例如:扫描二维码情景识别模型、被扫码情景识别模型以及自拍情景识别模型等,终端设备中可应用一种或多种的情景识别模型,下面分别进行介绍。
在扫描二维码情景识别模型中,加载于AI处理器中的线下训练所得到的神经网络模型,采用CNN算法,通过传感器采集10万张二维码图像和10万张非二维码图像,并分别标注(有二维码或无二维码),在tensorflow上训练之后得到神经网络模型及相关参数,之后将第二红外线图像传感器采集得到的图像数据,输入至该神经网络模型中进行网络推导,就可得到该图像中是不是包含有二维码的结果。需要说明的时,扫描二维码情景识别模型中,线下训练是若采集的图像不仅为二维码图像,还可以是条形码图像等其他图标时,扫描二维码情景识别模型还可以识别终端设备获取得到的图像中,是否包含有条形码等结果。
在被扫码情景识别模型中,加载于AI处理器中的线下训练所得到的神经网络模型,采用CNN算法,通过传感器采集10万张包含扫码设备的图像和10万张不含扫码设备的图像,该包含扫码设备的图像中为传感器采集得到的包含有扫码仪、扫码枪、智能手机以及智能手环等可穿戴设备中扫描部分的图像数据,以智能手机为例,当图像中包含有智能手机中主图像传感器部分时,该图像为包含扫码设备的图像。并分别标注(有扫码设备或无扫码设备),在tensorflow上训练之后得到神经网络模型及相关参数,之后将第一红外线图像传感器采集得到的图像数据,输入至该神经网络模型中进行网络推导,就可得到该图像中是不是包含有扫码设备的结果。
在自拍情景识别模型中,载于AI处理器中的线下训练所得到的神经网络模型,采用CNN算法,通过传感器采集10万张包含人脸的图像和10万张不含人脸的图像,该包含人脸的图像为包含部分或全部的人体脸部的图像,并分别标注(有人脸或无人脸),在tensorflow上训练之后得到神经网络模型及相关参数,之后将第一红外线图像传感器采集得到的图像数据,输入至该神经网络模型中进行网络推导,就可得到该图像中是不是包含有人脸的结果。
需要说明的是,除了应用红外线图像传感器采集的图像数据确定目标情景以外,还可以应用音频采集器采集得到的音频数据、加速度传感器采集得到的加速度数据等多种传感器采集得到的数据确定目标情景。例如,可以应用图像数据、音频数据以及加速度数据确定当前终端设备所处的情景是否为运动情景。应用多种数据确定当前终端设备所处的情景是否为驾驶情景等。
不对具体采用的算法、线下训练所具体使用深度学习平台以及线下训练时传感器采集的数据样本量做具体限定。
305、确定业务处理方法。
本实施例中,协处理器在确定目标情景之后,可以由协处理器确定与目标情景对应的业务处理方法,也可以通过协处理器将确定的目标情景发送至主处理器中,由主处理器确定与目标情景对应的业务处理方法。
根据不同的情景,对应有多种不同的业务处理方法,例如:若目标情景为驾驶情景,则根据驾驶情景确定业务处理方式为启动终端设备的驾驶模式和/或启动终端设备中应用程序的驾驶模式功能和/或在终端设备的屏幕待机常显区显示驾驶模式图标,其中,终端的驾驶模式包括导航功能以及语音助手,驾驶模式图标用于启动驾驶模式。启动终端设备的驾驶模式以及启动终端设备中应用程序的驾驶模式功能,为主处理器执行的步骤,在终端设备的屏幕待机常显区显示驾驶模式图标,为协处理器执行的步骤。
本申请实施例中,提供了一种业务处理的方法,终端设备使用传统传感器、红外线图像传感器以及音频采集器等多种传感器,采集外界多维度信息,提升了终端设备的感知能力。由于AI处理器是针对AI算法进行优化的专用芯片,因此终端设备使用该AI处理器可以极大的提高AI算法的运行速度,并降低终端设备的功耗。由于协处理器运行于终端设备的always on区上,无需开启主处理器即可工作,因此在终端设备处于灭屏的状态下,依然可以进行情景识别。
接下来,将分别介绍在图3所对应的实施例基础上,终端设备在不同情境下,实现确定所在的目标情景以及对应目标情景的业务处理方式。
在图3所对应的实施例基础上,如图4所示,图4为本申请实施例提供的一种应用程序智能启动的实施例示意图,本申请实施例提供的一种应用程序智能启动的实施例包括:
401、启动定时器;
本实施例中,步骤401与图3中步骤301相似,此处不再赘述。
402、获取传感器采集得到的数据;
本实施例中,步骤402与图3中步骤302相似,此处不再赘述。
403、传感器处理器处理数据;
本实施例中,步骤403与图3中步骤303相似,此处不再赘述。
404、确定是否为目标情景;
本实施例中,根据传感器采集得到的数据确定是否为目标情景的方法与图3中步骤304中的方法相似,此处不再赘述。
若终端设备根据当前获取的数据,确定终端设备所处于的情景为目标情景,则进入步骤405;若终端设备根据当前获取的数据,确定终端设备所处于的情景不为目标情景,则进入步骤401,等待获取并处理下一次传感器采集得到的数据。
405、启动目标应用程序。
本实施例中,当终端设备根据传感器采集得到的数据,确定当前终端设备所处的目标情景后,终端设备可以启动与目标情景对应的目标应用程序。
例如,当终端设备确定当前情景为运动情景后,终端设备可以启动导航应用程序,如高德地图等,还可以启动健康监测应用程序用以监测终端设备使用者的生理数据,还可以启动音乐播放应用程序并自动播放音乐。
以红外线图像传感器为例,对应步骤404中的三种可应用红外线图像数据的情景识别模型,下面分别进行介绍。
终端设备根据计算结果,得到当前图像中包含有扫码设备时,终端设备可确定当前终端设备处于扫描二维码情景,此时终端设备可自动打开主图像传感器相关联的应用程序、启动主图像传感器并启动主屏幕,例如相机应用程序。或打开具有扫描二维码功能的应用程序并进一步打开该应用程序中扫码二维码的功能,例如打开浏览器应用程序中“扫一扫”功能,其中“扫一扫”功能用于扫描二维码图像并将扫描得到的数据提供至浏览器使用。
终端设备根据计算结果,得到当前图像中包含有扫码设备时,终端设备可确定当前终端设备处于被扫码情景,此时终端设备可打开具有二维码和/或条形码的应用程序,在自动打开终端设备的主屏幕后,在主屏幕上显示应用程序的二维码和/或条形码。例如,当终端设备确定当前图像中包含有扫码设备时,打开终端设备的主屏幕并显示支付应用程序的支付二维码和/或条形码,该支付应用程序可以为支付宝或微信等。
终端设备根据计算结果,得到当前图像中包含人脸时,终端设备可确定当前终端设备处于自拍情景,此时终端设备可启动与主屏幕同一平面内的副图像传感器,自动打开副图像传感器相关联的应用程序,例如相机应用程序中的自拍功能并启动主屏幕,在主屏幕上显示相机应用程序中自拍功能界面。
本申请实施例中,终端设备可以在使用红外线图像传感器的基础上,自动识别当前情景,并根据识别得到的情景,智能化地启动与目标情景所对应的应用程序。提升了用户的操作便利性。
在图3所对应的实施例基础上,如图5所示,图5为本申请实施例提供的一种智能推荐服务的实施例示意图,本申请实施例提供的一种智能推荐服务的实施例包括:
501、启动定时器;
本实施例中,步骤501与图3中步骤301相似,此处不再赘述。
502、获取传感器采集得到的数据;
本实施例中,步骤502与图3中步骤302相似,此处不再赘述。
503、传感器处理器处理数据;
本实施例中,步骤503与图3中步骤303相似,此处不再赘述。
504、确定是否为目标情景;
本实施例中,根据传感器采集得到的数据确定是否为目标情景的方法与图3中步骤304中的方法相似,此处不再赘述。
若终端设备根据当前获取的数据,确定终端设备所处于的情景为目标情景,则进入步骤505;若终端设备根据当前获取的数据,确定终端设备所处于的情景不为目标情景,则进入步骤501,等待获取并处理下一次传感器采集得到的数据。
505、推荐目标服务。
本实施例中,当终端设备根据传感器采集得到的数据,确定当前终端设备所处的目标情景后,终端设备可以推荐与目标情景对应的目标服务。下面对推荐目标服务的具体方法进行介绍。
若终端设备确定终端设备所处的目标情景后,可向终端设备使用者推荐目标情景对应的目标服务,包括在终端设备的息屏提示(always on display,AOD)区显示目标服务的功能入口、在终端设备的AOD区显示目标服务中包含的应用程序的程序入口、自动启动目标服务以及自动启动目标服务中包含的应用程序。
例如:当终端设备根据红外线图像传感器、音频采集器以及加速度传感器等传感器集合采集得到的数据,确认当前情景为会议情景或睡眠情景等终端设备所处环境较为安静的情景时,终端设备可以在AOD区中显示静音图标,终端设备可以通过接收用户对静音图标的操作指令,启动静音功能,该静音功能为设置终端设备中所有应用程序的音量为0。在AOD区中显示静音图标以外,还可以同时在AOD区中显示震动图标,终端设备可以通过接收用户对震动图标的操作指令,启动震动功能,该震动功能为设置终端设备中所有应用程序的音量为0并且设置终端设备中所有应用程序的提示音为震动。当一段时间内,例如15分钟,终端设备未能接收到AOD区中对应图标的操作指令时,终端设备可自动启动静音功能或震动功能。
当终端设备确定当前情景为运动情景时,终端设备可以在AOD区中显示音乐播放应用程序图标,终端设备可以通过接收用户对音乐播放应用程序图标的操作指令,启动音乐播放应用程序。
本申请实施例中,终端设备在灭屏状态等低功耗状态下,可进行服务推荐,并且可用图像、音频以及加速度数据等多种传感器数据作为情景感知数据依据,通过深度学习算法提高情境感知的准确率。提升了用户的操作便利性。
在图3、图4以及图5对应的实施例基础上,如图6所示,图6为本申请实施例中一种业务处理的方法的应用场景流程示意图,本申请实施例中一种业务处理的方法的应用场景包括:
步骤S1中,当终端设备通过蓝牙连接上对端的设备时,用户可标记当前通过蓝牙连接的对端设备是否为汽车。对端设备被标记为汽车后,终端设备每次通过蓝牙与该对端设备连接时,终端设备可以确认当前蓝牙连接的对端设备为汽车。
终端设备AO区中的协处理器每隔一段时间,一般为10秒,获取终端设备的蓝牙连接状态;
步骤S2中、是否连接至汽车蓝牙
终端设备获取当前蓝牙连接状态后,可获知当前终端设备是否存在通过蓝牙连接的对端设备,若存在蓝牙连接的对端设备,则进一步确认当前蓝牙连接的对端设备是否带有用户设置的汽车标识,若对端设备带有用户设置的汽车标识,可确认当前终端设备连接至汽车蓝牙,进入步骤S8,若当前终端设备蓝牙状态处于未连接或蓝牙连接的对端设备没有用户设置的汽车标识,则进入步骤S3;
步骤S3中、终端设备获取运行于终端设备中打车软件的相关数据,并根据该打车软件的相关数据确认当前打车软件是否启动,即当前用户是否使用该打车软件。若根据打车软件的相关数据确认当前用户使用该打车软件时,则进入步骤S9,若根据打车软件的相关数据确认当前用户未使用该打车软件时,则进入步骤S4;
步骤S4中、终端设备使用加速度传感器以及陀螺仪采集加速度数据以及角速度数据,并将采集得到的加速度数据以及角速度数据进行数据预处理,包括:对数据进行重采样,例如加速度传感器采集得到的原始加速度数据的采样率为100赫兹(hz),经过数据重采样后得到的加速度数据的采样率为1赫兹,具体重采样后得到数据的采样率由情景识别模型中应用的神经网络模型的样本采样率决定,一般与样本采样率一致。
将预处理后的数据存储至终端设备的随机存储器(random access memory,RAM)中,RAM包括有双倍速率同步动态随机存储器(double data rate,DDR)、DDR2、DDR3、DDR4以及未来即将面世的DDR5;
步骤S5中、终端设备中情景识别模型获取RAM中存储的预处理后的加速度数据以及角速度数据,情景识别模型根据预处理后的加速度数据以及角速度数据,确认当前终端设备是否处于驾驶情景。若是,则进入步骤S6,若否,则进入步骤S9;
步骤S6中、当终端设备根据加速度数据与角速度数据确认当前终端设备处于驾驶情景后,由于根据加速度数据与角速度数据进行的情景识别结果可信度不高,还需要进一步获取其它传感器数据进行情景识别。终端设备获取红外线图像传感器采集得到的图像数据以及音频采集器采集得到的音频数据,并将采集得到的图像数据与音频数据存储至终端设备的RAM中,或者采集得到的图像数据与音频数据经过miniISP与ASP对应处理后,将处理后的图像数据与音频数据存储至终端设备的RAM中;
步骤S7中、终端设备获取RAM中的图像数据与音频数据,并将图像数据与音频数据加载至情景识别模型进行情景识别,根据图像数据与音频数据确认当前终端设备是否处于驾驶情景。若是,则进入步骤S8,若否,则进入步骤S9;
步骤S8中、终端设备在AOD区中显示驾驶情境图标,该驾驶情景图标为终端设备的驾驶情景功能入口,当终端设备接收到用户通过该驾驶情景图标触发的操作指令后,终端设备启动驾驶情景模式,包括有:启动导航应用程序,放大终端设备显示字符的字号,启动语音操作助手,该语音操作助手可根据用户的语音指令控制终端设备的操作,例如根据用户的语音指令进行拨打电话号码的操作;
步骤S9中、终端设备结束驾驶情景的识别操作。
本方案中,结合终端设备中众多传感器,利用加速度、角速度、图像以及音频等各个维度数据,通过人工智能算法来判断当前是否是驾驶情景,提高了驾驶情景的识别准确率。
请参考图7,图7为本申请实施例提供的一种计算机系统的结构示意图。该计算机系统可以为终端设备。如图所示,该计算机系统包括通信模块710、传感器720、用户输入模块730、输出模块740、处理器750、音视频输入模块760、存储器770以及电源780。进一步的,本实施例提供的计算机系统还可以包括AI处理器790。
通信模块710可以包括至少一个能使该计算机系统与通信系统或其他计算机系统之间进行通信的模块。例如,通信模块710可以包括有线网络接口,广播接收模块、移动通信模块、无线因特网模块、局域通信模块和位置(或定位)信息模块等其中的一个或多个。这多种模块均在现有技术中有多种实现,本申请不一一描述。
传感器720可以感测系统的当前状态,诸如打开/闭合状态、位置、与用户是否有接触、方向、和加速/减速,并且传感器720可以生成用于控制系统的操作的感测信号。传感器720中包含有红外线图像传感器、音频采集器、加速度传感器、陀螺仪、环境光传感器、接近光传感器以及地磁传感器中的一种或多种。
用户输入模块730,用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势,以及接收与系统的用户设置以及功能控制有关的信号输入等。用户输入模块730包括触控面板和/或其他输入设备。
输出模块740包括显示面板,用于显示由用户输入的信息、提供给用户的信息或系统的各种菜单界面等。可选的,可以采用液晶显示器(liquid crystal display,LCD)或有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板。在其他一些实施例中,触控面板可覆盖显示面板上,形成触摸显示屏。另外,输出模块740还可以包括音频输出模块、告警器以及触觉模块等。
音视频输入模块760,用于输入音频信号或视频信号。音视频输入模块760可以包括摄像头和麦克风。
电源780可以在处理器750的控制下接收外部电力和内部电力,并且提供系统的各个组件的操作所需的电力。
处理器750包括一个或多个处理器,处理器750为该计算机系统中的主处理器,例如,处理器750可以包括一个中央处理器和一个图形处理器。中央处理器在本申请中具有多个核,属于多核处理器。这多个核可以集成在同一块芯片上,也可以各自为独立的芯片。
存储器770存储计算机程序,该计算机程序包括操作系统程序772和应用程序771等。典型的操作系统如微软公司的Windows,苹果公司的MacOS等用于台式机或笔记本的系统,又如谷歌公司开发的基于的安卓系统等用于移动终端的系统。前述实施例提供的方法可以通过软件的方式实现,可以认为是操作系统程序772的具体实现。
存储器770可以是以下类型中的一种或多种:闪速(flash)存储器、硬盘类型存储器、微型多媒体卡型存储器、卡式存储器(例如SD或XD存储器)、随机存取存储器(randomaccess memory,RAM)、静态随机存取存储器(static RAM,SRAM)、只读存储器(read onlymemory,ROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、可编程只读存储器(programmable ROM,PROM)、回滚保护存储块(replay protected memory block,RPMB)、磁存储器、磁盘或光盘。在其他一些实施例中,存储器770也可以是因特网上的网络存储设备,系统可以对在因特网上的存储器770执行更新或读取等操作。
处理器750用于读取存储器770中的计算机程序,然后执行计算机程序定义的方法,例如处理器750读取操作系统程序772从而在该系统运行操作系统以及实现操作系统的各种功能,或读取一种或多种应用程序771,从而在该系统上运行应用。
存储器770还存储有除计算机程序之外的其他数据773。
AI处理器790作为协处理器挂载到处理器750上,用于执行处理器750给它分配的任务。在本实施例中,AI处理器790可以被情景识别模型调用从而实现情景识别中涉及的部分复杂算法。具体的,情景识别模型的AI算法在处理器750的多个核上运行,然后处理器750调用AI处理器790,AI处理器790实现的结果再返回给处理器750。
以上各个模块的连接关系仅为一种示例,本申请任意实施例提供的方法也可以应用在其它连接方式的终端设备中,例如所有模块通过总线连接。
在本申请实施例中,该终端设备所包括的处理器750还具有以下功能:
获取待处理数据,其中,该待处理数据由传感器采集得到的数据生成,该传感器中至少包含红外线图像传感器,该待处理数据中至少包含由该红外线图像传感器采集得到的图像数据生成的待处理图像数据;
通过情景识别模型确定该待处理数据所对应的目标情景,其中,该情景识别模型为传感数据集合以及情景类型集合训练得到的;
根据该目标情景确定业务处理方式。
处理器750具体用于执行如下步骤:
通过该情景识别模型中的AI算法确定该待处理数据所对应的该目标情景,其中,该AI算法包含深度学习算法,该AI算法运行于AI处理器790中。
处理器750具体用于执行如下步骤:
该传感器中至少还包含音频采集器以及第一子传感器中的一个,该待处理数据中至少包含待处理音频数据以及第一待处理子数据中的一个,其中,该待处理音频数据由该音频采集器采集得到的音频数据生成,该第一待处理子数据由该第一子传感器采集得到的第一子传感器数据生成。
处理器750具体用于执行如下步骤:
该处理器750还包含图像信号处理器、音频信号处理器以及该第一子传感器处理器中的至少一个,
该图像信号处理器,用于当到达图像采集预设运行时间时,通过该红外线图像传感器获取图像数据,其中该图像数据为该红外线图像传感器采集得到的数据;
该AI处理器790,具体用于通过该图像信号处理器获取该待处理图像数据,其中,该待处理图像数据由该图像信号处理器根据该图像数据生成;
和/或
该音频信号处理器,用于当到达音频采集预设运行时间时,通过该音频采集器获取该音频数据;
该AI处理器790,具体用于通过该音频信号处理器获取该待处理音频数据,其中,该待处理音频数据由该音频信号处理器根据该音频数据生成;
和/或
该第一子传感器处理器,用于当到达第一预设运行时间时,通过该第一子传感器获取第一子传感器数据,其中该第一子传感器数据为该第一子传感器采集得到的数据;
该协处理器,具体用于通过第一子传感器处理器获取该第一待处理子数据,其中,该第一待处理子数据由该第一子传感器处理器根据该第一子传感器数据生成。
处理器750具体用于执行如下步骤:
该协处理器,具体用于若该目标情景为扫描二维码情景,则根据该扫描二维码情景确定该业务处理方式为启动该终端设备主图像传感器和/或启动该终端设备中支持扫描二维码功能的应用程序。
处理器750具体用于执行如下步骤:
该协处理器,具体用于若该目标情景为会议情景,则根据该会议情景确定该业务处理方式为启动该终端设备的静音模式和/或启动该终端设备中应用程序的静音功能和/或在该终端设备的屏幕待机常显区显示静音模式图标,其中该静音模式图标用于启动该的静音模式。
处理器750具体用于执行如下步骤:
该协处理器,具体用于若该目标情景为运动情景,则根据该运动情景确定该业务处理方式为启动该终端设备的运动模式和/或启动该终端设备中应用程序的运动模式功能和/或在该终端设备的屏幕待机常显区显示音乐播放图标,其中,该终端设备的运动模式包括计步功能,该音乐播放图标用于开始播放或暂停播放音乐。
处理器750具体用于执行如下步骤:
该协处理器,具体用于若该目标情景为驾驶情景,则根据该驾驶情景确定该业务处理方式为启动该终端设备的驾驶模式和/或启动该终端设备中应用程序的驾驶模式功能和/或在该终端设备的屏幕待机常显区显示驾驶模式图标,其中,该终端设备的驾驶模式包括导航功能以及语音助手,该驾驶模式图标用于启动该驾驶模式。
图8为本申请实施例提供的一种AI处理器的结构示意图。AI处理器800与主处理器和外部存储器相连。AI处理器800的核心部分为运算电路803,通过控制器804控制运算电路803提取存储器中的数据并进行数学运算。
在一些实现中,运算电路803内部包括多个处理引擎(process engine,PE)。在一些实现中,运算电路803是二维脉动阵列。运算电路803还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在另一些实现中,运算电路803是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路803从权重存储器802中取矩阵B相应的数据,并缓存在运算电路803的每一个PE上。运算电路803从输入存储器801中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器(accumulator)808中。
统一存储器806用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器805(例如direct memory access controller,DMAC)被搬运到权重存储器802中。输入数据也通过存储单元访问控制器805被搬运到统一存储器806中。
总线接口单元810(bus interface unit,BIU)用于AXI(advanced extensibleinterface)总线与存储单元访问控制器805和取指存储器809(instruction fetchbuffer)的交互。
总线接口单元810用于取指存储器809从外部存储器获取指令,还用于存储单元访问控制器805从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
存储单元访问控制器805主要用于将外部存储器中的输入数据搬运到统一存储器806或将权重数据搬运到权重存储器802中或将输入数据数据搬运到输入存储器801中。
向量计算单元807通常包括多个运算处理单元,在需要的情况下,对运算电路803的输出做进一步处理,如向量乘、向量加、指数运算、对数运算、和/或大小比较等等。
在一些实现中,向量计算单元807能将经处理的向量存储到统一存储器806中。例如,向量计算单元807可以将非线性函数应用到运算电路803的输出,例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元807生成归一化的值、合并值,或二者均有。在一些实现中,经处理的向量能够用作运算电路803的激活输入。
与控制器804连接的取指存储器809用于存储控制器804使用的指令。
统一存储器806,输入存储器801,权重存储器802以及取指存储器809均为On-Chip存储器。图中的外部存储器与该AI处理器硬件架构独立。
下面对本申请实施例中一个实施例对应的业务处理装置进行详细描述,请参阅图9,
图9为本申请实施例中业务处理装置的一个实施例示意图,本申请实施例中的业务处理装置90包括:
获取单元901,用于获取待处理数据,其中,该待处理数据由传感器采集得到的数据生成,该传感器中至少包含红外线图像传感器,该待处理数据中至少包含由该红外线图像传感器采集得到的图像数据生成的待处理图像数据;
确定单元902,用于通过情景识别模型确定该待处理数据所对应的目标情景,其中,该情景识别模型为传感数据集合以及情景类型集合训练得到的;
该确定单元902,还用于根据该目标情景确定业务处理方式。
本实施例中,获取单元901,用于获取待处理数据,其中,该待处理数据由传感器采集得到的数据生成,该传感器中至少包含红外线图像传感器,该待处理数据中至少包含由该红外线图像传感器采集得到的图像数据生成的待处理图像数据;确定单元902,用于通过情景识别模型确定该待处理数据所对应的目标情景,其中,该情景识别模型为传感数据集合以及情景类型集合训练得到的;该确定单元902,还用于根据该目标情景确定业务处理方式。
本申请实施例中,终端设备通过部署于终端设备内部或与终端设备相连的传感器采集数据,该传感器中至少包括有红外线图像传感器,根据采集得到的数据生成待处理数据,待处理数据中至少包含由红外线图像传感器采集得到的图像数据生成的待处理图像数据。终端设备获取待处理数据后,可以通过情景识别模型确定这些待处理数据所对应的目标情景,该情景识别模型为使用传感器采集得到的数据集合与对应不同数据的情景类型集合在线下训练得到,线下训练为使用深度学习框架进行模型设计与训练。当终端设备确定当前的目标情景后,可根据该目标情景确定对应的业务处理方式。通过使用传感器采集得到的数据与情景识别模型可确定当前终端设备所处的目标情景,并根据目标情景确定对应的业务处理方式,终端设备无需额外操作即可自动确定对应与目标情景的业务处理方式,提升用户的使用便利度。
在图9所对应的实施例的基础上,本申请实施例提供的业务处理装置90的另一个实施例中:
该确定单元902,具体用于通过该情景识别模型中的AI算法确定该待处理数据所对应的该目标情景,其中,该AI算法包含深度学习算法,该AI算法运行于AI处理器中。
本申请实施例中,终端设备具体使用情境识别模型中的AI算法确定待处理数据所对应的目标情景,AI算法中包含有深度学习算法,在运行于终端设备中的AI处理器上,由于AI处理器具有强大的并行运算能力,运行AI算法时具有效率高的特点,因此情景识别模型使用AI算法确定具体的目标情景,AI算法运行于终端设备中的AI处理器上,提升了情景识别的效率,进一步提升了用户的使用便利度。
在图9所对应的实施例的基础上,本申请实施例提供的业务处理装置90的另一个实施例中:
该传感器中至少还包含音频采集器以及第一子传感器中的一个,该待处理数据中至少包含待处理音频数据以及第一待处理子数据中的一个,其中,该待处理音频数据由该音频采集器采集得到的音频数据生成,该第一待处理子数据由该第一子传感器采集得到的第一子传感器数据生成。
本申请实施例中,部署于终端设备中的传感器,除了红外线图像传感器以外,还包含有音频采集器以及第一子传感器中的一个,第一子传感器可以为加速度传感器、陀螺仪、环境光传感器、接近光传感器以及地磁传感器等传感器中的一种或多种。音频采集器采集得到音频数据,经终端设备处理后生成待处理音频数据。第一子传感器采集得到第一子传感器数据,经终端设备处理后生成待处理第一子传感器数据。终端设备使用多种传感器,多维度采集数据,提升了情景识别的准确性。
在图9所对应的实施例的基础上,本申请实施例提供的业务处理装置90的另一个实施例中:
该获取单元901,具体用于当到达图像采集预设运行时间时,该获取单元901通过该红外线图像传感器获取图像数据,其中该图像数据为该红外线图像传感器采集得到的数据;
该获取单元901,具体用于通过图像信号处理器获取该待处理图像数据,其中,该待处理图像数据由该图像信号处理器根据该图像数据生成;
和/或
该获取单元901,具体用于当到达音频采集预设运行时间时,该获取单元901通过该音频采集器获取该音频数据;
该获取单元901,具体用于通过音频信号处理器获取该待处理音频数据,其中,该待处理音频数据由该音频信号处理器根据该音频数据生成;
和/或
该获取单元901,具体用于当到达第一预设运行时间时,该获取单元901通过该第一子传感器获取第一子传感器数据,其中该第一子传感器数据为该第一子传感器采集得到的数据;
该获取单元901,具体用于通过第一子传感器处理器获取该第一待处理子数据,其中,该第一待处理子数据由该第一子传感器处理器根据该第一子传感器数据生成。
本申请实施例中,红外线图像传感器、音频采集器以及第一子传感器中的一种或多种,分别可以在达到各自的预设的运行时间之后,采集与传感器相对应的数据,采集得到原始的传感器数据后,终端设备使用与传感器对应的处理器处理原始的传感器数据生成待处理的传感器数据。通过设置预设的运行时间,定时开启传感器采集数据,采集得到的原始数据可以经过与传感器对应的处理器处理。降低了情景识别模型所占用的缓存空间,降低了情景识别模型的功耗,提升了终端设备的待机使用时长。
在图9所对应的实施例的基础上,本申请实施例提供的业务处理装置90的另一个实施例中:
该确定单元902,具体用于若该确定单元902确定该目标情景为扫描二维码情景,则该确定单元902根据该扫描二维码情景确定该业务处理方式为启动该终端设备主图像传感器和/或启动该终端设备中支持扫描二维码功能的应用程序。
本申请实施例中,终端设备根据终端设备中的一种或多种传感器采集得到的数据,确定与传感器采集得到的数据对应的目标情景为扫描二维码情景时,确定与扫描二维码所对应的业务处理方式,包括有启动终端设备中主图像传感器,终端设备可以使用该主图像传感器扫描二维码,终端设备还可以启动支持扫描二维码功能的应用程序,例如启动应用程序微信并打开微信中的扫描二维码功能。可以同时启动主图像传感器以及启动支持扫描二维码功能的应用程序,也可以根据预设的指令或接收用户的指令启动主图像传感器或启动支持扫描二维码的应用程序,此处不作限定。除了扫描二维码以外,还可以应用于扫描条形码等其它图形标识,此处不作限定。终端设备使用多维度传感器采集得到的数据,通过情景识别模型确定目标情景为扫描二维码情景后,可自动执行相关的业务处理方式,提升了终端设备的智能化程度,提升了用户的操作便捷性。
在图9所对应的实施例的基础上,本申请实施例提供的业务处理装置90的另一个实施例中:
该确定单元902,具体用于若该确定单元902确定该目标情景为会议情景,则该确定单元902根据该会议情景确定该业务处理方式为启动该终端设备的静音模式和/或启动该终端设备中应用程序的静音功能和/或在该终端设备的屏幕待机常显区显示静音模式图标,其中该静音模式图标用于启动该的静音模式。
本申请实施例中,终端设备根据终端设备中的一种或多种传感器采集得到的数据,确定与传感器采集得到的数据对应的目标情景为会议情景时,确定与会议情景所对应的业务处理方式,包括有启动终端设备的静音模式,终端设备处于静音模式时,运行于终端设备中的所有应用程序处于静音状态,终端设备还可以启动运行于终端设备中应用程序的静音功能,例如启动应用程序微信的静音功能,此时微信的提示音切换为静音,还可以在终端设备的屏幕待机常显区显示静音模式图标,终端设备可以通过静音模式图标接收用户的静音操作指令,终端设备响应于该静音操作指令启动静音模式。终端设备使用多维度传感器采集得到的数据,通过情景识别模型确定目标情景为会议情景后,可自动执行相关的业务处理方式,提升了终端设备的智能化程度,提升了用户的操作便捷性。
在图9所对应的实施例的基础上,本申请实施例提供的业务处理装置90的另一个实施例中:
该确定单元902,具体用于若该确定单元902确定该目标情景为运动情景,则该确定单元902根据该运动情景确定该业务处理方式为启动该终端设备的运动模式和/或启动该终端设备中应用程序的运动模式功能和/或在该终端设备的屏幕待机常显区显示音乐播放图标,其中,该终端设备的运动模式包括计步功能,该音乐播放图标用于开始播放或暂停播放音乐。
本申请实施例中,终端设备根据终端设备中的一种或多种传感器采集得到的数据,确定与传感器采集得到的数据对应的目标情景为运动情景时,确定与运动情景所对应的业务处理方式,包括有启动终端设备的运动模式,终端设备处于运动模式时,终端设备启动计步应用程序以及生理数据监测应用程序,通过使用终端设备中相关传感器,记录用户的步数与相关生理数据。终端设备还可以启动终端设备中应用程序的运动模式功能,例如启动应用程序网易云音乐的运动功能,此时网易云音乐的播放模式为运动模式,还可以在终端设备的屏幕待机常显区显示音乐播放图标,终端设备可以通过音乐播放图标接收用户的音乐播放指令,终端设备响应于该音乐播放指令开始播放或暂停播放音乐。终端设备使用多维度传感器采集得到的数据,通过情景识别模型确定目标情景为运动情景后,可自动执行相关的业务处理方式,提升了终端设备的智能化程度,提升了用户的操作便捷性。
在图9所对应的实施例的基础上,本申请实施例提供的业务处理装置90的另一个实施例中:
该确定单元902,具体用于若该确定单元902确定该目标情景为驾驶情景,则该确定单元902根据该驾驶情景确定该业务处理方式为启动该终端设备的驾驶模式和/或启动该终端设备中应用程序的驾驶模式功能和/或在该终端设备的屏幕待机常显区显示驾驶模式图标,其中,该终端设备的驾驶模式包括导航功能以及语音助手,该驾驶模式图标用于启动该驾驶模式。
本申请实施例中,终端设备根据终端设备中的一种或多种传感器采集得到的数据,确定与传感器采集得到的数据对应的目标情景为驾驶情景时,确定与驾驶情景所对应的业务处理方式,包括有启动终端设备的驾驶模式,终端设备处于驾驶模式时,终端设备启动语音助手,终端设备可根据用户输入的语音指令执行相关操作,终端设备还可以启动导航功能。终端设备还可以启动终端设备中应用程序的驾驶模式功能,例如启动应用程序高德地图的驾驶功能,此时网易云音乐的导航模式为驾驶模式,还可以在终端设备的屏幕待机常显区显示驾驶模式图标,终端设备可以通过驾驶模式图标接收用户的驾驶模式指令,终端设备响应于该驾驶模式指令启动驾驶模式。终端设备使用多维度传感器采集得到的数据,通过情景识别模型确定目标情景为驾驶情景后,可自动执行相关的业务处理方式,提升了终端设备的智能化程度,提升了用户的操作便捷性。
所属领域的技术人员可以清楚地了解到,为介绍的方便和简洁,上述介绍的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所介绍的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (28)
1.一种业务处理的方法,其特征在于,所述方法应用于终端设备,所述方法包括:
获取待处理数据,其中,所述待处理数据由传感器采集得到的数据生成,所述传感器中包括图像传感器,所述待处理数据中包括由所述图像传感器采集得到的图像数据生成的待处理图像数据;
通过情景识别模型确定所述待处理数据所对应的目标情景,其中,所述情景识别模型为传感数据集合以及情景类型集合训练得到的;
根据所述目标情景确定业务处理方式。
2.根据权利要求1所述的方法,其特征在于,所述通过所述情景识别模型确定所述待处理数据所对应的所述目标情景,包括:
通过所述情景识别模型中的AI算法确定所述待处理数据所对应的所述目标情景,其中,所述AI算法包含深度学习算法,所述AI算法运行于AI处理器中。
3.根据权利要求2所述的方法,其特征在于,
所述传感器中至少还包含音频采集器以及第一子传感器中的一个,所述待处理数据中至少包含待处理音频数据以及第一待处理子数据中的一个,其中,所述待处理音频数据由所述音频采集器采集得到的音频数据生成,所述第一待处理子数据由所述第一子传感器采集得到的第一子传感器数据生成。
4.根据权利要求3所述的方法,其特征在于,所述获取所述待处理数据,包括:
当到达图像采集预设运行时间时,通过所述图像传感器获取图像数据,其中所述图像数据为所述图像传感器采集得到的数据;
通过图像信号处理器获取所述待处理图像数据,其中,所述待处理图像数据由所述图像信号处理器根据所述图像数据生成;
和/或
当到达音频采集预设运行时间时,通过所述音频采集器获取所述音频数据;
通过音频信号处理器获取所述待处理音频数据,其中,所述待处理音频数据由所述音频信号处理器根据所述音频数据生成;
和/或
当到达第一预设运行时间时,通过所述第一子传感器获取第一子传感器数据,其中所述第一子传感器数据为所述第一子传感器采集得到的数据;
通过第一子传感器处理器获取所述第一待处理子数据,其中,所述第一待处理子数据由所述第一子传感器处理器根据所述第一子传感器数据生成。
5.根据权利要求1至4中任一项所述的方法,其特征在于,根据所述目标情景确定所述业务处理方式,包括:
若所述目标情景为扫描二维码情景,则根据所述扫描二维码情景确定所述业务处理方式为启动所述终端设备主图像传感器和/或启动所述终端设备中支持扫描二维码功能的应用程序。
6.根据权利要求1至4中任一项所述的方法,其特征在于,根据所述目标情景确定所述业务处理方式,包括:
若所述目标情景为会议情景,则根据所述会议情景确定所述业务处理方式为启动所述终端设备的静音模式和/或启动所述终端设备中应用程序的静音功能和/或在所述终端设备的屏幕待机常显区显示静音模式图标,其中所述静音模式图标用于启动所述的静音模式。
7.根据权利要求1至4中任一项所述的方法,其特征在于,根据所述目标情景确定所述业务处理方式,包括:
若所述目标情景为运动情景,则根据所述运动情景确定所述业务处理方式为启动所述终端设备的运动模式和/或启动所述终端设备中应用程序的运动模式功能和/或在所述终端设备的屏幕待机常显区显示音乐播放图标,其中,所述终端设备的运动模式包括计步功能,所述音乐播放图标用于开始播放或暂停播放音乐。
8.根据权利要求1至4中任一项所述的方法,其特征在于,根据所述目标情景确定所述业务处理方式,包括:
若所述目标情景为驾驶情景,则根据所述驾驶情景确定所述业务处理方式为启动所述终端设备的驾驶模式和/或启动所述终端设备中应用程序的驾驶模式功能和/或在所述终端设备的屏幕待机常显区显示驾驶模式图标,其中,所述终端设备的驾驶模式包括导航功能以及语音助手,所述驾驶模式图标用于启动所述驾驶模式。
9.一种终端设备,其特征在于,包括:传感器、处理器,所述传感器中至少包含图像传感器;
所述处理器,用于获取待处理数据,其中,所述待处理数据由所述传感器采集得到的数据生成,所述待处理数据中至少包含由所述图像传感器采集得到的图像数据生成的待处理图像数据;
所述处理器,还用于通过情景识别模型确定所述待处理数据所对应的目标情景,其中,所述情景识别模型为所述传感器获取的传感数据集合以及情景类型集合训练得到的;
所述处理器,还用于根据所述目标情景确定业务处理方式。
10.根据权利要求9所述的终端设备,其特征在于,所述处理器中还包含协处理器以及AI处理器,
所述处理器,具体用于通过所述情景识别模型中的AI算法确定所述待处理数据所对应的所述目标情景,其中,所述AI算法包含深度学习算法,所述AI算法运行于所述AI处理器中。
11.根据权利要求10所述的终端设备,其特征在于,所述传感器中还包含音频采集器以及第一子传感器中的至少一个。
12.根据权利要求11所述的终端设备,其特征在于,所述处理器还包含图像信号处理器、音频信号处理器以及所述第一子传感器处理器中的至少一个,
所述图像信号处理器,用于当到达图像采集预设运行时间时,通过所述图像传感器获取图像数据,其中所述图像数据为所述图像传感器采集得到的数据;
所述AI处理器,具体用于通过所述图像信号处理器获取所述待处理图像数据,其中,所述待处理图像数据由所述图像信号处理器根据所述图像数据生成;
和/或
所述音频信号处理器,用于当到达音频采集预设运行时间时,通过所述音频采集器获取所述音频数据;
所述AI处理器,具体用于通过所述音频信号处理器获取所述待处理音频数据,其中,所述待处理音频数据由所述音频信号处理器根据所述音频数据生成;
和/或
所述第一子传感器处理器,用于当到达第一预设运行时间时,通过所述第一子传感器获取第一子传感器数据,其中所述第一子传感器数据为所述第一子传感器采集得到的数据;
所述协处理器,具体用于通过第一子传感器处理器获取所述第一待处理子数据,其中,所述第一待处理子数据由所述第一子传感器处理器根据所述第一子传感器数据生成。
13.根据权利要求9至12中任一项所述的终端设备,其特征在于,
所述协处理器,具体用于若所述目标情景为扫描二维码情景,则根据所述扫描二维码情景确定所述业务处理方式为启动所述终端设备主图像传感器和/或启动所述终端设备中支持扫描二维码功能的应用程序。
14.根据权利要求9至12中任一项所述的终端设备,其特征在于,
所述协处理器,具体用于若所述目标情景为会议情景,则根据所述会议情景确定所述业务处理方式为启动所述终端设备的静音模式和/或启动所述终端设备中应用程序的静音功能和/或在所述终端设备的屏幕待机常显区显示静音模式图标,其中所述静音模式图标用于启动所述的静音模式。
15.根据权利要求9至12中任一项所述的终端设备,其特征在于,
所述协处理器,具体用于若所述目标情景为运动情景,则根据所述运动情景确定所述业务处理方式为启动所述终端设备的运动模式和/或启动所述终端设备中应用程序的运动模式功能和/或在所述终端设备的屏幕待机常显区显示音乐播放图标,其中,所述终端设备的运动模式包括计步功能,所述音乐播放图标用于开始播放或暂停播放音乐。
16.根据权利要求9至12中任一项所述的终端设备,其特征在于
所述协处理器,具体用于若所述目标情景为驾驶情景,则根据所述驾驶情景确定所述业务处理方式为启动所述终端设备的驾驶模式和/或启动所述终端设备中应用程序的驾驶模式功能和/或在所述终端设备的屏幕待机常显区显示驾驶模式图标,其中,所述终端设备的驾驶模式包括导航功能以及语音助手,所述驾驶模式图标用于启动所述驾驶模式。
17.一种业务处理装置,其特征在于,所述业务处理装置应用于终端设备,包括:
获取单元,用于获取待处理数据,其中,所述待处理数据由传感器采集得到的数据生成,所述传感器中至少包含图像传感器,所述待处理数据中至少包含由所述图像传感器采集得到的图像数据生成的待处理图像数据;
确定单元,用于通过情景识别模型确定所述待处理数据所对应的目标情景,其中,所述情景识别模型为传感数据集合以及情景类型集合训练得到的;
所述确定单元,还用于根据所述目标情景确定业务处理方式。
18.根据权利要求17所述的业务处理装置,其特征在于,包括:
所述确定单元,具体用于通过所述情景识别模型中的AI算法确定所述待处理数据所对应的所述目标情景,其中,所述AI算法包含深度学习算法,所述AI算法运行于AI处理器中。
19.根据权利要求18所述的业务处理装置,其特征在于,
所述传感器中至少还包含音频采集器以及第一子传感器中的一个,所述待处理数据中至少包含待处理音频数据以及第一待处理子数据中的一个,其中,所述待处理音频数据由所述音频采集器采集得到的音频数据生成,所述第一待处理子数据由所述第一子传感器采集得到的第一子传感器数据生成。
20.根据权利要求19所述的业务处理装置,其特征在于,包括:
所述获取单元,具体用于当到达图像采集预设运行时间时,所述获取单元通过所述图像传感器获取图像数据,其中所述图像数据为所述图像传感器采集得到的数据;
所述获取单元,具体用于通过图像信号处理器获取所述待处理图像数据,其中,所述待处理图像数据由所述图像信号处理器根据所述图像数据生成;
和/或
所述获取单元,具体用于当到达音频采集预设运行时间时,所述获取单元通过所述音频采集器获取所述音频数据;
所述获取单元,具体用于通过音频信号处理器获取所述待处理音频数据,其中,所述待处理音频数据由所述音频信号处理器根据所述音频数据生成;
和/或
所述获取单元,具体用于当到达第一预设运行时间时,所述获取单元通过所述第一子传感器获取第一子传感器数据,其中所述第一子传感器数据为所述第一子传感器采集得到的数据;
所述获取单元,具体用于通过第一子传感器处理器获取所述第一待处理子数据,其中,所述第一待处理子数据由所述第一子传感器处理器根据所述第一子传感器数据生成。
21.根据权利要求17至20中任一项所述的业务处理装置,其特征在于,包括:
所述确定单元,具体用于若所述确定单元确定所述目标情景为扫描二维码情景,则所述确定单元根据所述扫描二维码情景确定所述业务处理方式为启动所述终端设备主图像传感器和/或启动所述终端设备中支持扫描二维码功能的应用程序。
22.根据权利要求17至20中任一项所述的业务处理装置,其特征在于,包括:
所述确定单元,具体用于若所述确定单元确定所述目标情景为会议情景,则所述确定单元根据所述会议情景确定所述业务处理方式为启动所述终端设备的静音模式和/或启动所述终端设备中应用程序的静音功能和/或在所述终端设备的屏幕待机常显区显示静音模式图标,其中所述静音模式图标用于启动所述的静音模式。
23.根据权利要求17至20中任一项所述的业务处理装置,其特征在于,包括:
所述确定单元,具体用于若所述确定单元确定所述目标情景为运动情景,则所述确定单元根据所述运动情景确定所述业务处理方式为启动所述终端设备的运动模式和/或启动所述终端设备中应用程序的运动模式功能和/或在所述终端设备的屏幕待机常显区显示音乐播放图标,其中,所述终端设备的运动模式包括计步功能,所述音乐播放图标用于开始播放或暂停播放音乐。
24.根据权利要求17至20中任一项所述的业务处理装置,其特征在于,包括:
所述确定单元,具体用于若所述确定单元确定所述目标情景为驾驶情景,则所述确定单元根据所述驾驶情景确定所述业务处理方式为启动所述终端设备的驾驶模式和/或启动所述终端设备中应用程序的驾驶模式功能和/或在所述终端设备的屏幕待机常显区显示驾驶模式图标,其中,所述终端设备的驾驶模式包括导航功能以及语音助手,所述驾驶模式图标用于启动所述驾驶模式。
25.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至8任意一项所述的方法。
26.一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如权利要求1至8任意一项所述的方法。
27.一种业务处理的方法,其特征在于,所述方法应用于终端设备,所述终端设备上配置有常开的图像传感器,所述方法包括:
获取数据,其中,所述数据包括所述图像传感器采集到的图像数据;
通过情景识别模型确定所述数据所对应的目标情景,其中,所述情景识别模型为传感数据集合以及情景类型集合训练得到的;
根据所述目标情景确定业务处理方式。
28.一种终端设备,其特征在于,所述终端设备上配置有常开的图像传感器,所述终端设备用于实现如权利要求1-8、以及27中任意一项所述的方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811392818.7A CN111209904A (zh) | 2018-11-21 | 2018-11-21 | 一种业务处理的方法以及相关装置 |
JP2021506473A JP7186857B2 (ja) | 2018-11-21 | 2019-05-09 | サービス処理方法および関連装置 |
EP19874765.1A EP3690678A4 (en) | 2018-11-21 | 2019-05-09 | SERVICE PROCESSING METHODS AND RELATED DEVICE |
PCT/CN2019/086127 WO2020103404A1 (zh) | 2018-11-21 | 2019-05-09 | 一种业务处理的方法以及相关装置 |
KR1020217002422A KR20210022740A (ko) | 2018-11-21 | 2019-05-09 | 서비스 처리 방법 및 관련 장치 |
CA3105663A CA3105663C (en) | 2018-11-21 | 2019-05-09 | Service processing method and related apparatus |
AU2019385776A AU2019385776B2 (en) | 2018-11-21 | 2019-05-09 | Service processing method and related apparatus |
US16/992,427 US20200372250A1 (en) | 2018-11-21 | 2020-08-13 | Service Processing Method and Related Apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811392818.7A CN111209904A (zh) | 2018-11-21 | 2018-11-21 | 一种业务处理的方法以及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111209904A true CN111209904A (zh) | 2020-05-29 |
Family
ID=70773748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811392818.7A Pending CN111209904A (zh) | 2018-11-21 | 2018-11-21 | 一种业务处理的方法以及相关装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20200372250A1 (zh) |
EP (1) | EP3690678A4 (zh) |
JP (1) | JP7186857B2 (zh) |
KR (1) | KR20210022740A (zh) |
CN (1) | CN111209904A (zh) |
AU (1) | AU2019385776B2 (zh) |
CA (1) | CA3105663C (zh) |
WO (1) | WO2020103404A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862479A (zh) * | 2021-01-29 | 2021-05-28 | 中国银联股份有限公司 | 一种基于终端姿态的业务处理方法及装置 |
CN113051052A (zh) * | 2021-03-18 | 2021-06-29 | 北京大学 | 物联网系统按需设备调度规划方法与系统 |
CN113194211A (zh) * | 2021-03-25 | 2021-07-30 | 深圳市优博讯科技股份有限公司 | 一种扫描头的控制方法及系统 |
CN113900577A (zh) * | 2021-11-10 | 2022-01-07 | 杭州逗酷软件科技有限公司 | 一种应用程序控制方法、装置、电子设备及存储介质 |
CN113935349A (zh) * | 2021-10-18 | 2022-01-14 | 交互未来(北京)科技有限公司 | 一种扫描二维码的方法、装置、电子设备及存储介质 |
CN115016712A (zh) * | 2021-09-27 | 2022-09-06 | 荣耀终端有限公司 | 退出二维码的方法和装置 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210056220A1 (en) * | 2019-08-22 | 2021-02-25 | Mediatek Inc. | Method for improving confidentiality protection of neural network model |
CN111263339B (zh) * | 2020-01-14 | 2021-06-04 | 荣耀终端有限公司 | 无线通信方法和具有无线通信功能的设备 |
JP2021122106A (ja) * | 2020-01-31 | 2021-08-26 | キヤノン株式会社 | 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム |
CN112507356B (zh) * | 2020-12-04 | 2023-01-03 | 上海易校信息科技有限公司 | 一种基于Angular的集中式前端ACL权限控制方法 |
CN115376468A (zh) * | 2021-05-20 | 2022-11-22 | 青岛海信移动通信技术股份有限公司 | 移动终端及其电子墨水屏的显示驱动方法 |
CN113867586A (zh) * | 2021-09-28 | 2021-12-31 | 深圳传音控股股份有限公司 | 图标的显示方法、智能终端及存储介质 |
KR102599078B1 (ko) | 2023-03-21 | 2023-11-06 | 고아라 | 큐티클 케어 세트 및 이를 이용한 큐티클 케어 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268547A (zh) * | 2014-08-28 | 2015-01-07 | 小米科技有限责任公司 | 一种基于图片内容播放音乐的方法及装置 |
US20150154035A1 (en) * | 2012-07-31 | 2015-06-04 | Inuitive Ltd. | Multiple sensors processing system for natural user interface applications |
CN105138963A (zh) * | 2015-07-31 | 2015-12-09 | 小米科技有限责任公司 | 图片场景判定方法、装置以及服务器 |
CN107402964A (zh) * | 2017-06-22 | 2017-11-28 | 深圳市金立通信设备有限公司 | 一种信息推荐方法、服务器及终端 |
CN107786732A (zh) * | 2017-09-28 | 2018-03-09 | 努比亚技术有限公司 | 终端应用推送方法、移动终端及计算机可读存储介质 |
US20180121732A1 (en) * | 2016-11-03 | 2018-05-03 | Samsung Electronics Co., Ltd. | Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof |
US20180210697A1 (en) * | 2017-01-24 | 2018-07-26 | International Business Machines Corporation | Perspective-based dynamic audio volume adjustment |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8237792B2 (en) * | 2009-12-18 | 2012-08-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for describing and organizing image data |
US8756173B2 (en) | 2011-01-19 | 2014-06-17 | Qualcomm Incorporated | Machine learning of known or unknown motion states with sensor fusion |
US8892162B2 (en) | 2011-04-25 | 2014-11-18 | Apple Inc. | Vibration sensing system and method for categorizing portable device context and modifying device operation |
PL398136A1 (pl) | 2012-02-17 | 2013-08-19 | Binartech Spólka Jawna Aksamit | Sposób wykrywania kontekstu urzadzenia przenosnego i urzadzenie przenosne z modulem wykrywania kontekstu |
CN115690558A (zh) * | 2014-09-16 | 2023-02-03 | 华为技术有限公司 | 数据处理的方法和设备 |
US9633019B2 (en) | 2015-01-05 | 2017-04-25 | International Business Machines Corporation | Augmenting an information request |
JP6339542B2 (ja) | 2015-09-16 | 2018-06-06 | 東芝テック株式会社 | 情報処理装置及びプログラム |
JP6274264B2 (ja) | 2016-06-29 | 2018-02-07 | カシオ計算機株式会社 | 携帯端末装置及びプログラム |
CN108322609A (zh) * | 2018-01-31 | 2018-07-24 | 努比亚技术有限公司 | 一种通知信息调控方法、设备及计算机可读存储介质 |
-
2018
- 2018-11-21 CN CN201811392818.7A patent/CN111209904A/zh active Pending
-
2019
- 2019-05-09 AU AU2019385776A patent/AU2019385776B2/en active Active
- 2019-05-09 JP JP2021506473A patent/JP7186857B2/ja active Active
- 2019-05-09 CA CA3105663A patent/CA3105663C/en active Active
- 2019-05-09 EP EP19874765.1A patent/EP3690678A4/en active Pending
- 2019-05-09 WO PCT/CN2019/086127 patent/WO2020103404A1/zh unknown
- 2019-05-09 KR KR1020217002422A patent/KR20210022740A/ko not_active Application Discontinuation
-
2020
- 2020-08-13 US US16/992,427 patent/US20200372250A1/en not_active Abandoned
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150154035A1 (en) * | 2012-07-31 | 2015-06-04 | Inuitive Ltd. | Multiple sensors processing system for natural user interface applications |
CN104268547A (zh) * | 2014-08-28 | 2015-01-07 | 小米科技有限责任公司 | 一种基于图片内容播放音乐的方法及装置 |
CN105138963A (zh) * | 2015-07-31 | 2015-12-09 | 小米科技有限责任公司 | 图片场景判定方法、装置以及服务器 |
US20180121732A1 (en) * | 2016-11-03 | 2018-05-03 | Samsung Electronics Co., Ltd. | Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof |
US20180210697A1 (en) * | 2017-01-24 | 2018-07-26 | International Business Machines Corporation | Perspective-based dynamic audio volume adjustment |
CN107402964A (zh) * | 2017-06-22 | 2017-11-28 | 深圳市金立通信设备有限公司 | 一种信息推荐方法、服务器及终端 |
CN107786732A (zh) * | 2017-09-28 | 2018-03-09 | 努比亚技术有限公司 | 终端应用推送方法、移动终端及计算机可读存储介质 |
Non-Patent Citations (4)
Title |
---|
子非鱼花花: "NVIDIA 深度学习加速器DLA简介", pages 1 - 3, Retrieved from the Internet <URL:《https://zhuanlan.zhihu.com/p/31484987> * |
朱永新等: "《中国教育三十人论坛丛书 人工智能与未来教育", 31 January 2018, 山西教育出版社, pages: 51 - 57 * |
雷锋网: "苹果揭秘"Hey Siri"的开发细节,原来不仅有两步检测,还能辨别说话人", pages 1 - 15, Retrieved from the Internet <URL:《https://tech.sina.cn/2017-10-31/detail-ifynffnz3842792.d.html》> * |
马俊杰: "麒麟60亮相 欲借6大亮点碾压友商", pages 1 - 5, Retrieved from the Internet <URL:《https://www.igao7.com/news/201610/fAH77J7mInS6k7PJ.html 》> * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862479A (zh) * | 2021-01-29 | 2021-05-28 | 中国银联股份有限公司 | 一种基于终端姿态的业务处理方法及装置 |
WO2022160843A1 (zh) * | 2021-01-29 | 2022-08-04 | 中国银联股份有限公司 | 一种基于终端姿态的业务处理方法及装置 |
CN113051052A (zh) * | 2021-03-18 | 2021-06-29 | 北京大学 | 物联网系统按需设备调度规划方法与系统 |
CN113051052B (zh) * | 2021-03-18 | 2023-10-13 | 北京大学 | 物联网系统按需设备调度规划方法与系统 |
CN113194211A (zh) * | 2021-03-25 | 2021-07-30 | 深圳市优博讯科技股份有限公司 | 一种扫描头的控制方法及系统 |
CN113194211B (zh) * | 2021-03-25 | 2022-11-15 | 深圳市优博讯科技股份有限公司 | 一种扫描头的控制方法及系统 |
CN115016712A (zh) * | 2021-09-27 | 2022-09-06 | 荣耀终端有限公司 | 退出二维码的方法和装置 |
CN115016712B (zh) * | 2021-09-27 | 2024-05-14 | 荣耀终端有限公司 | 退出二维码的方法和装置 |
CN113935349A (zh) * | 2021-10-18 | 2022-01-14 | 交互未来(北京)科技有限公司 | 一种扫描二维码的方法、装置、电子设备及存储介质 |
CN113900577A (zh) * | 2021-11-10 | 2022-01-07 | 杭州逗酷软件科技有限公司 | 一种应用程序控制方法、装置、电子设备及存储介质 |
CN113900577B (zh) * | 2021-11-10 | 2024-05-07 | 杭州逗酷软件科技有限公司 | 一种应用程序控制方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20210022740A (ko) | 2021-03-03 |
CA3105663A1 (en) | 2020-05-28 |
WO2020103404A1 (zh) | 2020-05-28 |
CA3105663C (en) | 2023-12-12 |
EP3690678A1 (en) | 2020-08-05 |
JP2021535644A (ja) | 2021-12-16 |
AU2019385776B2 (en) | 2023-07-06 |
US20200372250A1 (en) | 2020-11-26 |
JP7186857B2 (ja) | 2022-12-09 |
AU2019385776A1 (en) | 2021-01-28 |
EP3690678A4 (en) | 2021-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209904A (zh) | 一种业务处理的方法以及相关装置 | |
US11200395B2 (en) | Graphic code recognition method and apparatus, terminal, and storage medium | |
CN111738122B (zh) | 图像处理的方法及相关装置 | |
CN108399349B (zh) | 图像识别方法及装置 | |
US20230245398A1 (en) | Image effect implementing method and apparatus, electronic device and storage medium | |
CN110059686B (zh) | 字符识别方法、装置、设备及可读存储介质 | |
WO2022073417A1 (zh) | 融合场景感知机器翻译方法、存储介质及电子设备 | |
CN115079886B (zh) | 二维码识别方法、电子设备以及存储介质 | |
WO2020103091A9 (zh) | 锁定触控操作的方法及电子设备 | |
CN113220176A (zh) | 基于微件的显示方法、装置、电子设备及可读存储介质 | |
WO2022143314A1 (zh) | 一种对象注册方法及装置 | |
CN109525791A (zh) | 信息记录方法及终端 | |
CN115643485B (zh) | 拍摄的方法和电子设备 | |
CN111695419B (zh) | 一种图像数据处理方法及相关装置 | |
WO2023216957A1 (zh) | 一种目标定位方法、系统和电子设备 | |
CN110232417B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
CN112527104A (zh) | 确定参数确定方法、装置、设备及存储介质 | |
CN115032640A (zh) | 手势识别方法和终端设备 | |
CN114970576A (zh) | 识别码的识别方法、相关电子设备及计算机可读存储介质 | |
EP2972147A1 (en) | Spectrometer for personal context | |
US20240107092A1 (en) | Video playing method and apparatus | |
CN117615440B (zh) | 模式切换方法及相关装置 | |
WO2022222705A1 (zh) | 设备控制方法和电子设备 | |
KR20240097046A (ko) | 메타 러닝에 기반하여 학습된 인공지능 모델들을 제공하는 서버 | |
CN118115212A (zh) | 闪屏广告的发送方法、显示方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |