CN115017352B - 一种基于图像识别的手机车机交互系统 - Google Patents

一种基于图像识别的手机车机交互系统 Download PDF

Info

Publication number
CN115017352B
CN115017352B CN202210708657.8A CN202210708657A CN115017352B CN 115017352 B CN115017352 B CN 115017352B CN 202210708657 A CN202210708657 A CN 202210708657A CN 115017352 B CN115017352 B CN 115017352B
Authority
CN
China
Prior art keywords
mobile phone
image recognition
module
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210708657.8A
Other languages
English (en)
Other versions
CN115017352A (zh
Inventor
张明俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rivotek Technology Jiangsu Co Ltd
Original Assignee
Rivotek Technology Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rivotek Technology Jiangsu Co Ltd filed Critical Rivotek Technology Jiangsu Co Ltd
Priority to CN202210708657.8A priority Critical patent/CN115017352B/zh
Publication of CN115017352A publication Critical patent/CN115017352A/zh
Application granted granted Critical
Publication of CN115017352B publication Critical patent/CN115017352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098—Interfacing with an on-board device of a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明涉及一种基于图像识别的手机车机交互系统，包括以下运行步骤1）将车机每个模块的界面图保存在云服务器；2）对每一张已存储的界面图片进行颜色处理，仅保留黑白部分。该基于图像识别的手机车机交互系统，通过操作触摸屏，进而将控制信息通过蓝牙模块传递给处理器，进而改变显示器显示内容，实现控制，进而实现图像识别对车机的控制，当车机端的车机系统或软件更新后，通过5G通信模块将信息传递给云服务器端，云服务器端将更新后的图像识别策略通过通信模块传递给手机处理器，进而手机处理器将更新的图像识别信息写入到存储器中，供图像识别模块识别时调取，进而在车机的系统或软件更新后仍可使用。

Description

一种基于图像识别的手机车机交互系统
技术领域
本发明涉及车机交互技术领域，具体为一种基于图像识别的手机车机交互系统。
背景技术
电视、PC、手机、平板等设备的每一块屏幕都曾创造出一个巨大的市场，屏幕本身当然没有那么大的威力，而是基于同一系统稳定生态下的内容，才粘住了最广大的用户，长期被“忽略”的汽车的那块中控显示屏，无论是作为车联网交互终端，还是未来端到端入口之一，正越发凸显它的重要性，现有的车机显示屏随着无线广播兴起，附加了收音机，收音机进化成卡带、CD、带有多媒体功能的MP3、MP4、GPS，如今又加入了360度影像，热成像等功能，由此可知，车机的多媒体功能越来越丰富，但内容的丰富必须基于强大的网络通信。
目前，手机互联应用最多的主要是亿连和百度，亿连与手机连接后手机画面投射，双屏互动，在竖屏上体验较好；百度连接手机后内置功能可用，主要包括在线导航与在线音乐，有专属用户界面，体验较好。
发明CN111158573A提供一种基于图片构架的车机交互方法、系统、介质及设备，所述基于图片构架的车机交互方法包括：根据用户的行为习惯数据并结合当前的时间、地点信息推测用户行为动态；根据所述用户行为动态判断所需的应用场景，提取所述应用场景的特征词，所述特征词与同步后的所述图片在分类时所用的分类词一致；查找所述分类词与所述特征词相同的图片，并将其作为与应用场景匹配的图片将与应用场景匹配的图片显示在车机端的屏幕上，并生成图片操作界面；通过所述图片操作界面接收并执行用户发出的图片操作指令，本发明可在图片构架的应用上进行交互方式的拓展，通过通信连接将图片同步至车机端，并通过用户在车机端的交互操作丰富用户的场景体验，但是现有技术无法实现通过手机对车机的任意一界面的互联控制且相对较为复杂，因此需要一种解决上述问题的基于图像识别的手机车机交互系统。
发明内容
针对现有技术的不足，本发明提供了一种基于图像识别的手机车机交互系统，具备手机机车互联、方便进行机车信息获取和实时控制等优点，解决了现有技术无法实现通过手机对车机的任意一界面的互联控制且相对较为复杂的问题。
为实现上述目的，本发明提供如下技术方案：一种基于图像识别的手机车机交互系统，包括以下运行步骤：
1）将车机每个模块的界面图保存在云服务器；
2）对每一张已存储的界面图片进行颜色处理，仅保留黑白部分；
3）分解每张黑白图片成9*9像素的拼接图块，记录图片中每一个像素中有转角特征的相对位置；
4）将处理内容通过矩阵的形式记录在云服务器供后续对比使用；
5）工作时，通过手机端摄像模块采集显示器的图像信息，进而显示器图像信息传递到手机处理器，手机处理器将信号传递给图像识别模块；
6）图像识别模块对图像信息进行上述2-4步骤，以矩阵形式记录图片特征；
7）分析结果在已存储车机每个模块界面图片的特征库中进行查找，通过矩阵计算，寻找出矩阵值最为相似色图片；
8）将结果递给手机处理器，手机蓝牙模块与蓝牙模块连接，然后在触摸屏上显示通过蓝牙模块传递来的显示器显示的信息；
9）通过操作触摸屏，进而将控制信息通过蓝牙模块传递给处理器，进而改变显示器显示内容，实现控制；
10）当车机端的车机系统或软件更新后，云服务器端将更新后的界面图片重新上述步骤1-4进行处理，更新到云服务器中，供图像识别模块识别时调取。
进一步，所述手机端设置有手机处理器、存储器、图像识别模块、手机蓝牙模块、摄像模块，所述手机处理器通过导线与图像识别模块、存储器和手机蓝牙模块电连接，所述手机处理器将数据上传给存储器，存储器通过电信号进行数据接收，同时手机处理器将会通过网络信号将获取的数据传递给云服务器端。
进一步，所述手机处理器通过连接用于人机交互的触摸屏，同时通过通信模块进行数据互联与传递。
进一步，所述车机端包括处理器、显示器、蓝牙模块和5G通讯模块，手机处理器将信息传递给云服务器端，云服务器端将会通过5G通讯模块与处理器之间实现数据互联与传输，处理器将接收的信息反馈给显示器，显示器将会根据数据的二进制信息来进行显示界面的电路控制，对显示器的数据进行调整。
进一步，所述手机处理器还可以通过手机蓝牙模块与机车蓝牙模块进行蓝牙连接，蓝牙连接之后也可以进行数据的互联与数据传输，蓝牙可实现近距离的数据传输，减少数据传输时产生的偏差。
进一步，所述步骤1-3中所收集的机车信息显示界面图片应当涵盖机车运行过程中的所有图片以及调整不同设置之后的所有图片，可采用计算机对机车界面调节之后自动生产界面图片。
进一步，所述步骤4中所上传的图像矩阵通过数据库的形式进行存储，方便后续使用的调用，在存储的时候以二进制的方式进行存储，以方便计算机处理进行识别，达到快速调取的目的。
进一步，所述步骤5中所采集的图像信息应该与机车显示屏的边框尺寸相适配，采集的图像为JPEG、TIFF、PNG中的一种，所述在进行手机端与机车端连接的时候首先选取蓝牙的方式进行连接，在蓝牙无法连接之后通过5G通信网络进行数据的传递与连接。
进一步，所述图像识别模块在摄像模块将机车显示屏的信息拍摄之后，图像识别模块将根据图片的格式来获取图片中的有价值信息，在获取图片信息前对图片进行灰度处理，保证图像识别中的外界影响。
进一步，所述手机处理器通过触摸屏实现人机交互，使用者根据需求在触摸屏上点击图片中的相应位置进行显示屏信息的获取和调整，同时通过通讯模块来实现与云服务器的数据共享与连接。
进一步，所述云服务器端同时可以接收手机端和机车端的数据信息，在数据库中对双方信息，将获取的信息进行双向传递，可实现数据的联网服务，实现区域网，而蓝牙模块则在小范围内建立局域网，通过局域网的形式对时局进行传输。
与现有技术相比，本申请的技术方案具备以下有益效果：
1、该基于图像识别的手机车机交互系统，通过手机端摄像模块采集显示器的图像信息，进而显示器图像信息传递到手机处理器，手机处理器将信号传递给传递给图像识别模块，图像识别模块通过对图像信息进行识别，进而判断显示器显示的界面信息，进而传递给手机处理器，手机蓝牙模块与蓝牙模块连接，然后在触摸屏上显示通过蓝牙模块传递来的显示器显示的信息，通过操作触摸屏，进而将控制信息通过蓝牙模块传递给处理器，进而改变显示器显示内容，实现控制，进而实现图像识别对车机的控制，当车机端的车机系统或软件更新后，通过5G通信模块将信息传递给云服务器端，云服务器端将更新后的图像识别策略通过通信模块传递给手机处理器，进而手机处理器将更新的图像识别信息写入到存储器中，供图像识别模块识别时调取，进而在车机的系统或软件更新后仍可使用。
2、该基于图像识别的手机车机交互系统，通过5G网络连接，5G网络属于当前一种新型的网络方式，其普及率仍比较低，仍需进一步进行研究及发展，对于任何一种网络而言，网络安全问题都是十分重要的影响因素，对于5G网络同样如此，因而对于5G网络安全问题需要加强重视，作为5G网络研究人员，应当对5G网络安全加强认识，并且加强重视，积极解决5G网络安全问题，把握其发展方向，从而实现5G网络的更理想发展，5G网络通信技术是当前世界上最先进的一种网络通信技术之一，相比于被普遍应用的4G网络通信技术来讲，5G网络通信技术在传输速度上有着非常明显的优势，在传输速度上的提高在实际应用中十分具有优势，传输速度的提高是一个高度的体现，是一个进步的体现，5G网络通信技术应用在文件的传输过程中，传输速度的提高会大大缩短传输过程所需要的时间，对于工作效率的提高具有非常重要的作用，所以5G网络通信技术应用在当今的社会发展中会大大提高社会进步发展的速度，有助于人类社会的快速发展，采用5G网络进行数据的互联在保证传输速度的同时，数据的安全性和抗干扰也能够有显著的提升。
3、该基于图像识别的手机车机交互系统，通过蓝牙网络连接，蓝牙是一种支持设备短距离通信（一般10m内）的无线电技术，能在包括移动电话、PDA、无线耳机、笔记本电脑、相关外设等众多设备之间进行无线信息交换，利用蓝牙技术，能够有效地简化移动通信终端设备之间的通信，也能够成功地简化设备与因特网Internet之间的通信，从而数据传输变得更加迅速高效，为无线通信拓宽道路，在5G网络的基础上增加蓝牙数据互联的方式，在没有网络覆盖的区域也可实施该方案，而且蓝牙的方式属于一个局域网，而这种短距离的数据传输方式的效率和安全性则会更好，同时数据也不会应为延迟或者信号的强弱而波动，非常适合小范围的机车应用。
附图说明
图1为本发明一种基于图像识别的手机车机交互系统结构示意图；
图2为本发明手机端工作流程图示意图；
图3为本发明机车端工作流程图；
图4为本发明数据互联流程图图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图1-4，本实施例中的一种基于图像识别的手机车机交互系统，包括以下运行步骤：
1）将车机每个模块的界面图保存在云服务器；
2）对每一张已存储的界面图片进行颜色处理，仅保留黑白部分；
3）分解每张黑白图片成9*9像素的拼接图块，记录图片中每一个像素中有转角特征的相对位置；
4）将处理内容通过矩阵的形式记录在云服务器供后续对比使用；
5）工作时，通过手机端摄像模块采集显示器的图像信息，进而显示器图像信息传递到手机处理器，手机处理器将信号传递给图像识别模块；
6）图像识别模块对图像信息进行上述2-4步骤，以矩阵形式记录图片特征；
7）分析结果在已存储车机每个模块界面图片的特征库中进行查找，通过矩阵计算，寻找出矩阵值最为相似色图片；
8）将结果递给手机处理器，手机蓝牙模块与蓝牙模块连接，然后再触摸屏上显示通过蓝牙模块传递来的显示器显示的信息，通过蓝牙网络连接，蓝牙是一种支持设备短距离通信（一般10m内）的无线电技术，能在包括移动电话、PDA、无线耳机、笔记本电脑、相关外设等众多设备之间进行无线信息交换，而且蓝牙的方式属于一个局域网，而这种短距离的数据传输方式的效率和安全性则会更好，同时数据也不会应为延迟或者信号的强弱而波动，非常适合小范围的机车应用。
9）通过操作触摸屏，进而将控制信息通过蓝牙模块传递给处理器，进而改变显示器显示内容，实现控制；
10）当车机端的车机系统或软件更新后，云服务器端将更新后的界面图片重新上述步骤1-4进行处理，更新到云服务器中，供图像识别模块识别时调取。
步骤1-3中所收集的机车信息显示界面图片应当涵盖机车运行过程中的所有图片以及调整不同设置之后的所有图片，可采用计算机对机车界面调节之后自动生产界面图片。
步骤4中所上传的图像矩阵通过数据库的形式进行存储，方便后续使用的调用，在存储的时候以二进制的方式进行存储，以方便计算机处理进行识别，达到快速调取的目的。
步骤5中所采集的图像信息应该与机车显示屏的边框尺寸相适配，采集的图像为JPEG、TIFF、PNG中的一种，在进行手机端与机车端连接的时候首先选取蓝牙的方式进行连接，在蓝牙无法连接之后通过5G通信网络进行数据的传递与连接。
实施例二：
一种基于图像识别的手机车机交互系统，包括以下运行步骤：
1）将车机每个模块的界面图保存在云服务器；
2）对每一张已存储的界面图片进行颜色处理，仅保留黑白部分；
3）分解每张黑白图片成9*9像素的拼接图块，记录图片中每一个像素中有转角特征的相对位置；
4）将处理内容通过矩阵的形式记录在云服务器供后续对比使用；
5）工作时，通过手机端摄像模块采集显示器的图像信息，进而显示器图像信息传递到手机处理器，手机处理器将信号传递给图像识别模块；
6）图像识别模块对图像信息进行上述2-4步骤，以矩阵形式记录图片特征；
7）分析结果在已存储车机每个模块界面图片的特征库中进行查找，通过矩阵计算，寻找出矩阵值最为相似色图片；
8）将结果递给手机处理器，云服务器直接与手机端进行5G信号传输，通过5G通信模块与机车端的处理器连接，将数据信息上传至网络后再发送给处理器，通过5G网络连接，5G网络属于当前一种新型的网络方式，其普及率仍比较低，仍需进一步进行研究及发展，对于任何一种网络而言，网络安全问题都是十分重要的影响因素，对于5G网络同样如此，因而对于5G网络安全问题需要加强重视，作为5G网络研究人员，应当对5G网络安全加强认识，并且加强重视，积极解决5G网络安全问题，把握其发展方向，从而实现5G网络的更理想发展，通过5G通信模块将信息传递给云服务器端，云服务器端将更新后的图像识别策略通过通信模块传递给手机处理器，进而手机处理器将更新的图像识别信息写入到存储器中，供图像识别模块识别时调取，进而在车机的系统或软件更新后仍可使用；
9）通过操作触摸屏，进而将控制信息通过5G通信模块传递给处理器，进而改变显示器显示内容，实现控制；
10）当车机端的车机系统或软件更新后，云服务器端将更新后的界面图片重新上述步骤1-4进行处理，更新到云服务器中，供图像识别模块识别时调取。
步骤1-3中所收集的机车信息显示界面图片应当涵盖机车运行过程中的所有图片以及调整不同设置之后的所有图片，可采用计算机对机车界面调节之后自动生产界面图片。
步骤4中所上传的图像矩阵通过数据库的形式进行存储，方便后续使用的调用，在存储的时候以二进制的方式进行存储，以方便计算机处理进行识别，达到快速调取的目的。
步骤5中所采集的图像信息应该与机车显示屏的边框尺寸相适配，采集的图像为JPEG、TIFF、PNG中的一种，在进行手机端与机车端连接的时候首先选取蓝牙的方式进行连接，在蓝牙无法连接之后通过5G通信网络进行数据的传递与连接。
实施后得出，在进行数据传输的不管是蓝牙的方式还是5G网络的形式都可以完成数据的传输，在特定区域采用蓝牙的传输，可以避免网络信息的延迟和无法覆盖，而网络信号传输可以对用户操作的数据进行监控，避免出现用户强制操作和盗取信息的问题，可靠性更强。
在上述实施例中：
图像识别模块在摄像模块将机车显示屏的信息拍摄之后，图像识别模块将根据图片的格式来获取图片中的有价值信息，在获取图片信息前对图片进行灰度处理，保证图像识别中的外界影响，图像识别可能是以图像的主要特征为基础的，每个图像都有它的特征，如字母A有个尖，P有个圈、而Y的中心有个锐角等，对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大，而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上，由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息，抽出关键的信息，同时，在大脑里必定有一个负责整合信息的机制，它能把分阶段获得的信息整理成一个完整的知觉映象。
手机处理器通过触摸屏实现人机交互，使用者根据需求在触摸屏上点击图片中的相应位置进行显示屏信息的获取和调整，同时通过通讯模块来实现与云服务器的数据共享与连接。
云服务器端同时可以接收手机端和机车端的数据信息，在数据库中对双方信息，将获取的信息进行双向传递，可实现数据的联网服务，实现区域网，而蓝牙模块则在小范围内建立局域网，通过局域网的形式对时局进行传输，云计算服务器（又称云服务器或云主机）主要面向中小企业用户与高端用户提供基于互联网的基础设施服务，这一用户群体庞大，且对互联网主机应用的需求日益增加，该用户群体具备如下特征：业务以主机租用与虚拟专用服务器为主，部分采用托管服务，且规模较大；注重短期投资回报率，对产品的性价比要求较高；个性化需求强，倾向于全价值链型产品。
需要注意的是上述实施例中无论是5G网络通信还是蓝牙通信都应该遵循TCP/IP因特网正式网络协议，保证数据传输的稳定性和安全性，而网络协议是网络上所有设备（网络服务器、计算机及交换机、路由器、防火墙等）之间通信规则的集合，它规定了通信时信息必须采用的格式和这些格式的意义大多数网络都采用分层的体系结构，每一层都建立在它的下层之上，向它的上一层提供一定的服务，而把如何实现这一服务的细节对上一层加以屏蔽一台设备上的第n层与另一台设备上的第n层进行通信的规则就是第n层协议在网络的各层中存在着许多协议，接收方和发送方同层的协议必须一致，否则一方将无法识别另一方发出的信息网络协议使网络上各种设备能够相互交换信息。
综上所述，该基于图像识别的手机车机交互系统，通过手机端摄像模块采集显示器的图像信息，进而显示器图像信息传递到手机处理器，手机处理器将信号传递给图像识别模块，图像识别模块通过对图像信息进行识别，进而判断显示器显示的界面信息，进而传递给手机处理器，手机蓝牙模块与蓝牙模块连接，然后在触摸屏上显示通过蓝牙模块传递来的显示器显示的信息，通过操作触摸屏，进而将控制信息通过蓝牙模块传递给处理器，进而改变显示器显示内容，实现控制，进而实现图像识别对车机的控制，当车机端的车机系统或软件更新后，通过5G通信模块将信息传递给云服务器端，云服务器端将更新后的图像识别策略通过通信模块传递给手机处理器，进而手机处理器将更新的图像识别信息写入到存储器中，供图像识别模块识别时调取，进而在车机的系统或软件更新后仍可使用。
并且，手机端设置有手机处理器、存储器、图像识别模块、手机蓝牙模块、摄像模块，手机处理器通过导线与图像识别模块、存储器和手机蓝牙模块电连接，手机处理器将数据上传给存储器，存储器通过电信号进行数据接收，同时手机处理器将会通过网络信号将获取的数据传递给云服务器端，车机端包括处理器、显示器、蓝牙模块和5G通讯模块，手机处理器将信息传递给云服务器端，云服务器端将会通过5G通讯模块与处理器之间实现数据互联与传输，处理器将接收的信息反馈给显示器，显示器将会根据数据的二进制信息来进行显示界面的电路控制，对显示器的数据进行调整，通过多模块之间的相互配合，通过手机端摄像模块采集显示器的图像信息，进而显示器图像信息传递到手机处理器，手机处理器将信号传递给图像识别模块，图像识别模块通过对图像信息进行识别，进而判断显示器显示的界面信息，进而传递给手机处理器，手机蓝牙模块与蓝牙模块连接，然后在触摸屏上显示通过蓝牙模块传递来的显示器显示的信息，通过操作触摸屏，进而将控制信息通过蓝牙模块传递给处理器，进而改变显示器显示内容，实现控制，进而实现图像识别对车机的控制，当车机端的车机系统或软件更新后，通过5G通信模块将信息传递给云服务器端，云服务器端将更新后的图像识别策略通过通信模块传递给手机处理器，进而手机处理器将更新的图像识别信息写入到存储器中，供图像识别模块识别时调取，进而在车机的系统或软件更新后仍可使用。
同时，通过5G网络连接，5G网络属于当前一种新型的网络方式，其普及率仍比较低，仍需进一步进行研究及发展，对于任何一种网络而言，网络安全问题都是十分重要的影响因素，对于5G网络同样如此，因而对于5G网络安全问题需要加强重视，作为5G网络研究人员，应当对5G网络安全加强认识，并且加强重视，积极解决5G网络安全问题，把握其发展方向，从而实现5G网络的更理想发展，5G网络通信技术是当前世界上最先进的一种网络通信技术之一，相比于被普遍应用的4G网络通信技术来讲，5G网络通信技术在传输速度上有着非常明显的优势，在传输速度上的提高在实际应用中十分具有优势，传输速度的提高是一个高度的体现，是一个进步的体现，5G网络通信技术应用在文件的传输过程中，传输速度的提高会大大缩短传输过程所需要的时间，对于工作效率的提高具有非常重要的作用，所以5G网络通信技术应用在当今的社会发展中会大大提高社会进步发展的速度，有助于人类社会的快速发展，采用5G网络进行数据的互联在保证传输速度的同时，数据的安全性和抗干扰能够也有显著的提升。
在本实施例中，通过蓝牙网络连接，蓝牙是一种支持设备短距离通信（一般10m内）的无线电技术，能在包括移动电话、PDA、无线耳机、笔记本电脑、相关外设等众多设备之间进行无线信息交换，利用蓝牙技术，能够有效地简化移动通信终端设备之间的通信，也能够成功地简化设备与因特网Internet之间的通信，从而数据传输变得更加迅速高效，为无线通信拓宽道路，在5G网络的基础上增加蓝牙数据互联的方式，在没有网络覆盖的区域也可实施该方案，而且蓝牙的方式属于一个局域网，而这种短距离的数据传输方式的效率和安全性则会更好，同时数据也不会应为延迟或者信号的强弱而波动，非常适合小范围的机车应用。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于图像识别的手机车机交互系统，包括以下运行步骤，其特征在于：
1）将车机每个模块的界面图保存在云服务器；
2）对每一张已存储的界面图片进行颜色处理，仅保留黑白部分；
3）分解每张黑白图片成9*9像素的拼接图块，记录图片中每一个像素中有转角特征的相对位置；
4）将处理内容通过矩阵的形式记录在云服务器供后续对比使用；
5）工作时，通过手机端摄像模块采集显示器的图像信息，进而显示器图像信息传递到手机处理器，手机处理器将信号传递给图像识别模块；
6）图像识别模块对图像信息进行上述2）-4）步骤，以矩阵形式记录图片特征；
7）分析结果在已存储车机每个模块界面图片的特征库中进行查找，通过矩阵计算，寻找出矩阵值最为相似的图片；
8）将结果传递给手机处理器，手机蓝牙模块与蓝牙模块连接，然后在触摸屏上显示通过蓝牙模块传递来的显示器显示的信息；
9）通过操作触摸屏，进而将控制信息通过蓝牙模块传递给处理器，进而改变显示器显示内容，实现控制；
10）当车机端的车机系统或软件更新后，云服务器端将更新后的界面图片重复上述步骤1）-4）进行处理，更新到云服务器中，供图像识别模块识别时调取。
2.根据权利要求1所述的一种基于图像识别的手机车机交互系统，还包括手机端和车机端，其特征在于：所述手机端设置有手机处理器、存储器、图像识别模块、手机蓝牙模块、摄像模块，所述手机处理器通过导线与图像识别模块、存储器和手机蓝牙模块电连接，所述手机处理器将数据上传给存储器，存储器通过电信号进行数据接收，同时手机处理器将会通过网络信号将获取的数据传递给云服务器端。
3.根据权利要求2所述的一种基于图像识别的手机车机交互系统，其特征在于：所述手机处理器通过连接用于人机交互的触摸屏，同时通过通信模块进行数据互联与传递。
4.根据权利要求2所述的一种基于图像识别的手机车机交互系统，其特征在于：所述车机端包括处理器、显示器、蓝牙模块和5G通讯模块，手机处理器将信息传递给云服务器端，云服务器端将会通过5G通讯模块与处理器之间实现数据互联与传输，处理器将接收的信息反馈给显示器，显示器将会根据数据的二进制信息来进行显示界面的电路控制，对显示器的数据进行调整。
5.根据权利要求4所述的一种基于图像识别的手机车机交互系统，其特征在于：所述手机处理器还可以通过手机蓝牙模块与车机蓝牙模块进行蓝牙连接，蓝牙连接之后也可以进行数据的互联与数据传输，蓝牙可实现近距离的数据传输，减少数据传输时产生的偏差。
6.根据权利要求1所述的一种基于图像识别的手机车机交互系统，其特征在于：所述步骤1）-3）中所收集的车机信息显示界面图片应当涵盖车机运行过程中的所有图片以及调整不同设置之后的所有图片，可采用计算机对车机界面调节之后自动生产界面图片。
7.根据权利要求1所述的一种基于图像识别的手机车机交互系统，其特征在于：所述步骤4）中所上传的图像矩阵通过数据库的形式进行存储，方便后续使用的调用，在存储的时候以二进制的方式进行存储，以方便计算机处理进行识别，达到快速调取的目的。
8.根据权利要求1所述的一种基于图像识别的手机车机交互系统，其特征在于：所述步骤5）中所采集的图像信息应该与车机显示屏的边框尺寸相适配，采集的图像为JPEG、TIFF、PNG中的一种，所述在进行手机端与车机端连接的时候首先选取蓝牙的方式进行连接，在蓝牙无法连接之后通过5G通信网络进行数据的传递与连接。
9.根据权利要求1所述的一种基于图像识别的手机车机交互系统，其特征在于：所述图像识别模块在摄像模块将车机显示屏的信息拍摄之后，图像识别模块将根据图片的格式来获取图片中的有价值信息，在获取图片信息前对图片进行灰度处理，保证图像识别中的外界影响。
10.根据权利要求1所述的一种基于图像识别的手机车机交互系统，其特征在于：所述手机处理器通过触摸屏实现人机交互，使用者根据需求在触摸屏上点击图片中的相应位置进行显示屏信息的获取和调整，同时通过通讯模块来实现与云服务器的数据共享与连接；
所述云服务器端同时可以接收手机端和车机端的数据信息，在数据库中对双方信息，将获取的信息进行双向传递，可实现数据的联网服务，实现区域网，而蓝牙模块则在小范围内建立局域网，通过局域网的形式对数据进行传输。
CN202210708657.8A 2022-06-22 2022-06-22 一种基于图像识别的手机车机交互系统 Active CN115017352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210708657.8A CN115017352B (zh) 2022-06-22 2022-06-22 一种基于图像识别的手机车机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210708657.8A CN115017352B (zh) 2022-06-22 2022-06-22 一种基于图像识别的手机车机交互系统

Publications (2)

Publication Number Publication Date
CN115017352A CN115017352A (zh) 2022-09-06
CN115017352B true CN115017352B (zh) 2023-04-07

Family

ID=83077370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210708657.8A Active CN115017352B (zh) 2022-06-22 2022-06-22 一种基于图像识别的手机车机交互系统

Country Status (1)

Country Link
CN (1) CN115017352B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116279554B (zh) * 2023-01-15 2024-02-13 润芯微科技(江苏)有限公司 基于图像识别及移动位置服务调整驾驶策略的系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887954A (zh) * 2020-11-04 2021-06-01 博泰车联网(南京)有限公司 用于车辆交互的方法、计算设备和计算机存储介质
CN113347742A (zh) * 2021-06-11 2021-09-03 阿波罗智联(北京)科技有限公司 车机蓝牙的连接方法、装置、电子设备及存储介质
CN114428577A (zh) * 2021-12-31 2022-05-03 合众新能源汽车有限公司 一种车载交互方法、车载交互终端及车载系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140033294A (ko) * 2012-09-08 2014-03-18 인포뱅크 주식회사 자동차 및 그의 단말기 인터페이스 제어 방법
CN106790938B (zh) * 2016-11-16 2020-05-05 上海趣讯网络科技有限公司 一种基于人工智能的人机交互车载系统
CN108243218A (zh) * 2016-12-26 2018-07-03 德尔福电子(苏州)有限公司 一种基于云端的车载娱乐人机交互系统
CN109960407A (zh) * 2019-03-06 2019-07-02 中山安信通机器人制造有限公司 一种车载机器人主动交互的方法、计算机装置以及计算机可读存储介质
CN110647658A (zh) * 2019-08-02 2020-01-03 惠州市德赛西威汽车电子股份有限公司 一种基于云计算的车载图像特征自动识别方法与系统
CN114936000B (zh) * 2019-12-26 2024-02-13 上海擎感智能科技有限公司 基于图片构架的车机交互方法、系统、介质及设备
CN211979500U (zh) * 2020-03-12 2020-11-20 深圳市有方科技股份有限公司 一种车载信息汇总处理系统
CN114327185B (zh) * 2021-12-29 2024-02-09 盯盯拍（深圳）技术股份有限公司 一种车机屏幕控制方法、装置、介质及电子设备
CN114553844B (zh) * 2022-03-09 2022-09-06 润芯微科技(江苏)有限公司 一种视频时屏幕共享的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887954A (zh) * 2020-11-04 2021-06-01 博泰车联网(南京)有限公司 用于车辆交互的方法、计算设备和计算机存储介质
CN113347742A (zh) * 2021-06-11 2021-09-03 阿波罗智联(北京)科技有限公司 车机蓝牙的连接方法、装置、电子设备及存储介质
CN114428577A (zh) * 2021-12-31 2022-05-03 合众新能源汽车有限公司 一种车载交互方法、车载交互终端及车载系统

Also Published As

Publication number Publication date
CN115017352A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN110958218B (zh) 基于多网通信的数据传输方法及相关设备
US8824751B2 (en) Digital photograph group editing and access
US20170235730A1 (en) System and method for providing sequentially relevant content
US20060218191A1 (en) Method and System for Managing Multimedia Documents
JP6853228B2 (ja) 画像とオーディオの同期再生の処理方法及びデバイス
CN101848374A (zh) 无线视频监控系统及无线视频监控方法
WO2017063283A1 (zh) 智能车载终端触发系统和方法
CN115017352B (zh) 一种基于图像识别的手机车机交互系统
JP2023518163A (ja) データ共有方法、電子デバイスおよびシステム
CN114006894B (zh) 数据处理系统、方法、电子设备及计算机存储介质
CN109981881B (zh) 一种图像分类的方法和电子设备
CN108538289A (zh) 基于蓝牙实现语音遥控的方法、装置和终端设备
CN113589938A (zh) 具备弹幕功能的车载终端信息分享系统
CN106911486A (zh) 一种消息推送处理方法、装置及系统
CN111626035A (zh) 一种版面分析方法及电子设备
CN208638380U (zh) 一种多屏互动系统及互动屏幕设备
CN113592003B (zh) 一种图片传输方法、装置、设备及存储介质
CN105282255A (zh) 图片传输方法和系统
CN106412715A (zh) 一种信息检索方法、终端以及服务器
CN105657324A (zh) 一种视频影像的处理方法、装置以及终端
JP2019091444A (ja) スマートインタラクティブの処理方法、装置、設備及びコンピュータ記憶媒体
CN111527747A (zh) 采用fpga硬件实现ai的方法及相关产品
US20210314524A1 (en) Method and system for two-stage dialing for audio and video communications based on ims
CN110745084A (zh) 一种用于智能汽车的多媒体系统中间件设计方法
CN105791086A (zh) 一种信息处理方法、第一终端及第二终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant