CN111767054A - 生成智能大屏的方法、装置和计算机设备 - Google Patents

生成智能大屏的方法、装置和计算机设备 Download PDF

Info

Publication number
CN111767054A
CN111767054A CN202010905285.9A CN202010905285A CN111767054A CN 111767054 A CN111767054 A CN 111767054A CN 202010905285 A CN202010905285 A CN 202010905285A CN 111767054 A CN111767054 A CN 111767054A
Authority
CN
China
Prior art keywords
display
display element
large screen
preset effect
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010905285.9A
Other languages
English (en)
Other versions
CN111767054B (zh
Inventor
党升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010905285.9A priority Critical patent/CN111767054B/zh
Publication of CN111767054A publication Critical patent/CN111767054A/zh
Application granted granted Critical
Publication of CN111767054B publication Critical patent/CN111767054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及大数据技术，揭示了生成智能大屏的方法，包括：获取部署文件对应的电子图片，部署文件包括电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，电子图片通过影印智能大屏的预设效果图获得；通过AI图像识别模型识别电子图片中的各显示元素分别对应的特征信息；根据各显示元素分别对应的特征信息，通过界面生成系统依据部署数据，将各显示元素通过部署文件分别部署于显示界面上，形成与预设效果图相同的智能大屏。通过AI图像识别模型识别用户设计的预设效果图，再将预设效果图对应的部署数据形成部署文件，调用界面生成系统中的组件实现自动部署形成智能大屏，让用户参与到智能大屏开发设计中。

Description

生成智能大屏的方法、装置和计算机设备
技术领域
本申请涉及大数据领域，特别是涉及到生成智能大屏的方法、装置和计算机设备。
背景技术
智能大屏的展示一般结构紧凑，显示效果酷炫，交互性较好，目前智能大屏的需求越来越多。但不同的场景和数据都需要适配不同的大屏展示效果，如选择什么图表，什么展示方式，如何布局排版等。现有智能大屏的开发模式不能让非专业人员的客户直接参与到开发过程，也不能实现客户对开发后的智能大屏进行简单直接的调整操作，每一个展示效果都需要专业的开发人员进行单独开发，因客户无法直接参与到设计过程中，开发后的结果与客户的需求达不到100%吻合，而且客户的需求时常都会变化，开发出来的展示效果不能跟随客户的需求进行及时有效的调整。
发明内容
本申请的主要目的为提供生成智能大屏的方法，旨在解决现有开发智能大屏时不能让非专业人员的客户直接参与到开发过程的技术问题。
本申请提出一种生成智能大屏的方法，包括：
获取部署文件对应的电子图片，其中，所述部署文件包括所述电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，所述电子图片通过影印智能大屏的预设效果图获得；
通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息；
根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏。
优选地，所述特征信息包括显示元素的形状特征、显示元素处于所述电子图片的位置信息以及显示元素的尺寸信息，所述根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏的步骤，包括：
根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件，其中，所述指定显示元素属于所述电子图片中的任意一个显示元素；
根据所述指定显示元素的形状特征，确定所述显示组件的映射中心；
根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置；
通过所述部署文件将所述显示组件的映射中心嵌入所述指定显示元素位于所述显示界面的位置的中心处；
根据所述指定显示元素的尺寸信息，调整所述指定显示元素，形成所述指定显示元素在所述显示界面的显示状态；
根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏。
优选地，所述根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件的步骤，包括：
获取所述AI图像识别模型识别所述指定显示元素后，输出的分类类别；
根据所述分类类别从所述组件数据库中，调取与所述分类类别对应的组件数据组；
从所述组件数据组中，获取与所述指定显示元素的形状特征相同的显示组件。
优选地，所述预设效果图为绘制于网格纸的绘制图，所述网格纸通过多个相等面积的方形网格组合而成，所述根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置的步骤，包括：
获取所述电子图片与所述显示界面之间的缩放比例；
根据所述缩放比例以及所述显示界面的显示区域，确定所述指定显示元素对应的方形网格在所述显示区域的位置；
将所述指定显示元素对应的方形网格在所述显示区域的位置，作为所述指定显示元素位于所述显示界面的位置。
优选地，所述预设效果图至少包括两张，至少两张所述预设效果图合成一个智能大屏，所述根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏的步骤，包括：
获取所述预设效果图的数量，以及至少两张所述预设效果图的组合方式；
通过所述预设效果的数量以及所述组合方式，更新所述部署文件；
根据所述部署文件获取指定预设效果图对应的指定显示区域，其中，所述指定预设效果图为所有预设效果图中的任意一个，所述指定显示区域包含于所述显示界面；
将所述指定预设效果图中的所有显示元素，一一对应映射显示于所述指定显示区域，形成所述指定预设效果图在所述显示界面的映射图；
根据所述指定预设效果图在所述指定显示区域的映射显示过程中，将所有所述预设效果图一一对应映射于所述显示界面，形成所有所述预设效果图对应的智能大屏。
优选地，所述特征信息包括显示元素处于所述电子图片的位置信息，所述通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息的步骤，包括：
确定所述网格纸中与指定显示元素对应的指定方形网格，其中，所述指定显示元素为所述电子图片中的所有显示元素中的任一个，所述指定方形网格为所述指定显示元素所占用的方形网格；
获取所述指定方形网格处于所述网格纸中的位置数据，其中，所述位置数据包括行位置和列位置；
将所述指定方形网格的行位置和列位置，作为所述指定显示元素处于所述电子图片的位置信息。
优选地，所述获取部署文件对应的电子图片的步骤之前，包括：
将标注数据输入深度神经网络，在损失函数的约束下进行图像特征提取模型的训练，并通过softmax函数输出所述标注数据对应的分类类别，其中，所述标注数据为标注了图像特征的电子图片；
判断所述损失函数是否收敛；
若是，则结束训练，得到所述AI图像识别模型。
本申请还提供了一种生成智能大屏的装置，包括：
获取模块，用于获取部署文件对应的电子图片，其中，所述部署文件包括所述电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，所述电子图片通过影印智能大屏的预设效果图获得；
识别模块，用于通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息；
部署模块，用于根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏。
本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
本申请通过AI图像识别模型识别用户设计的智能大屏显示效果的预设效果图，然后再将预设效果图对应的部署数据形成部署文件，通过识别预设效果图中的显示元素，并结合部署文件，自动调用界面生成系统中的组件实现自动部署组合，形成智能大屏，在智能大屏的开发过程可通过手绘预设效果图、更改预设效果图和部署文件，让用户参与到开发设计中，更能符合客户的要求；且可通过更改预设效果图，实现快速调整智能大屏的显示效果，不用重新发起开发流程，节省了开发流程和成本。
附图说明
图1 本申请一实施例的生成智能大屏的方法流程示意图；
图2 本申请一实施例的生成智能大屏的装置结构示意图；
图3 本申请一实施例的计算机设备内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例的生成智能大屏的方法，包括：
S1：获取部署文件对应的电子图片，其中，所述部署文件包括所述电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，所述电子图片通过影印智能大屏的预设效果图获得；
S2：通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息；
S3：根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏。
本实施例的电子图片通过摄像机拍摄智能大屏的布局设计的预设效果图得到，上述预设效果图为客户的手绘草稿图或者按照客户设计思维创作的草稿图。本申请通过扫描仪扫描智能大屏布局设计的预设效果图，得到电子图片。结合电子图片制作部署文件，使电子图片与部署文件建立一一对应关系，包括但不限于电子图片与部署文件的名称一一对应，电子图片与部署文件的各设计参数一一对应。上述部署文件为用户根据设计的预期效果，在预编写的代码架构下，通过填充各种部署数据或部署参数形成的配置文件。电子图片包括智能大屏中涉及的各显示元素以及各显示元素分别对应的特征信息，上述显示元素包括但不限于图表、图形或图线等构成智能大屏时所用的组成元素，特征信息包括但不限于显示元素的形状、大小尺寸以及在智能大屏中的显示位置等。本申请通过AI图像识别模型识别上述各显示元素以及各显示元素分别对应的特征信息，并转化为界面生成系统可识别的结构化数据。然后调用界面生成系统预先开发好的各种类别显示元素的生成组件，将各显示元素通过部署文件调用生成组件的方式，按照部署数据分别部署于显示界面，形成智能大屏。本申请通过AI图像识别模型识别用户设计的智能大屏显示效果的预设效果图，然后再将预设效果图对应的部署数据形成部署文件，通过识别预设效果图中的显示元素，并结合部署文件自动，自动调用界面生成系统中的组件实现自动部署，并组合形成智能大屏。在智能大屏的开发过程可通过更改预设效果图和部署文件，实现客户参与到开发过程中，大大降低界面设计开发的门槛，客户可以直接自行手工绘图设计，并直接快速的看到效果，再根据看到的实际效果进行调整预设效果图，缩短了开发流程和沟通成本。通过让用户参与到开发过程中，使得开发出的智能大屏的展示效果更贴近客户的设计需求，更能符合客户的要求；且可通过更改预设效果图，实现快速调整智能大屏的显示效果，不用重新发起开发流程，节省了开发流程和成本。
进一步地，所述特征信息包括显示元素的形状特征、显示元素处于所述电子图片的位置信息以及显示元素的尺寸信息，所述根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏的步骤S3，包括：
S31：根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件，其中，所述指定显示元素属于所述电子图片中的任意一个显示元素；
S32：根据所述指定显示元素的形状特征，确定所述显示组件的映射中心；
S33：根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置；
S34：通过所述部署文件将所述显示组件的映射中心嵌入所述指定显示元素位于所述显示界面的位置的中心处；
S35：根据所述指定显示元素的尺寸信息，调整所述指定显示元素，形成所述指定显示元素在所述显示界面的显示状态；
S36：根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏。
本申请首先根据AI图像识别模型识别到的显示元素的形状特征，从组件数据库中搜索与显示元素具有相同外形的显示组件，然后根据AI图像识别模型识别到的在预设效果图中的位置，根据预设效果图与智能大屏显示界面的缩放比例关系，确定该显示元素在显示界面的位置。然后通过该显示元素在显示界面的位置，与显示元素对应显示组件的几何映射中心一一对应的方式，将与显示元素相同的显示组件映射在显示界面的对应位置处。通过获取显示元素占比预设效果图的面积比例，得到显示元素的尺寸信息，并根据预设效果图与智能大屏显示界面的缩放比例关系，确定与该显示元素对应的显示组件在智能大屏显示界面中的显示区域。
进一步地，根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件的步骤S31，包括：
S311：获取所述AI图像识别模型识别所述指定显示元素后，输出的分类类别；
S312：根据所述分类类别从所述组件数据库中，调取与所述分类类别对应的组件数据组；
S313：从所述组件数据组中，获取与所述指定显示元素的形状特征相同的显示组件。
本实施例的AI图像识别模型包括分类器，可输出当前识别指定显示元素的分类类别，比如分类类别包括但不限于几何图形类、模型模具类、测试曲线类、化学结构类、物理结构类等。且对组件数据库中的显示组件通过分类类别分别存储，方便查找，且更贴合分类类别对应的领域内的应用需求，因为同为六边形，在不同领域应用时，六边形展现状态的要求各不同，包括线条粗细、有无阴影覆盖等等。通过把组件数据库中的显示组件分类别存储，更贴合不同领域客户的使用需求。
进一步地，所述预设效果图为绘制于网格纸的绘制图，所述网格纸通过多个相等面积的方形网格组合而成，所述根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置的步骤S33，包括：
S331：获取所述电子图片与所述显示界面之间的缩放比例；
S332：根据所述缩放比例以及所述显示界面的显示区域，确定所述指定显示元素对应的方形网格在所述显示区域的位置；
S333：将所述指定显示元素对应的方形网格在所述显示区域的位置，作为所述指定显示元素位于所述显示界面的位置。
本申请的缩放比例为预设效果图中，包括所有显示元素的最小矩形框面积，与显示界面的显示区域对应的矩形框面积的比值的开平方。比如预设效果图中所有显示元素对应的方形网格，组成最小矩形框，并通过缩放比例将上述最小矩形框映射于显示界面的显示区域，得到显示区域对应的矩形框，然后根据显示区域对应的矩形框的尺寸，构建两者一一对应的映射坐标系，以确定显示元素对应的每个方形网格，根据缩放比例映射到显示区域时，映射在显示区域对应的矩形框，刚好占据整个显示区域，上述显示区域为显示界面的部分或全部。本申请其他实施例中，可根据显示元素对应的方形网格组成的最小矩形框，根据方形网格一一对应映射关系，映射为智能大屏显示区域对应的矩形框，即对映射后的矩形框进行方形网格划分，并通过方形网格的位置，确定显示元素在显示区域的显示位置。本申请通过将预设效果图手绘在方形网格纸上，方便人工对齐并确定手绘显示元素的大小和位置。
进一步地，所述预设效果图至少包括两张，至少两张所述预设效果图合成一个智能大屏，所述根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏的步骤S36，包括：
S361：获取所述预设效果图的数量，以及至少两张所述预设效果图的组合方式；
S362：通过所述预设效果的数量以及所述组合方式，更新所述部署文件；
S363：根据所述部署文件获取指定预设效果图对应的指定显示区域，其中，所述指定预设效果图为所有预设效果图中的任意一个，所述指定显示区域包含于所述显示界面；
S364：将所述指定预设效果图中的所有显示元素，一一对应映射显示于所述指定显示区域，形成所述指定预设效果图在所述显示界面的映射图；
S365：根据所述指定预设效果图在所述指定显示区域的映射显示过程中，将所有所述预设效果图一一对应映射于所述显示界面，形成所有所述预设效果图对应的智能大屏。
本申请实施例中，可通过在部署文件中设置预设效果图的数量、预设效果图的组合方式等参量，将多张预设效果图对应映射于同一个显示界面中，实现多张手绘草稿图显示于同一个显示界面。每个预设效果图的显示元素在显示界面的显示过程同上，不赘述。本申请另一实施例中，通过对显示界面的尺寸限定，可实现同一张预设效果图在多个显示界面分屏显示，同样可通过在部署文件中的设置对应的布局参数实现，实现过程与上述将多张预设效果图对应映射于同一个显示界面中的原理相同，不赘述。
进一步地，所述特征信息包括显示元素处于所述电子图片的位置信息，所述通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息的步骤S2，包括：
S21：确定所述网格纸中与指定显示元素对应的指定方形网格，其中，所述指定显示元素为所述电子图片中的所有显示元素中的任一个，所述指定方形网格为所述指定显示元素所占用的方形网格；
S22：获取所述指定方形网格处于所述网格纸中的位置数据，其中，所述位置数据包括行位置和列位置；
S23：将所述指定方形网格的行位置和列位置，作为所述指定显示元素处于所述电子图片的位置信息。
本申请中以显示元素所占用的方形网格，所处最小矩形框中所有方形网格中的列数以及行数作为位置信息；将显示元素所占用的方形网格，占比最小矩形框中所有方形网格的数量占比，作为尺寸信息，使数据映射更精准、更简便。比如，最小矩形框为包括预设效果图中所有显示元素的最小尺寸方框，为5*5的方格纸，即由5行和5列的方形网格组成，显示元素为折线图，折线图横跨了第三列第四行的网格（3,4）以及第四列第四行的网格（4,4），则折线图的位置信息表示为{（3,4），（4,4）}，面积占比为2/25，并通过方形网格的一一对应映射关系，确定该折线图在显示区域的显示位置。对于未占满整个方形网格的部分，可通过对该未占满方形网格，进行细化分小方形网格，直到显示元素的末端刚好处于一整个小方形网格，以精准确定显示元素的位置信息。
进一步地，所述获取部署文件对应的电子图片的步骤S1之前，包括：
S11：将标注数据输入深度神经网络，在损失函数的约束下进行图像特征提取模型的训练，并通过softmax函数输出所述标注数据对应的分类类别，其中，所述标注数据为标注了图像特征的电子图片；
S12：判断所述损失函数是否收敛；
S13：若是，则结束训练，得到所述AI图像识别模型。
本申请的AI图像识别模型通过训练深度神经网络CNN得到。训练过程中先将图像通过卷积操作处理成256*256大小的张量，接着对张量进行卷积、全连接、池化操作，将张量映射为256维长度的向量，然后将向量再通过softmax函数进行数据处理，输出结果为各标注数据分别对应的图表类别，AI图像识别模型的模型训练过程中的损失函数为交叉熵损失函数。本申请的AI图像识别模型通过标注数据训练完毕后，可通过梯度下降算法进一步优化，提高图像分类的精准度。
本申请AI图像识别模型识别出来显示元素的相对位置、大小、方向和类型后，可自适应适配定义好尺寸的智能大屏，并使用默认颜色自动进行颜色填充。本申请通过把界面生成系统适配到IPad、手机、PC电脑端，方便用户随时随地进行智能大屏的开发和操作，支持用户通过IPad、手机、PC电脑端等智能终端进行智能大屏的效果展示，并进行手动微调，上述微调包括但不限于微调显示元素在智能大屏显示界面的显示位置、显示大小尺寸、显示颜色属性等,生成的微调后显示界面保存后，自动替换根据AI图像识别模型和界面生成系统自动形成的显示界面，得到最终展示的智能大屏。
参照图2，本申请一实施例的生成智能大屏的装置，包括：
获取模块1，用于获取部署文件对应的电子图片，其中，所述部署文件包括所述电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，所述电子图片通过影印智能大屏的预设效果图获得；
识别模块2，用于通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息；
部署模块3，用于根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏。
本实施例的电子图片通过摄像机拍摄智能大屏的布局设计的预设效果图得到，上述预设效果图为客户的手绘草稿图或者按照客户设计思维创作的草稿图。本申请通过扫描仪扫描智能大屏布局设计的预设效果图，得到电子图片。结合电子图片制作部署文件，使电子图片与部署文件建立一一对应关系，包括但不限于电子图片与部署文件的名称一一对应，电子图片与部署文件的名设计参数一一对应。上述部署文件为用户根据设计的预期效果，在预编写的代码架构下，通过填充各种部署数据或部署参数形成的配置文件。电子图片包括智能大屏中涉及的各显示元素以及各显示元素分别对应的特征信息，上述显示元素包括但不限于图表、图形或图线等构成智能大屏时所用的组成元素，特征信息包括但不限于显示元素的形状、大小尺寸以及在智能大屏中的显示位置等。本申请通过AI图像识别模型识别上述各显示元素以及各显示元素分别对应的特征信息，并转化为界面生成系统可识别的结构化数据。然后调用界面生成系统预先开发好的各种类别显示元素的生成组件，将各显示元素通过部署文件调用生成组件的方式，按照部署数据分别部署于显示界面，形成智能大屏。本申请通过AI图像识别模型识别用户设计的智能大屏显示效果的预设效果图，然后再将预设效果图对应的部署数据形成部署文件，通过识别预设效果图中的显示元素，并结合部署文件自动，自动调用界面生成系统中的组件实现自动部署，并组合形成智能大屏。在智能大屏的开发过程可通过更改预设效果图和部署文件，实现客户参与到开发过程中，大大降低界面设计开发的门槛，客户可以直接自行手工绘图设计，并直接快速的看到效果，再根据看到的实际效果进行调整预设效果图，缩短了开发流程和沟通成本。通过让用户参与到开发过程中，使得开发出的智能大屏的展示效果更贴近客户的设计需求，更能符合客户的要求；且可通过更改预设效果图，实现快速调整智能大屏的显示效果，不用重新发起开发流程，节省了开发流程和成本。
进一步地，所述特征信息包括显示元素的形状特征、显示元素处于所述电子图片的位置信息以及显示元素的尺寸信息，部署模块3，包括：
获取单元，用于根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件，其中，所述指定显示元素属于所述电子图片中的任意一个显示元素；
第一确定单元，用于根据所述指定显示元素的形状特征，确定所述显示组件的映射中心；
第二确定单元，用于根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置；
嵌入单元，用于通过所述部署文件将所述显示组件的映射中心嵌入所述指定显示元素位于所述显示界面的位置的中心处；
调整单元，用于根据所述指定显示元素的尺寸信息，调整所述指定显示元素，形成所述指定显示元素在所述显示界面的显示状态；
组合单元，用于根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏。
本申请首先根据AI图像识别模型识别到的显示元素的形状特征，从组件数据库中搜索与显示元素具有相同外形的显示组件，然后根据AI图像识别模型识别到的在预设效果图中的位置，根据预设效果图与智能大屏显示界面的缩放比例关系，确定该显示元素在显示界面的位置。然后通过该显示元素在显示界面的位置，与显示元素对应显示组件的几何映射中心一一对应的方式，将与显示元素相同的显示组件映射在显示界面的对应位置处。通过获取显示元素占比预设效果图的面积比例，得到显示元素的尺寸信息，并根据预设效果图与智能大屏显示界面的缩放比例关系，确定与该显示元素对应的显示组件在智能大屏显示界面中的显示区域。
进一步地，获取单元，包括：
输出子单元，用于获取所述AI图像识别模型识别所述指定显示元素后，输出的分类类别；
调取子单元，用于根据所述分类类别从所述组件数据库中，调取与所述分类类别对应的组件数据组；
第一获取子单元，用于从所述组件数据组中，获取与所述指定显示元素的形状特征相同的显示组件。
本实施例的AI图像识别模型包括分类器，可输出当前识别指定显示元素的分类类别，比如分类类别包括但不限于几何图形类、模型模具类、测试曲线类、化学结构类、物理结构类等。且对组件数据库中的显示组件通过分类类别分别存储，方便查找，且更贴合分类类别对应的领域内的应用需求，因为同为六边形，在不同领域应用时，六边形展现状态的要求各不同，包括线条粗细、有无阴影覆盖等等。通过把组件数据库中的显示组件分类别存储，更贴合不同领域客户的使用需求。
进一步地，所述预设效果图为绘制于网格纸的绘制图，所述网格纸通过多个相等面积的方形网格组合而成，第二确定单元，包括：
第二获取子单元，用于获取所述电子图片与所述显示界面之间的缩放比例；
第一确定子单元，用于根据所述缩放比例以及所述显示界面的显示区域，确定所述指定显示元素对应的方形网格在所述显示区域的位置；
第一作为子单元，用于将所述指定显示元素对应的方形网格在所述显示区域的位置，作为所述指定显示元素位于所述显示界面的位置。
本申请的缩放比例为预设效果图中，包括所有显示元素的最小矩形框面积，与显示界面的显示区域对应的矩形框面积的比值的开平方。比如预设效果图中所有显示元素对应的方形网格，组成最小矩形框，并通过缩放比例将上述最小矩形框映射于显示界面的显示区域，得到显示区域对应的矩形框，然后根据显示区域对应的矩形框的尺寸，构建两者一一对应的映射坐标系，以确定显示元素对应的每个方形网格，根据缩放比例映射到显示区域时，映射在显示区域对应的矩形框，刚好占据整个显示区域，上述显示区域为显示界面的部分或全部。本申请其他实施例中，可根据显示元素对应的方形网格组成的最小矩形框，根据方形网格一一对应映射关系，映射为智能大屏显示区域对应的矩形框，即对映射后的矩形框进行方形网格划分，并通过方形网格的位置，确定显示元素在显示区域的显示位置。本申请通过将预设效果图手绘在方形网格纸上，方便人工对齐并确定手绘显示元素的大小和位置。
进一步地，所述预设效果图至少包括两张，至少两张所述预设效果图合成一个智能大屏，组合单元，包括：
第三获取子单元，用于获取所述预设效果图的数量，以及至少两张所述预设效果图的组合方式；
更新子单元，用于通过所述预设效果的数量以及所述组合方式，更新所述部署文件；
第四获取子单元，用于根据所述部署文件获取指定预设效果图对应的指定显示区域，其中，所述指定预设效果图为所有预设效果图中的任意一个，所述指定显示区域包含于所述显示界面；
映射子单元，用于将所述指定预设效果图中的所有显示元素，一一对应映射显示于所述指定显示区域，形成所述指定预设效果图在所述显示界面的映射图；
形成子单元，用于根据所述指定预设效果图在所述指定显示区域的映射显示过程中，将所有所述预设效果图一一对应映射于所述显示界面，形成所有所述预设效果图对应的智能大屏。
本申请实施例中，可通过在部署文件中设置预设效果图的数量、预设效果图的组合方式等参量，将多张预设效果图对应映射于同一个显示界面中，实现多张手绘草稿图显示于同一个显示界面。每个预设效果图的显示元素在显示界面的显示过程同上，不赘述。本申请另一实施例中，通过对显示界面的尺寸限定，可实现同一张预设效果图在多个显示界面分屏显示，同样可通过在部署文件中的设置对应的布局参数实现，实现过程与上述将多张预设效果图对应映射于同一个显示界面中的原理相同，不赘述。
进一步地，所述特征信息包括显示元素处于所述电子图片的位置信息，识别模块2，包括：
第二确定子单元，用于确定所述网格纸中与指定显示元素对应的指定方形网格，其中，所述指定显示元素为所述电子图片中的所有显示元素中的任一个，所述指定方形网格为所述指定显示元素所占用的方形网格；
第五获取子单元，用于获取所述指定方形网格处于所述网格纸中的位置数据，其中，所述位置数据包括行位置和列位置；
第二作为子单元，用于将所述指定方形网格的行位置和列位置，作为所述指定显示元素处于所述电子图片的位置信息。
本申请中以显示元素所占用的方形网格，所处最小矩形框中所有方形网格中的列数以及行数作为位置信息；将显示元素所占用的方形网格，占比最小矩形框中所有方形网格的数量占比，作为尺寸信息，使数据映射更精准、更简便。比如，最小矩形框为包括预设效果图中所有显示元素的最小尺寸方框，为5*5的方格纸，即由5行和5列的方形网格组成，显示元素为折线图，折线图横跨了第三列第四行的网格（3,4）以及第四列第四行的网格（4,4），则折线图的位置信息表示为{（3,4），（4,4）}，面积占比为2/25，并通过方形网格的一一对应映射关系，确定该折线图在显示区域的显示位置。对于未占满整个方形网格的部分，可通过对该未占满方形网格，进行细化分小方形网格，直到显示元素的末端刚好处于一整个小方形网格，以精准确定显示元素的位置信息。
进一步地，生成智能大屏的装置，包括：
输入模块，用于将标注数据输入深度神经网络，在损失函数的约束下进行图像特征提取模型的训练，并通过softmax函数输出所述标注数据对应的分类类别，其中，所述标注数据为标注了图像特征的电子图片；
判断模块，用于判断所述损失函数是否收敛；
得到模块，用于若损失函数收敛，则结束训练，得到所述AI图像识别模型。
本申请的AI图像识别模型通过训练深度神经网络CNN得到。训练过程中先将图像通过卷积操作处理成256*256大小的张量，接着对张量进行卷积、全连接、池化操作，将张量映射为256维长度的向量，然后将向量再通过softmax函数进行数据处理，输出结果为各标注数据分别对应的图表类别，AI图像识别模型的模型训练过程中的损失函数为交叉熵损失函数。本申请的AI图像识别模型通过标注数据训练完毕后，可通过梯度下降算法进一步优化，提高图像分类的精准度。
本申请AI图像识别模型识别出来显示元素的相对位置、大小、方向和类型后，可自适应适配定义好尺寸的智能大屏，并使用默认颜色自动进行颜色填充。本申请通过把界面生成系统适配到IPad、手机、PC电脑端，方便用户随时随地进行智能大屏的开发和操作，支持用户通过IPad、手机、PC电脑端等智能终端进行智能大屏的效果展示，并进行手动微调，上述微调包括但不限于微调显示元素在智能大屏显示界面的显示位置、显示大小尺寸、显示颜色属性等,生成的微调后显示界面保存后，自动替换根据AI图像识别模型和界面生成系统自动形成的显示界面，得到最终展示的智能大屏。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储生成智能大屏的过程需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现生成智能大屏的方法。
上述处理器执行上述生成智能大屏的方法，包括：获取部署文件对应的电子图片，其中，所述部署文件包括所述电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，所述电子图片通过影印智能大屏的预设效果图获得；通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息；根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏。
上述计算机设备，通过AI图像识别模型识别用户设计的智能大屏显示效果的预设效果图，然后再将预设效果图对应的部署数据形成部署文件，通过识别预设效果图中的显示元素，并结合部署文件，自动调用界面生成系统中的组件实现自动部署组合，形成智能大屏，在智能大屏的开发过程可通过手绘预设效果图、更改预设效果图和部署文件，让用户参与到开发设计中，更能符合客户的要求；且可通过更改预设效果图，实现快速调整智能大屏的显示效果，不用重新发起开发流程，节省了开发流程和成本。
在一个实施例中，所述特征信息包括显示元素的形状特征、显示元素处于所述电子图片的位置信息以及显示元素的尺寸信息，上述处理器根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏的步骤，包括：根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件，其中，所述指定显示元素属于所述电子图片中的任意一个显示元素；根据所述指定显示元素的形状特征，确定所述显示组件的映射中心；根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置；通过所述部署文件将所述显示组件的映射中心嵌入所述指定显示元素位于所述显示界面的位置的中心处；根据所述指定显示元素的尺寸信息，调整所述指定显示元素，形成所述指定显示元素在所述显示界面的显示状态；根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏。
在一个实施例中，上述处理器根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件的步骤，包括：获取所述AI图像识别模型识别所述指定显示元素后，输出的分类类别；根据所述分类类别从所述组件数据库中，调取与所述分类类别对应的组件数据组；从所述组件数据组中，获取与所述指定显示元素的形状特征相同的显示组件。
在一个实施例中，所述预设效果图为绘制于网格纸的绘制图，所述网格纸通过多个相等面积的方形网格组合而成，上述处理器根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置的步骤，包括：获取所述电子图片与所述显示界面之间的缩放比例；根据所述缩放比例以及所述显示界面的显示区域，确定所述指定显示元素对应的方形网格在所述显示区域的位置；将所述指定显示元素对应的方形网格在所述显示区域的位置，作为所述指定显示元素位于所述显示界面的位置。
在一个实施例中，所述预设效果图至少包括两张，至少两张所述预设效果图合成一个智能大屏，上述处理器根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏的步骤，包括：获取所述预设效果图的数量，以及至少两张所述预设效果图的组合方式；通过所述预设效果的数量以及所述组合方式，更新所述部署文件；根据所述部署文件获取指定预设效果图对应的指定显示区域，其中，所述指定预设效果图为所有预设效果图中的任意一个，所述指定显示区域包含于所述显示界面；将所述指定预设效果图中的所有显示元素，一一对应映射显示于所述指定显示区域，形成所述指定预设效果图在所述显示界面的映射图；根据所述指定预设效果图在所述指定显示区域的映射显示过程中，将所有所述预设效果图一一对应映射于所述显示界面，形成所有所述预设效果图对应的智能大屏。
在一个实施例中，所述特征信息包括显示元素处于所述电子图片的位置信息，上述处理器通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息的步骤，包括：确定所述网格纸中与指定显示元素对应的指定方形网格，其中，所述指定显示元素为所述电子图片中的所有显示元素中的任一个，所述指定方形网格为所述指定显示元素所占用的方形网格；获取所述指定方形网格处于所述网格纸中的位置数据，其中，所述位置数据包括行位置和列位置；将所述指定方形网格的行位置和列位置，作为所述指定显示元素处于所述电子图片的位置信息。
在一个实施例中，上述处理器获取部署文件对应的电子图片的步骤之前，包括：将标注数据输入深度神经网络，在损失函数的约束下进行图像特征提取模型的训练，并通过softmax函数输出所述标注数据对应的分类类别，其中，所述标注数据为标注了图像特征的电子图片；判断所述损失函数是否收敛；若是，则结束训练，得到所述AI图像识别模型。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现生成智能大屏的方法，包括：获取部署文件对应的电子图片，其中，所述部署文件包括所述电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，所述电子图片通过影印智能大屏的预设效果图获得；通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息；根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏。
上述计算机可读存储介质，通过AI图像识别模型识别用户设计的智能大屏显示效果的预设效果图，然后再将预设效果图对应的部署数据形成部署文件，通过识别预设效果图中的显示元素，并结合部署文件，自动调用界面生成系统中的组件实现自动部署组合，形成智能大屏，在智能大屏的开发过程可通过手绘预设效果图、更改预设效果图和部署文件，让用户参与到开发设计中，更能符合客户的要求；且可通过更改预设效果图，实现快速调整智能大屏的显示效果，不用重新发起开发流程，节省了开发流程和成本。
在一个实施例中，所述特征信息包括显示元素的形状特征、显示元素处于所述电子图片的位置信息以及显示元素的尺寸信息，上述处理器根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏的步骤，包括：根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件，其中，所述指定显示元素属于所述电子图片中的任意一个显示元素；根据所述指定显示元素的形状特征，确定所述显示组件的映射中心；根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置；通过所述部署文件将所述显示组件的映射中心嵌入所述指定显示元素位于所述显示界面的位置的中心处；根据所述指定显示元素的尺寸信息，调整所述指定显示元素，形成所述指定显示元素在所述显示界面的显示状态；根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏。
在一个实施例中，上述处理器根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件的步骤，包括：获取所述AI图像识别模型识别所述指定显示元素后，输出的分类类别；根据所述分类类别从所述组件数据库中，调取与所述分类类别对应的组件数据组；从所述组件数据组中，获取与所述指定显示元素的形状特征相同的显示组件。
在一个实施例中，所述预设效果图为绘制于网格纸的绘制图，所述网格纸通过多个相等面积的方形网格组合而成，上述处理器根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置的步骤，包括：获取所述电子图片与所述显示界面之间的缩放比例；根据所述缩放比例以及所述显示界面的显示区域，确定所述指定显示元素对应的方形网格在所述显示区域的位置；将所述指定显示元素对应的方形网格在所述显示区域的位置，作为所述指定显示元素位于所述显示界面的位置。
在一个实施例中，所述预设效果图至少包括两张，至少两张所述预设效果图合成一个智能大屏，上述处理器根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏的步骤，包括：获取所述预设效果图的数量，以及至少两张所述预设效果图的组合方式；通过所述预设效果的数量以及所述组合方式，更新所述部署文件；根据所述部署文件获取指定预设效果图对应的指定显示区域，其中，所述指定预设效果图为所有预设效果图中的任意一个，所述指定显示区域包含于所述显示界面；将所述指定预设效果图中的所有显示元素，一一对应映射显示于所述指定显示区域，形成所述指定预设效果图在所述显示界面的映射图；根据所述指定预设效果图在所述指定显示区域的映射显示过程中，将所有所述预设效果图一一对应映射于所述显示界面，形成所有所述预设效果图对应的智能大屏。
在一个实施例中，所述特征信息包括显示元素处于所述电子图片的位置信息，上述处理器通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息的步骤，包括：确定所述网格纸中与指定显示元素对应的指定方形网格，其中，所述指定显示元素为所述电子图片中的所有显示元素中的任一个，所述指定方形网格为所述指定显示元素所占用的方形网格；获取所述指定方形网格处于所述网格纸中的位置数据，其中，所述位置数据包括行位置和列位置；将所述指定方形网格的行位置和列位置，作为所述指定显示元素处于所述电子图片的位置信息。
在一个实施例中，上述处理器获取部署文件对应的电子图片的步骤之前，包括：将标注数据输入深度神经网络，在损失函数的约束下进行图像特征提取模型的训练，并通过softmax函数输出所述标注数据对应的分类类别，其中，所述标注数据为标注了图像特征的电子图片；判断所述损失函数是否收敛；若是，则结束训练，得到所述AI图像识别模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种生成智能大屏的方法，其特征在于，包括：
获取部署文件对应的电子图片，其中，所述部署文件包括所述电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，所述电子图片通过影印智能大屏的预设效果图获得；
通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息；
根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏。
2.根据权利要求1所述的生成智能大屏的方法，其特征在于，所述特征信息包括显示元素的形状特征、显示元素处于所述电子图片的位置信息以及显示元素的尺寸信息，所述根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏的步骤，包括：
根据指定显示元素的形状特征，从预关联的组件数据库中获取与指定显示元素的形状特征相同的显示组件，其中，所述指定显示元素属于所述电子图片中的任意一个显示元素；
根据所述指定显示元素的形状特征，确定所述显示组件的映射中心；
根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置；
通过所述部署文件将所述显示组件的映射中心嵌入所述指定显示元素位于所述显示界面的位置的中心处；
根据所述指定显示元素的尺寸信息，调整所述指定显示元素，形成所述指定显示元素在所述显示界面的显示状态；
根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏。
3.根据权利要求2所述的生成智能大屏的方法，其特征在于，所述根据指定显示元素的形状特征，从所述预关联的组件数据库中获取与所述指定显示元素的形状特征相同的显示组件的步骤，包括：
获取所述AI图像识别模型识别所述指定显示元素后，输出的分类类别；
根据所述分类类别从所述组件数据库中，调取与所述分类类别对应的组件数据组；
从所述组件数据组中，获取与所述指定显示元素的形状特征相同的显示组件。
4.根据权利要求2所述的生成智能大屏的方法，其特征在于，所述预设效果图为绘制于网格纸的绘制图，所述网格纸通过多个相等面积的方形网格组合而成，所述根据所述指定显示元素处于所述电子图片的位置信息，确定所述指定显示元素位于所述显示界面的位置的步骤，包括：
获取所述电子图片与所述显示界面之间的缩放比例；
根据所述缩放比例以及所述显示界面的显示区域，确定所述指定显示元素对应的方形网格在所述显示区域的位置；
将所述指定显示元素对应的方形网格在所述显示区域的位置，作为所述指定显示元素位于所述显示界面的位置。
5.根据权利要求2所述的生成智能大屏的方法，其特征在于，所述预设效果图至少包括两张，至少两张所述预设效果图合成一个智能大屏，所述根据所述指定显示元素在所述显示界面的组合过程，分别在所述显示界面组合所述电子图片中包括的所有显示元素，形成所述智能大屏的步骤，包括：
获取所述预设效果图的数量，以及至少两张所述预设效果图的组合方式；
通过所述预设效果的数量以及所述组合方式，更新所述部署文件；
根据所述部署文件获取指定预设效果图对应的指定显示区域，其中，所述指定预设效果图为所有预设效果图中的任意一个，所述指定显示区域包含于所述显示界面；
将所述指定预设效果图中的所有显示元素，一一对应映射显示于所述指定显示区域，形成所述指定预设效果图在所述显示界面的映射图；
根据所述指定预设效果图在所述指定显示区域的映射显示过程中，将所有所述预设效果图一一对应映射于所述显示界面，形成所有所述预设效果图对应的智能大屏。
6.根据权利要求1所述的生成智能大屏的方法，其特征在于，所述预设效果图为绘制于网格纸的绘制图，所述网格纸通过多个相等面积的方形网格组合而成，所述特征信息包括显示元素处于所述电子图片的位置信息，所述通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息的步骤，包括：
确定所述网格纸中与指定显示元素对应的指定方形网格，其中，所述指定显示元素为所述电子图片中的所有显示元素中的任一个，所述指定方形网格为所述指定显示元素所占用的方形网格；
获取所述指定方形网格处于所述网格纸中的位置数据，其中，所述位置数据包括行位置和列位置；
将所述指定方形网格的行位置和列位置，作为所述指定显示元素处于所述电子图片的位置信息。
7.根据权利要求1所述的生成智能大屏的方法，其特征在于，所述获取部署文件对应的电子图片的步骤之前，包括：
将标注数据输入深度神经网络，在损失函数的约束下进行图像特征提取模型的训练，并通过softmax函数输出所述标注数据对应的分类类别，其中，所述标注数据为标注了图像特征的电子图片；
判断所述损失函数是否收敛；
若是，则结束训练，得到所述AI图像识别模型。
8.一种生成智能大屏的装置，其特征在于，包括：
获取模块，用于获取部署文件对应的电子图片，其中，所述部署文件包括所述电子图片中涉及的各显示元素分别部署于智能大屏中时对应的部署数据，所述电子图片通过影印智能大屏的预设效果图获得；
识别模块，用于通过AI图像识别模型识别所述电子图片中的各所述显示元素分别对应的特征信息；
部署模块，用于根据各所述显示元素分别对应的特征信息，通过界面生成系统依据所述部署数据，将各所述显示元素通过所述部署文件分别部署于显示界面上，形成与所述预设效果图相同的所述智能大屏。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010905285.9A 2020-09-01 2020-09-01 生成智能大屏的方法、装置和计算机设备 Active CN111767054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010905285.9A CN111767054B (zh) 2020-09-01 2020-09-01 生成智能大屏的方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010905285.9A CN111767054B (zh) 2020-09-01 2020-09-01 生成智能大屏的方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN111767054A true CN111767054A (zh) 2020-10-13
CN111767054B CN111767054B (zh) 2020-12-22

Family

ID=72729635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010905285.9A Active CN111767054B (zh) 2020-09-01 2020-09-01 生成智能大屏的方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN111767054B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363721A (zh) * 2020-10-27 2021-02-12 北京达佳互联信息技术有限公司 用户界面的处理方法和装置
CN115221452A (zh) * 2022-09-19 2022-10-21 广东省信息工程有限公司 基于可视化配置的门户构建方法、系统、电子设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170168676A1 (en) * 2015-12-10 2017-06-15 International Business Machines Corporation Auditing icons via image recognition to provide individualized assets to software project teams
CN108897541A (zh) * 2018-07-03 2018-11-27 腾讯科技（深圳）有限公司 应用程序的视觉还原方法、装置、存储介质及终端
CN110457020A (zh) * 2019-07-05 2019-11-15 苏宁云计算有限公司 用户界面生成工具的生成方法、装置和计算机设备
US20200097268A1 (en) * 2018-09-21 2020-03-26 Salesforce.Com, Inc. Application builder with connected components
CN111190595A (zh) * 2019-12-23 2020-05-22 平安国际智慧城市科技股份有限公司 基于界面设计图自动生成界面代码的方法、装置、介质及电子设备
CN111208998A (zh) * 2019-12-27 2020-05-29 深圳力维智联技术有限公司 数据可视化大屏自动布局的方法、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170168676A1 (en) * 2015-12-10 2017-06-15 International Business Machines Corporation Auditing icons via image recognition to provide individualized assets to software project teams
US10613707B2 (en) * 2015-12-10 2020-04-07 International Business Machines Corporation Auditing icons via image recognition to provide individualized assets to software project teams
CN108897541A (zh) * 2018-07-03 2018-11-27 腾讯科技（深圳）有限公司 应用程序的视觉还原方法、装置、存储介质及终端
US20200097268A1 (en) * 2018-09-21 2020-03-26 Salesforce.Com, Inc. Application builder with connected components
CN110457020A (zh) * 2019-07-05 2019-11-15 苏宁云计算有限公司 用户界面生成工具的生成方法、装置和计算机设备
CN111190595A (zh) * 2019-12-23 2020-05-22 平安国际智慧城市科技股份有限公司 基于界面设计图自动生成界面代码的方法、装置、介质及电子设备
CN111208998A (zh) * 2019-12-27 2020-05-29 深圳力维智联技术有限公司 数据可视化大屏自动布局的方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363721A (zh) * 2020-10-27 2021-02-12 北京达佳互联信息技术有限公司 用户界面的处理方法和装置
CN115221452A (zh) * 2022-09-19 2022-10-21 广东省信息工程有限公司 基于可视化配置的门户构建方法、系统、电子设备及介质

Also Published As

Publication number Publication date
CN111767054B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN106778928B (zh) 图像处理方法及装置
CN111767054B (zh) 生成智能大屏的方法、装置和计算机设备
CN109117760B (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN110780873B (zh) 界面颜色适配方法、装置、计算机设备及存储介质
CN109522975A (zh) 手写样本生成方法、装置、计算机设备及存储介质
CN112446302B (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
CN110689480B (zh) 一种图像变换方法及装置
CN110287836B (zh) 图像分类方法、装置、计算机设备和存储介质
CN109493400A (zh) 手写样本生成方法、装置、计算机设备及存储介质
KR20200071031A (ko) 인공신경망 기반의 작가 스타일에 따른 영상 변형 시스템 및 방법
CN111208998B (zh) 数据可视化大屏自动布局的方法、装置及存储介质
CN107844774A (zh) 图像显示的选择方法、装置、智能终端及存储介质
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
CN110147833A (zh) 人像处理方法、装置、系统和可读存储介质
CN112200844A (zh) 生成图像的方法、装置、电子设备及介质
CN110737687A (zh) 数据查询方法、装置、设备及存储介质
CN109934926B (zh) 模型数据处理方法、装置、可读存储介质和设备
CN116580127A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN108876713B (zh) 二维模板图像的映射方法、装置、终端设备和存储介质
CN110837571A (zh) 照片分类方法、终端设备及计算机可读存储介质
CN114004906A (zh) 图像配色方法、装置、存储介质及电子设备
CN115730363A (zh) 基于神经网络的套内布局辅助设计方法、装置、设备
CN110428360B (zh) 汽车图像美化方法、设备、存储介质及装置
CN110473272B (zh) 基于图像的油画生成方法、装置、电子设备及存储介质
CN109801345B (zh) 一种基于神经网络的原画线稿辅助绘制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method, device and computer equipment for generating intelligent large screen

Effective date of registration: 20210429

Granted publication date: 20201222

Pledgee: Shenzhen hi tech investment small loan Co.,Ltd.

Pledgor: Ping An International Smart City Technology Co.,Ltd.

Registration number: Y2021980003211

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230206

Granted publication date: 20201222

Pledgee: Shenzhen hi tech investment small loan Co.,Ltd.

Pledgor: Ping An International Smart City Technology Co.,Ltd.

Registration number: Y2021980003211

PC01 Cancellation of the registration of the contract for pledge of patent right