CN115587073B - 图像存储方法、装置、电子设备及可读存储介质 - Google Patents

图像存储方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115587073B
CN115587073B CN202211487089.XA CN202211487089A CN115587073B CN 115587073 B CN115587073 B CN 115587073B CN 202211487089 A CN202211487089 A CN 202211487089A CN 115587073 B CN115587073 B CN 115587073B
Authority
CN
China
Prior art keywords
cargo
depth
image
initial
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211487089.XA
Other languages
English (en)
Other versions
CN115587073A (zh
Inventor
尤赟
谢骏
曾锴
李吉
范杰
陶涛
王谦
王睿思
杨熠君
古铭威
彭成东
陈宝华
邓磊
牛辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tsingh Technology Co ltd
China Foreign Transport Co ltd
Original Assignee
Beijing Tsingh Technology Co ltd
China Foreign Transport Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tsingh Technology Co ltd, China Foreign Transport Co ltd filed Critical Beijing Tsingh Technology Co ltd
Priority to CN202211487089.XA priority Critical patent/CN115587073B/zh
Publication of CN115587073A publication Critical patent/CN115587073A/zh
Application granted granted Critical
Publication of CN115587073B publication Critical patent/CN115587073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像存储方法、装置、电子设备及可读存储介质，涉及图像存储技术领域，包括：根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；根据初始货物图像确定初始装载货物的初始深度值，以根据初始深度值确定初始货物图像相关的初始深度层级；根据货物装载位置从待拍摄相机所获取的中间货物图像中确定目标货物图像；以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像。本发明能够使得工作人员在快速回溯或海关检查时节约时间成本，方便后期查验，提高工作效率。

Description

图像存储方法、装置、电子设备及可读存储介质
技术领域
本发明涉及图像存储技术领域，尤其涉及一种图像存储方法、装置、电子设备及可读存储介质。
背景技术
目前现有技术中主要通过装箱系统中附加三维可视化算法，形成装箱优化系统，对装载方案进行优化，例如装箱大师、装柜专家等装箱优化软件，而三维装箱算法主要利用启发式算法和遗传算法相结合的方式进行开发，目的是对各类货物的装箱过程实现可视化管理，从而优化货物的装载结果。
然而现有的三维可视化装箱系统，其主要是对货物的装载过程进行指导操作，优化货物的装载结果，并不能对货物的装载结果进行图像或视频留证，在需要对货物信息进行回溯时，还是需要通过记录装载方案的文档资料进行查找，无法快速获取目标货物相对应的图像，这对人力资源和运输时间都是很大的消耗，从根本上增加了货物的运输成本。
发明内容
本发明提供一种图像存储方法、装置、电子设备及可读存储介质，用以解决现有技术中无法根据货物的深度信息将货物的装箱图像进行存储的技术方案，本发明能够实节约货物回溯时的时间成本，方便后期查验，提高工作人员的工作效率。
第一方面，本发明提供了一种图像存储方法，包括：
在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；
根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级；
在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像；
以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像；
所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
根据本发明提供的一种图像存储方法，所述根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，包括：
在所述初始装载货物深度大于或等于所述第一预设深度的情况下，选择所述宽基线双目相机作为所述待拍摄相机；
在所述初始装载货物深度小于所述第一预设深度的情况下，选择所述窄基线双目相机作为所述待拍摄相机。
根据本发明提供的一种图像存储方法，在所述待拍摄相机为宽基线双目相机的情况下，还包括：
在装载货物的中间阶段，在当前装载货物深度大于或等于所述第一预设深度的情况下，维持所述待拍摄相机为宽基线双目相机；
在当前装载货物深度小于所述第一预设深度的情况下，将所述待拍摄相机从宽基线双目相机切换至窄基线双目相机。
根据本发明提供的一种图像存储方法，所述根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像，包括：
在任一中间货物图像中的目标货物位于货物装载位置的情况下，确定所述中间货物图像为目标货物图像；
剔除所有与所述货物装载位置相关的中间货物图像；
遍历所有货物装载位置，直至确定每一目标货物图像。
根据本发明提供的一种图像存储方法，所述根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，包括：
在第一深度值与第二深度值的差值小于第二预设深度的情况下，确定第一目标货物与第二目标货物处于同一深度层级，以根据上一张目标货物图像的深度层级标记当前目标货物图像的深度层级；
在第一深度值与第二深度值的差值大于或等于第二预设深度的情况下，创建下一深度层级，并将所述第二目标货物所对应的当前目标货物图像标记为下一深度层级；
所述第一深度值是根据所述待拍摄相机识别上一张目标货物图像中第一目标货物而确定的；
所述第二深度值是根据所述待拍摄相机识别当前目标货物图像中的第二目标货物而确定的。
根据本发明提供的一种图像存储方法，在所述待拍摄相机为宽基线双目相机的情况下，还包括：
根据所述宽基线双目相机获取深度货物图像；
输入所述深度货物图像至深度估计模型，以获取初始货物图像；或中间货物图像；
所述深度估计模型是根据样本估计图像以及样本货物图像训练而确定的。
根据本发明提供的一种图像存储方法，在根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像之前，还包括：
根据语音分割模型处理所述待拍摄相机所获取的待处理货物图像，以根据预设标注框，获取中间货物图像；
所述预设标注框是根据装载工人图像而确定的；
所述中间货物图像为剔除装载工人图像后的待处理货物图像。
第二方面，还提供了一种图像存储装置，包括：
获取单元：用于在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；
第一确定单元：用于根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级；
第二确定单元：用于在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像；
存储单元：用于以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像；
所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
第三方面，还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的图像存储方法。
第四方面，还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的图像存储方法。
本发明提供了一种图像存储方法、装置、电子设备及可读存储介质，不仅能够根据初始装载货物深度与第一预设深度的相对关系选择合适精准度的待拍摄相机进行装载图像获取，还能够确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像，本发明通过对货物图像进行精确估计，根据货物的深度信息确定每一货物所在层数，最后形成带有深度层级信息的货物序列图像，并进行存储备用，从而使得工作人员在快速回溯或海关检查时能够节约时间成本，方便后期查验，提高工作效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种图像存储方法的流程示意图之一；
图2是本发明提供的选择待拍摄相机的流程示意图；
图3是本发明提供的一种图像存储方法的流程示意图之二；
图4是本发明提供的确定目标货物图像的流程示意图；
图5是本发明提供的确定每一目标货物所在深度层级的流程示意图；
图6是本发明提供的一种图像存储方法的流程示意图之三；
图7是本发明提供的一种图像存储装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着物流业的快速发展，物流技术的应用和研究受到越来越多的重视。产品的配送效率成为影响物流成本和竞争力的重要因素。集装箱配载优化布局作为物流配送过程中的一个关键性技术，对提高配送业务的自动化水平，提高配送业务的工作效率和规范业务流程等方面都有重要意义。
在货物装箱的过程中，要使得装载效率提升，必须有效地优化工作人员的操作流程。目前，工作人员参考装载方案对货物进行装箱后，若需要查验货物，或快速检索某一货物的位置信息，唯一可以查找的凭证是表格或文档形式的货物装载方案，但装载方案信息量较大，无法快速得到所需的货物信息，这会极大地消耗货物运输时间，进而提高物流成本。
为了解决上述技术问题，本发明通过四目相机与深度估计算法，在货物装箱过程中实时拍摄已装载货物图像，能够对常见规格集装箱装箱过程进行留证，以带有深度信息的序列图像形式存储装箱信息，以备海关检索和快速查验。
图1是本发明提供的一种图像存储方法的流程示意图之一，本发明提供了一种图像存储方法，包括：
在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；
根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级；
在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像；
以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像；
所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
在步骤101中，所述装载货物的开始阶段为装载工人开始进行装箱操作，而待拍摄相机开始拍摄工作的阶段，在此阶段下，根据初始装载货物深度与第一预设深度的相对关系选择宽基线双目相机或者窄基线双目相机，例如，在初始装载货物深度距离待拍摄相机较远时，则可选地，采用宽基线双目相机，而在初始装载货物深度距离待拍摄相机较近时采用窄基线双目相机，进而根据不同的待拍摄相机，获取初始货物图像。
在步骤102中，根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级，所述待拍摄相机为深度相机，其能够确定货物的深度值，进而根据所述初始货物图像确定初始装载货物的初始深度值，在确定初始装载货物的初始深度值后，由于在装箱过程中，一般在车厢尾部安装深度相机对货物装箱过程进行实时拍照记录，并回传给服务器。
故在一个可选地实施例中，采取从远至近的装箱顺序对货物进行装箱操作，此时待拍摄相机所拍摄的初始装载货物的初始深度值为距离待拍摄相机最远处的货物，在最远处的货物装满后，再依次由远及近的填装，故根据所述初始深度值确定初始货物图像相关的初始深度层级，所述初始深度层级可以设置为1级，而在当前层级装满后，再设置第二深度层级为2级，所述第二深度层级相对于初始深度层级而言，距离待拍摄相机较近，以此类推，直至将车厢装满。
在步骤103中，在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像，所述装载货物的中间阶段即为货物在车厢内装载的过程，此时，待拍摄相机根据一定频率实时拍摄装箱图像，进而可能会拍摄出带有某一目标货物图像的多张中间货物图像，然而对于每一装载工人进行装箱操作时所填装的货物，只需要其中一张最为清晰的图像即可，故本步骤的目的是从所述待拍摄相机所获取的中间货物图像中确定目标货物图像，以更容易的实现不同的货物是否处于同一深度条件下的充分比较。
在步骤104中，以初始深度层级相关的初始货物图像作为遍历起始点，依次进行每一目标货物图像的比对，比对相邻目标货物中的当前目标货物的深度值是否与上一张目标货物图像中的货物深度值处于同一深度，若处于同一深度，则根据上一张目标货物图像的深度层级确定当前目标货物图像的深度层级，若不处于同一深度，则认为其处于下一层级深度，即装载工人以将上一层级深度的空间填充满，则由远及近的填充下一层级，此时，即需要确定下一深度层级，故本发明能够以初始深度层级相关的初始货物图像作为遍历起始点，判断相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像。
可选地，在根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像之前，还包括：
根据语音分割模型处理所述待拍摄相机所获取的待处理货物图像，以根据预设标注框，获取中间货物图像；
所述预设标注框是根据装载工人图像而确定的；
所述中间货物图像为剔除装载工人图像后的待处理货物图像。
本发明利用车厢尾部安装的四目相机对货物的装箱过程进行实时拍照记录，并回传给服务器，再然后对车厢内除货物之外的，如装箱工作人员等可能会对后续计算产生影响的干扰物进行去除。
首先，对图像中的装箱人员进行标注，并对标注框进行跟踪训练，使得系统在传回现场采集到的图像时，能够快速对图像中的人物进行检测；然后利用语义分割模型对检测到的装箱人员进行分割并去除，从而得到去除人物后的车厢货物图。本发明能够实时记录装箱的图像数据，去除装箱过程中图像中出现的工作人员，避免对后续的计算产生影响。
本发明不仅会满足市场上物流企业对于功能完善的装箱软件的需求，对于降低物流成本的需求，也在一定程度上加快企业的信息化建设，提高企业的竞争力。作为物流配送集约化、一体化的重要一环，本发明具有重要的实用价值。本发明还通过利用深度学习中的双目深度估计算法，对货物图像进行精确估计，通过货物的深度信息，确定每箱货物的层数，最后形成带有深度和层数信息的货物序列图像，并进行存储备用，在物流配送集约化、一体化的大趋势面前，公开了一种可以对货物装箱过程进行自动留证的技术方案，具有较大的理论和实践价值。
本发明提供了一种图像存储方法、装置、电子设备及可读存储介质，不仅能够根据初始装载货物深度与第一预设深度的相对关系选择合适精准度的待拍摄相机进行装载图像获取，还能够确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像，本发明通过对货物图像进行精确估计，根据货物的深度信息确定每一货物所在层数，最后形成带有深度层级信息的货物序列图像，并进行存储备用，从而使得工作人员在快速回溯或海关检查时能够节约时间成本，方便后期查验，提高工作效率。
图2是本发明提供的选择待拍摄相机的流程示意图，所述根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，包括：
在所述初始装载货物深度大于或等于所述第一预设深度的情况下，选择所述宽基线双目相机作为所述待拍摄相机；
在所述初始装载货物深度小于所述第一预设深度的情况下，选择所述窄基线双目相机作为所述待拍摄相机。
在步骤1011中，本发明可以根据车厢的深度不同，设置不同的第一预设深度，进而更好的区分采用何种待拍摄相机实现装箱过程图像的获取，在所述初始装载货物深度大于或等于所述第一预设深度的情况下，即认为此时装箱过程距离待拍摄相机较远，为保证拍摄精度，以精准的实现深度估计，进而采用所述宽基线双目相机作为所述待拍摄相机。
在步骤1012中，在所述初始装载货物深度小于所述第一预设深度的情况下，则认为此时装箱过程距离待拍摄相机较近，为保证拍摄精度，以精准的实现深度估计，进而采用所述窄基线双目相机作为所述待拍摄相机。
本发明能够灵活的根据装箱过程中货物距离待拍摄相机的远近程度，确定合适的待拍摄相机，进而实时估计货物深度，并根据深度确定货物层级，形成带有深度和层数信息的货物图像。
图3是本发明提供的一种图像存储方法的流程示意图之二，在所述待拍摄相机为宽基线双目相机的情况下，还包括：
在装载货物的中间阶段，在当前装载货物深度大于或等于所述第一预设深度的情况下，维持所述待拍摄相机为宽基线双目相机；
在当前装载货物深度小于所述第一预设深度的情况下，将所述待拍摄相机从宽基线双目相机切换至窄基线双目相机。
在步骤201中，若根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，并确定所述待拍摄相机为宽基线双目相机的情况下，则此时装载工人正由远及近的对车厢的货物进行装载，其可能会随着装载过程的进行，而产生货物深度距离与待拍摄相机距离的巨大变化，此时，若还采用宽基线双目相机对较近的货物进行深度估计，则会导致深度估计不精确，即需要对装载货物的中间阶段，这一持续的装载过程进行监测，在当前装载货物深度大于或等于所述第一预设深度的情况下，维持所述待拍摄相机为宽基线双目相机。
在步骤202中，在当前装载货物深度小于所述第一预设深度的情况下，则认为此时装载货物距离待拍摄相机较近，此时采用窄基线双目相机更为合适，即将所述待拍摄相机从宽基线双目相机切换至窄基线双目相机。
图4是本发明提供的确定目标货物图像的流程示意图，所述根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像，包括：
在任一中间货物图像中的目标货物位于货物装载位置的情况下，确定所述中间货物图像为目标货物图像；
剔除所有与所述货物装载位置相关的中间货物图像；
遍历所有货物装载位置，直至确定每一目标货物图像。
在步骤1031中，所述货物装载位置可以是根据装载程序所设定的预设装载位置，也可以是货物被装载工人装载后处于静止状态下的货物装载位置，故在任一中间货物图像中的目标货物处于静止状态下，不在发生位置改变的情况下，将此中间货物图像为目标货物图像。也可以是在任一中间货物图像中的目标货物位于预设的货物装载位置的情况下，确定所述中间货物图像为目标货物图像。
在步骤1032中，根据待拍摄相机的拍摄频率，能够生成与所述货物装载位置相关的多张中间货物图像，本发明旨在剔除所有与所述货物装载位置相关的中间货物图像，只保留目标货物图像即可。
在步骤1033中，遍历所有货物装载位置，直至确定每一目标货物图像，本发明旨在遍历所有的中间货物图像，以确定每一货物装载位置相对应的目标货物图像。
图5是本发明提供的确定每一目标货物所在深度层级的流程示意图，所述根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，包括：
在第一深度值与第二深度值的差值小于第二预设深度的情况下，确定第一目标货物与第二目标货物处于同一深度层级，以根据上一张目标货物图像的深度层级标记当前目标货物图像的深度层级；
在第一深度值与第二深度值的差值大于或等于第二预设深度的情况下，创建下一深度层级，并将所述第二目标货物所对应的当前目标货物图像标记为下一深度层级；
所述第一深度值是根据所述待拍摄相机识别上一张目标货物图像中第一目标货物而确定的；
所述第二深度值是根据所述待拍摄相机识别当前目标货物图像中的第二目标货物而确定的。
在步骤1041中，所述第二预设深度为一预设差值，其用于判断相邻货物是否处于同一深度，在第一深度值与第二深度值的差值小于第二预设深度的情况下，则认为所述第一目标货物与所述第二目标货物的深度值相差不多，处于同一深度，即确定所述第一目标货物与所述第二目标货物处于同一深度层级，此时，由于上一张目标货物图像中第一目标货物的深度层级是确定的，进而能够根据所述上一张目标货物图像的深度层级标记当前目标货物图像的深度层级。
在一个可选地实施例中，设定第二预设深度为，在对货物装箱过程进行实时记录的同时，所述待拍摄相机也进行实时深度估计，将第n+1个货物的深度值与第n个货物的深度值相比较，通过如下公式确定：
式（1）中，为第n+1个货物的深度值，为第n个货物的深度值，为第二预设深度。
在步骤1042中，在第一深度值与第二深度值的差值大于或等于第二预设深度的情况下，则认为所述第一目标货物与所述第二目标货物的深度值相差很远，不处于同一深度，即需要创建下一深度层级，并将所述第二目标货物所对应的当前目标货物图像标记为下一深度层级，通过如下公式确定：
式（2）中，为第n+1个货物的深度值，为第n个货物的深度值，为第二预设深度。
图6是本发明提供的一种图像存储方法的流程示意图之三；在所述待拍摄相机为宽基线双目相机的情况下，还包括：
根据所述宽基线双目相机获取深度货物图像；
输入所述深度货物图像至深度估计模型，以获取初始货物图像或中间货物图像；
所述深度估计模型是根据样本估计图像以及样本货物图像训练而确定的。
在步骤301中，根据所述宽基线双目相机实时对装载过程进行拍摄，以获取深度货物图像，所述深度货物图像为深度估计图像，由于货物距离宽基线双目相机较远，则本步骤旨在根据深度学习算法使得估计结果更为精确。
在步骤302中，所述深度估计模型是根据样本估计图像以及样本货物图像训练而确定的，本发明在得到深度货物图像后，为确保系统计算的距离较远的货物的层数准确，使用深度学习中鲁棒性强的深度估计算法，对远距离的深度货物图像的深度信息进行进一步精确测量，提高深度估计精度，以确定初始货物图像或中间货物图像。本部分能够利用深度学习中的双目深度估计算法，提高远距离货物的深度估计精度，进而使得所存储的目标货物深度信息更为准确。
在一个可选地实施例中，本发明将计算完成的带有精确深度层级信息的货物图像进行检查，核对无误后，将按照顺序排列的每一层货物的序列图回传给系统，将货物的装箱信息进行存储，以备后续工作人员快速回溯或海关检查。本发明能够核查每层货物图像顺序，将每层货物图像按顺序存储以备后期使用。
图7是本发明提供的一种图像存储装置的结构示意图，本发明公开了一种图像存储装置，包括获取单元1：用于在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像，所述获取单元1的工作原理可以参考前述步骤101，在此不予赘述。
所述图像存储装置还包括第一确定单元2：用于根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级，所述第一确定单元2的工作原理可以参考前述步骤102，在此不予赘述。
所述图像存储装置还包括第二确定单元3：用于在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像，所述第二确定单元3的工作原理可以参考前述步骤103，在此不予赘述。
所述图像存储装置还包括存储单元4：用于以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像，所述存储单元4的工作原理可以参考前述步骤104，在此不予赘述。
所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
本发明提供了一种图像存储方法、装置、电子设备及可读存储介质，不仅能够根据初始装载货物深度与第一预设深度的相对关系选择合适精准度的待拍摄相机进行装载图像获取，还能够确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像，本发明通过对货物图像进行精确估计，根据货物的深度信息确定每一货物所在层数，最后形成带有深度层级信息的货物序列图像，并进行存储备用，从而使得工作人员在快速回溯或海关检查时能够节约时间成本，方便后期查验，提高工作效率。
图8是本发明提供的电子设备的结构示意图。图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器（processor）810、通信接口（Communications Interface）820、存储器（memory）830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行图像存储方法，该方法包括：在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级；在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像；以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像；所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的一种图像存储方法，该方法包括：在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级；在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像；以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像；所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像存储方法，该方法包括：在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级；在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像；以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像；所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像存储方法，其特征在于，包括：
在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；
根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级；
在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像；
以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像；
所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
2.根据权利要求1所述的图像存储方法，其特征在于，所述根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，包括：
在所述初始装载货物深度大于或等于所述第一预设深度的情况下，选择所述宽基线双目相机作为所述待拍摄相机；
在所述初始装载货物深度小于所述第一预设深度的情况下，选择所述窄基线双目相机作为所述待拍摄相机。
3.根据权利要求2所述的图像存储方法，其特征在于，在所述待拍摄相机为宽基线双目相机的情况下，还包括：
在装载货物的中间阶段，在当前装载货物深度大于或等于所述第一预设深度的情况下，维持所述待拍摄相机为宽基线双目相机；
在当前装载货物深度小于所述第一预设深度的情况下，将所述待拍摄相机从宽基线双目相机切换至窄基线双目相机。
4.根据权利要求1所述的图像存储方法，其特征在于，所述根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像，包括：
在任一中间货物图像中的目标货物位于货物装载位置的情况下，确定所述中间货物图像为目标货物图像；
剔除所有与所述货物装载位置相关的中间货物图像；
遍历所有货物装载位置，直至确定每一目标货物图像。
5.根据权利要求1所述的图像存储方法，其特征在于，所述根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，包括：
在第一深度值与第二深度值的差值小于第二预设深度的情况下，确定第一目标货物与第二目标货物处于同一深度层级，以根据上一张目标货物图像的深度层级标记当前目标货物图像的深度层级；
在第一深度值与第二深度值的差值大于或等于第二预设深度的情况下，创建下一深度层级，并将所述第二目标货物所对应的当前目标货物图像标记为下一深度层级；
所述第一深度值是根据所述待拍摄相机识别上一张目标货物图像中第一目标货物而确定的；
所述第二深度值是根据所述待拍摄相机识别当前目标货物图像中的第二目标货物而确定的。
6.根据权利要求2所述的图像存储方法，其特征在于，在所述待拍摄相机为宽基线双目相机的情况下，还包括：
根据所述宽基线双目相机获取深度货物图像；
输入所述深度货物图像至深度估计模型，以获取初始货物图像或中间货物图像；
所述深度估计模型是根据样本估计图像以及样本货物图像训练而确定的。
7.根据权利要求1所述的图像存储方法，其特征在于，在根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像之前，还包括：
根据语义分割模型处理所述待拍摄相机所获取的待处理货物图像，以根据预设标注框，获取中间货物图像；
所述预设标注框是根据装载工人图像而确定的；
所述中间货物图像为剔除装载工人图像后的待处理货物图像。
8.一种图像存储装置，其特征在于，包括：
获取单元：用于在装载货物的开始阶段，根据初始装载货物深度与第一预设深度的相对关系选择待拍摄相机，以获取初始货物图像；
第一确定单元：用于根据所述初始货物图像确定初始装载货物的初始深度值，以根据所述初始深度值确定初始货物图像相关的初始深度层级；
第二确定单元：用于在装载货物的中间阶段，根据货物装载位置从所述待拍摄相机所获取的中间货物图像中确定目标货物图像；
存储单元：用于以初始深度层级相关的初始货物图像作为遍历起始点，根据相邻目标货物图像中相邻目标货物的深度差值，确定每一目标货物所在深度层级，以存储带有目标货物所在深度层级信息的每一目标货物图像；
所述待拍摄相机至少包括宽基线双目相机以及窄基线双目相机。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像存储方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像存储方法的步骤。
CN202211487089.XA 2022-11-25 2022-11-25 图像存储方法、装置、电子设备及可读存储介质 Active CN115587073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211487089.XA CN115587073B (zh) 2022-11-25 2022-11-25 图像存储方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211487089.XA CN115587073B (zh) 2022-11-25 2022-11-25 图像存储方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN115587073A CN115587073A (zh) 2023-01-10
CN115587073B true CN115587073B (zh) 2023-05-05

Family

ID=84783227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211487089.XA Active CN115587073B (zh) 2022-11-25 2022-11-25 图像存储方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115587073B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886961A (zh) * 2019-03-27 2019-06-14 重庆交通大学 基于深度图像的中大型货物体积测量方法
CN109961468A (zh) * 2019-03-15 2019-07-02 北京清瞳时代科技有限公司 基于双目视觉的体积测量方法、装置及存储介质
CN112434176A (zh) * 2020-11-30 2021-03-02 郑州苏一电子科技有限公司 一种基于图像处理的图像存储方法和装置
CN112607234A (zh) * 2020-12-30 2021-04-06 武汉理工大学 一种针对组合式集装箱的货物三维装箱方法
CN114897964A (zh) * 2022-06-06 2022-08-12 京东科技控股股份有限公司 容积测量方法、装置、系统和计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005029003A1 (de) * 2005-06-21 2006-12-28 ASTRA Gesellschaft für Asset Management mbH & Co. KG Anlage und Verfahren zur Überwachung des Transfers von mit Identifikationsträgern versehenen Gütern

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961468A (zh) * 2019-03-15 2019-07-02 北京清瞳时代科技有限公司 基于双目视觉的体积测量方法、装置及存储介质
CN109886961A (zh) * 2019-03-27 2019-06-14 重庆交通大学 基于深度图像的中大型货物体积测量方法
CN112434176A (zh) * 2020-11-30 2021-03-02 郑州苏一电子科技有限公司 一种基于图像处理的图像存储方法和装置
CN112607234A (zh) * 2020-12-30 2021-04-06 武汉理工大学 一种针对组合式集装箱的货物三维装箱方法
CN114897964A (zh) * 2022-06-06 2022-08-12 京东科技控股股份有限公司 容积测量方法、装置、系统和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
俞大海 ; 韩建枫 ; 韩军伟 ; .基于线阵CCD图像纹理特征的铁路货车货物分割算法研究.铁道学报.2013,(09),第59-64页. *

Also Published As

Publication number Publication date
CN115587073A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
US20220036533A1 (en) Image defect detection method and apparatus, electronic device, storage medium and product
US11069048B2 (en) System and method for facilitating efficient damage assessments
CN108357848B (zh) 基于多层穿梭车自动仓储系统的建模优化方法
US11972599B2 (en) Method and apparatus for generating vehicle damage image on the basis of GAN network
WO2021111670A1 (ja) アノテーション装置および方法
CN111127452A (zh) 一种基于云端处理的集装箱智能ocr识别方法
US10885625B2 (en) Recognizing damage through image analysis
CN109697326B (zh) 道路病害的处理方法、装置、计算机设备和存储介质
JP2013539102A5 (zh)
US20180096101A1 (en) Methods and apparatus to label radiology images
US20210350521A1 (en) Method for computer-implemented determination of blade-defects of a wind turbine
CN109426604A (zh) 代码开发的监控方法及设备
CN107294795A (zh) 一种网络安全态势预测方法及设备
CN111353689B (zh) 一种风险评估方法及装置
CN112446239A (zh) 神经网络的训练及目标检测方法、设备及存储介质
US20220327452A1 (en) Method for automatically updating unit cost of inspection by using comparison between inspection time and work time of crowdsourcing-based project for generating artificial intelligence training data
CN115587073B (zh) 图像存储方法、装置、电子设备及可读存储介质
CN106598997A (zh) 一种计算文本主题归属度的方法及装置
Mermet et al. Face detection on pre-modern japanese artworks using r-CNN and image patching for semi-automatic annotation
CN111192358A (zh) 基于三维的管道裂痕检测方法、装置、设备和存储介质
CN115587675B (zh) 装载方式的确定方法、装置、设备及介质
CN107463531A (zh) 基于分箱灰色预测的波动数据缺失值处理方法及装置
CN115204123A (zh) 协同编辑文档的分析方法、分析装置以及存储介质
CN110689726B (zh) 交通违法处罚证据链补全方法及设备
CN112257587B (zh) 目标对象的检测效果评估方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant