RU2774651C1

RU2774651C1 - Automatic driving system for grain processing, automatic driving method and trajectory planning method

Info

Publication number: RU2774651C1
Application number: RU2021121930A
Authority: RU
Inventors: Ди У; Бо ВАН; Сяо ЧЖАН; Юнцюань ШЭНЬ; Цинцюань ВАН; Чао Тун; Шунь ФАНЬ; Жуй ЧЭНЬ
Original assignee: Фж Дайнемикс Текнолоджи Ко., Лтд
Priority date: 2019-01-04
Filing date: 2019-09-24
Publication date: 2022-06-21

Abstract

FIELD: agriculture.

SUBSTANCE: present invention relates to agriculture, to the field of autonomous driving of agricultural machines, in particular to an automatic driving system for grain processing, an automatic driving method and a trajectory planning method. The automatic driving system for grain processing contains a grain processing machine, an image processing system, a trajectory planning system and an image acquisition device. The image processing system is located on the grain processing machine and receives at least one image of the cultivated land surrounding the grain processing machine. The image processing system identifies, based on the image identification and segmentation method, a zone in the image; and the trajectory planning system plans at least one planned motion trajectory based on the zone identified by the image processing system.

EFFECT: grain processing machine automatically controls the movement according to the planned trajectory of movement, which is planned by the trajectory planning system.

19 cl, 11 dwg

Description

[0001] Настоящее изобретение относится к сельскому хозяйству, к области автономного вождения сельскохозяйственных машин, в частности к системе автоматического вождения для переработки зерна, способу автоматического вождения и способу планирования траектории.[0001] The present invention relates to agriculture, to the field of autonomous driving of agricultural machines, in particular to an automatic driving system for grain processing, an automatic driving method and a trajectory planning method.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯBACKGROUND OF THE INVENTION

[0002] Термин «сельскохозяйственная машина» относится к различным машинам, используемым в процессе первичной переработки сельскохозяйственной продукции и продукции животноводства, а также в производстве сельскохозяйственных культур и животноводстве. Существуют различные типы сельскохозяйственных машин, такие как посевное оборудование, пахотное оборудование, оборудование для боронования, почвофрезы, оборудование для защиты растений, уборочное оборудование и т.д. В процессе эксплуатации сельскохозяйственных машин требуется учитывать наличие системы перемещения и системы эксплуатации механического оборудования. Когда сельскохозяйственная машина находится в движении по обрабатываемой земле, маршрут этой сельскохозяйственной машины необходимо корректировать согласно условиям обрабатываемой земли.[0002] The term "agricultural machine" refers to various machines used in the process of primary processing of agricultural products and livestock products, as well as in the production of crops and animal husbandry. There are various types of agricultural machinery, such as seeding equipment, arable equipment, harrowing equipment, rototillers, crop protection equipment, harvesting equipment, etc. During the operation of agricultural machines, it is required to take into account the presence of a movement system and a system for operating mechanical equipment. When the agricultural machine is in motion on the cultivated land, the route of this agricultural machine must be adjusted according to the conditions of the cultivated land.

[0003] Когда сельскохозяйственная машина эксплуатируется на обрабатываемой земле, условия этой обрабатываемой земли и выращиваемых сельскохозяйственных культур необходимо оценивать в реальном времени и эксплуатировать сельскохозяйственную машину и систему эксплуатации согласно этим условиям эксплуатации обрабатываемой земли и выращивания сельскохозяйственных культур на этой обрабатываемой земле. В известном уровне техники эксплуатация сельскохозяйственной машины и системы эксплуатации может осуществляться людьми, водителями и операторами. Сельскохозяйственной машине необходимо учитывать обработанную зону обрабатываемой земли, необработанную зону обрабатываемой земли, а также границы и множество других факторов. В процессе эксплуатации сельскохозяйственной машины работу транспортного средства и эксплуатационные параметры необходимо корректировать в реальном времени согласно состоянию сельскохозяйственной культуры. Так как в ходе вождения необходимо учитывать сложные условия эксплуатации, сельскохозяйственное оборудование согласно существующей технологии также требует от оператора корректировки эксплуатации сельскохозяйственной машины на основе информации в реальном времени о сельскохозяйственной культуре на обрабатываемой земле. Вероятность субъективной ошибки при эксплуатации сельскохозяйственной машины повышается при использовании ручного управления, что приводит к повышению вероятности отказа механического оборудования в ходе эксплуатации.[0003] When the agricultural machine is operated on cultivated land, the conditions of this cultivated land and cultivated crops need to be assessed in real time and operate the agricultural machine and operating system according to these conditions of exploiting the cultivated land and growing crops on this cultivated land. In the prior art, the operation of an agricultural machine and operating system can be carried out by people, drivers and operators. The agricultural machine needs to consider the cultivated area of cultivated land, the uncultivated area of cultivated land, as well as borders and many other factors. During the operation of the agricultural machine, the operation of the vehicle and the operating parameters must be adjusted in real time according to the condition of the crop. Since difficult operating conditions must be taken into account during driving, the agricultural equipment according to the existing technology also requires the operator to adjust the operation of the agricultural machine based on real-time information about the crop on the cultivated land. The probability of subjective error in the operation of an agricultural machine increases when using manual control, which leads to an increase in the probability of failure of mechanical equipment during operation.

[0004] Существующие сельскохозяйственные машины не являются интеллектуальными, и исключение водителя сельскохозяйственного оборудования является невозможным. На основе способа спутниковой навигации PTK можно получать высокоточную информацию спутниковой навигации, но для беспилотной сельскохозяйственной машины, в частности уборочного оборудования, при эксплуатации более важным для точной эксплуатации или корректировки эксплуатации сельскохозяйственной машины являются определение убранной зоны и неубранной зоны сельскохозяйственной культуры текущей обрабатываемой земли, граничной зоны обрабатываемой земли и другой информации. Сельскохозяйственные машины согласно существующей технологии не способны оценивать точность зон обрабатываемой земли, и курс эксплуатации сельскохозяйственной машины обычно находится в соответствии с установленной траекторией. При возникновении отклонения от маршрута его трудно своевременно скорректировать и изменить. Поэтому, если установленная траектория эксплуатации является неточной, эксплуатация сельскохозяйственной машины согласно существующей технологии является неэффективной и даже может приводить к ошибкам, вызывающим серьезные механические повреждения. Дополнительно, при использовании способа спутниковой навигации РТК сельскохозяйственное оборудование имеет высокие эксплуатационные требования, и необходимые издержки производства и эксплуатационные расходы этого сельскохозяйственного оборудования являются высокими, поэтому беспилотная навигация согласно существующей технологии неприменима к беспилотному режиму современных сельскохозяйственных машин. [0004] Existing agricultural machines are not intelligent, and it is not possible to exclude the driver of agricultural equipment. Based on the PTK satellite navigation method, high-precision satellite navigation information can be obtained, but for the unmanned agricultural machine, in particular the harvesting equipment, in operation, it is more important to accurately operate or adjust the operation of the agricultural machine is to determine the harvested area and the unharvested crop area of the current cultivated land, the boundary areas of cultivated land and other information. Agricultural machines according to the existing technology are not capable of judging the accuracy of cultivated land areas, and the course of operation of the agricultural machine is usually in accordance with the set trajectory. When a deviation from the route occurs, it is difficult to correct and change it in a timely manner. Therefore, if the set operation path is inaccurate, the operation of the agricultural machine according to the existing technology is inefficient and may even lead to errors causing serious mechanical damage. Further, when using the RTK satellite navigation method, the agricultural equipment has high operational requirements, and the necessary production costs and operating costs of this agricultural equipment are high, so the unmanned navigation according to the existing technology is not applicable to the unmanned operation of modern agricultural machines.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

[0005] Целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения идентифицирует зону обрабатываемой земли на основе по меньшей мере одного визуального изображения. [0005] It is an object of the present invention to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method in which the automatic driving system identifies a cultivated land area based on at least one visual image.

[0006] Другой целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения управляет траекторией движения при помощи идентификации необработанной зоны, обработанной зоны и граничной зоны обрабатываемой земли на визуальном изображении.[0006] Another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method, in which the automatic driving system controls the driving trajectory by identifying an uncultivated area, a cultivated area, and a boundary area of cultivated land in a visual image.

[0007] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система планирования траектории системы автоматического вождения автоматически планирует траекторию на основе информации о текущем положении транспортного средства, информации, идентифицированной системой обработки изображений, и информации навигационной системы.[0007] Yet another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method, in which the trajectory planning system of the automatic driving system automatically plans a trajectory based on information about the current position of a vehicle, information identified by the processing system. images, and navigation system information.

[0008] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения планирует траекторию движения и маршрут эксплуатации системы автоматического вождения на основе зоны, идентифицированной из визуального изображения.[0008] Yet another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method in which the automatic driving system plans a driving path and an operating route of the automatic driving system based on an area identified from a visual image.

[0009] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения получает изображения при помощи устройства получения изображений, идентифицирует зону на визуальном изображении и обновляет или корректирует маршрут эксплуатации системы автоматического вождения в реальном времени согласно изменившейся зоне, для того чтобы улучшить работу системы автоматического вождения.[0009] Yet another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method, in which the automatic driving system acquires images using an image acquisition apparatus, identifies an area on a visual image, and updates or corrects the operating route of the system. real-time automatic driving according to the changed area, in order to improve the performance of the automatic driving system.

[0010] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система обработки изображений системы автоматического вождения использует технологию сегментации изображений для идентификации необработанной зоны, обработанной зоны, граничной зоны обрабатываемой земли и границ двух смежных зон на изображении.[0010] Yet another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method, in which the image processing system of the automatic driving system uses image segmentation technology to identify an untreated area, a cultivated area, a boundary area of cultivated land, and borders of two adjacent zones in the image.

[0011] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система обработки изображений системы автоматического вождения на основе информации полученного визуального изображения использует технологию сегментации изображений для идентификации на изображении такой информации о сельскохозяйственной культуре, как вид, высота и налив зерна сельскохозяйственной культуры, с целью обеспечения возможности корректировки системой эксплуатации системы автоматического вождения эксплуатационных параметров на основе информации о сельскохозяйственной культуре.[0011] Another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method, in which the image processing system of the automatic driving system, based on the information of the acquired visual image, uses an image segmentation technology to identify such information in the image about crop, as the type, height and grain filling of the crop, in order to enable the automatic driving system operation system to adjust the operating parameters based on the crop information.

[0012] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система обработки изображений системы автоматического вождения идентифицирует границу зоны на изображении на основе полученной информации изображения так, что система планирования траектории может планировать траекторию движения транспортного средства на основе идентифицированной границы зоны.[0012] Yet another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method, in which the image processing system of the automatic driving system identifies an area boundary in an image based on acquired image information, so that the trajectory planning system can plan the trajectory of the vehicle based on the identified zone boundary.

[0013] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения не требует высокоточной спутниковой навигации, что, таким образом, снижает сложность изготовления оборудования для автоматического вождения, а также снижает эксплуатационные расходы оборудования для автоматического вождения.[0013] Yet another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method in which the automatic driving system does not require high-precision satellite navigation, thus reducing the manufacturing complexity of the automatic driving equipment, and also reduces the operating costs of automatic driving equipment.

[0014] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения осуществляет планирование траектории на основе информации о разделении зон, выводимой системой обработки изображений, с целью реализации автоматического вождения и эксплуатации автоматического вождения.[0014] Yet another object of the present invention is to provide an automatic driving system for grain processing, an automatic driving method, and a trajectory planning method, in which the automatic driving system performs trajectory planning based on zone separation information output by an image processing system to realize automatic driving. and operation of automatic driving.

[0015] Другие преимущества и признаки настоящего изобретения описаны ниже в подробном описании и могут быть реализованы при помощи комбинации средств и устройств, конкретно указанных в приложенной формуле изобретения.[0015] Other advantages and features of the present invention are described below in the detailed description and can be implemented using a combination of means and devices specifically indicated in the appended claims.

[0016] Согласно одному аспекту настоящего изобретения, настоящее изобретение предоставляет способ планирования траектории для системы автоматического вождения для переработки зерна, который включает:[0016] According to one aspect of the present invention, the present invention provides a trajectory planning method for a grain processing automatic steering system, which includes:

[0017] этап (a): получение по меньшей мере одного изображения обрабатываемой земли в окрестности зерноперерабатывающей машины;[0017] step (a): obtaining at least one image of cultivated land in the vicinity of the grain processing machine;

[0018] этап (b): идентификация и разделение зоны обрабатываемой земли и границы обрабатываемой земли, соответствующих изображению; и [0018] step (b): identifying and separating a cultivated area and a cultivated land boundary corresponding to the image; and

[0019] этап (c): планирование по меньшей мере одной запланированной траектории движения на основе идентифицированных зоны обрабатываемой земли и границы обрабатываемой земли.[0019] step (c): planning at least one planned trajectory based on the identified cropland area and cropland boundary.

[0020] Согласно одному варианту осуществления настоящего изобретения, способ планирования траектории дополнительно включает: этап (а.0): установка эксплуатационной зоны обрабатываемой земли и по меньшей мере одной границы эксплуатационной зоны, соответствующей этой эксплуатационной зоне.[0020] According to one embodiment of the present invention, the trajectory planning method further includes: step (a.0): establishing a production area of cultivated land and at least one production area boundary corresponding to this production area.

[0021] Согласно одному варианту осуществления настоящего изобретения, этап (а.0) дополнительно включает: идентификацию эксплуатационной зоны и границы эксплуатационной зоны обрабатываемой земли при помощи системы обработки изображений.[0021] According to one embodiment of the present invention, step (a.0) further includes: identifying the exploitation area and the boundary of the exploitation zone of cultivated land using an image processing system.

[0022] Согласно одному варианту осуществления настоящего изобретения, этап (а) дополнительно включает: фотографирование в реальном времени изображения окрестности системы автоматического вождения для переработки зерна на основе положения системы автоматического вождения для переработки зерна.[0022] According to one embodiment of the present invention, step (a) further includes: capturing a real-time image of the surroundings of the grain processing auto-guiding system based on the position of the grain processing auto-driving system.

[0023] Согласно одному варианту осуществления настоящего изобретения, этап (b) дополнительно включает: сегментацию изображения с использованием способа сегментации изображений, идентификацию и разделение зоны изображения.[0023] According to one embodiment of the present invention, step (b) further includes: segmenting an image using an image segmentation method, identifying and dividing an image area.

[0024] Согласно одному варианту осуществления настоящего изобретения, этап (b) дополнительно включает: использование системой обработки изображений способа сегментации изображений для сегментации изображения и разделение зоны изображения на необработанную зону, обработанную зону и граничную зону обрабатываемой земли.[0024] According to one embodiment of the present invention, step (b) further includes: using the image segmentation method for image segmentation by the image processing system to segment the image, and dividing the image area into a raw area, a cultivated area, and a cropland boundary area.

[0025] Согласно одному варианту осуществления настоящего изобретения, этап (b) дополнительно включает:[0025] According to one embodiment of the present invention, step (b) further includes:

[0026] этап (b.1): сегментация изображения на множество пиксельных областей и нормализация значений пикселей пиксельных областей в массив; [0026] step (b.1): segmenting an image into a plurality of pixel regions and normalizing the pixel values of the pixel regions into an array;

[0027] этап (b.2): извлечение признаков пиксельных областей, соответствующих каждому массиву; и [0027] step (b.2): extracting features of pixel regions corresponding to each array; and

[0028] этап (b.3): вывод метки классификации изображения на основе признаков пиксельных областей.[0028] step (b.3): outputting an image classification mark based on features of the pixel regions.

[0029] Согласно одному варианту осуществления настоящего изобретения, этап (c) дополнительно включает: этап (c.1): определение запланированной траектории движения на основе информации о положении зерноперерабатывающей машины, информации изображения о планировании зон, идентифицированной системой обработки изображений, и навигационной информации навигационной системы.[0029] According to one embodiment of the present invention, step (c) further includes: step (c.1): determining a planned driving path based on position information of the grain processing machine, image information about area planning identified by the image processing system, and navigation information navigation system.

[0030] Согласно одному варианту осуществления настоящего изобретения, этап (c) дополнительно включает: этап (c.2): корректировка направления движения зерноперерабатывающей машины на основе информации о сельскохозяйственной культуре, идентифицированной системой обработки изображений, с целью генерирования траектории движения транспортного средства.[0030] According to one embodiment of the present invention, step (c) further includes: step (c.2): adjusting the driving direction of the grain processing machine based on the crop information identified by the image processing system to generate a vehicle trajectory.

[0031] Согласно другому аспекту настоящего изобретения, настоящее изобретение предоставляет способ автоматического вождения для системы автоматического вождения для переработки зерна, который включает:[0031] According to another aspect of the present invention, the present invention provides an automatic driving method for an automatic driving system for grain processing, which includes:

[0032] этап (I): получение по меньшей мере одного изображения и идентификация зоны обрабатываемой земли и границ обрабатываемой земли на изображении; [0032] step (I): obtaining at least one image and identifying the area of cultivated land and the boundaries of cultivated land in the image;

[0033] этап (II): планирование по меньшей мере одной запланированной траектории движения на основе зоны обрабатываемой земли и границ обрабатываемой земли; и [0033] step (II): planning at least one planned trajectory based on the area of cultivated land and the boundaries of cultivated land; and

[0034] этап (III): управление зерноперерабатывающей машиной с целью автоматического движения согласно запланированной траектории движения.[0034] step (III): controlling the grain processing machine to automatically move according to the planned movement path.

[0035] Согласно одному варианту осуществления настоящего изобретения, этап (II) дополнительно включает:[0035] According to one embodiment of the present invention, step (II) further includes:

[0036] получение информации о положении зерноперерабатывающей машины; и[0036] obtaining information about the position of the grain processing machine; and

[0037] планирование запланированной траектории движения на основе информации о положении, идентифицированных зоны обрабатываемой земли и границ обрабатываемой земли, и навигационной информации навигационной системы.[0037] Planning a planned trajectory based on position information, identified cropland zones and cropland boundaries, and navigation information of the navigation system.

[0038] Согласно одному варианту осуществления настоящего изобретения, этап (I) дополнительно включает: идентификацию из изображения информации о сельскохозяйственной культуре на обрабатываемой земле, при этом информация о сельскохозяйственной культуре включает информацию о типе сельскохозяйственной культуры, высоте сельскохозяйственной культуры и наливе зерна.[0038] According to one embodiment of the present invention, step (I) further includes: identifying crop information on cultivated land from the image, wherein the crop information includes crop type, crop height, and grain filling information.

[0039] Согласно одному варианту осуществления настоящего изобретения, способ автоматического вождения дополнительно включает: этап (IV): корректировка эксплуатационных параметров системы эксплуатации зерноперерабатывающей машины на основе информации изображения о сельскохозяйственной культуре. [0039] According to one embodiment of the present invention, the automatic driving method further includes: step (IV): adjusting the operating parameters of the grain processing machine operating system based on crop image information.

[0040] Согласно еще одному аспекту настоящего изобретения, настоящее изобретение предоставляет систему автоматического вождения для переработки зерна, которая содержит:[0040] According to another aspect of the present invention, the present invention provides an automatic driving system for processing grain, which contains:

[0041] зерноперерабатывающую машину; [0041] a grain processing machine;

[0042] систему обработки изображений, при этом система обработки изображений установлена на зерноперерабатывающей машине с целью получения по меньшей мере одного изображения обрабатываемой земли в окрестности зерноперерабатывающей машины, и система обработки изображений идентифицирует зону изображения на основе способа распознавания и сегментации изображений; и [0042] an image processing system, wherein the image processing system is installed on the grain processing machine to acquire at least one image of cultivated land in the vicinity of the grain processing machine, and the image processing system identifies an image area based on an image recognition and segmentation method; and

[0043] систему планирования траектории, при этом система планирования траектории планирует по меньшей мере одну запланированную траекторию движения на основе зоны, идентифицированной системой обработки изображений, и зерноперерабатывающая машина выполняет автоматическое вождение согласно запланированной траектории движения, запланированной системой планирования траектории.[0043] a trajectory planning system, wherein the trajectory planning system plans at least one planned trajectory based on the area identified by the image processing system, and the grain processing machine performs automatic driving according to the planned trajectory planned by the trajectory planning system.

[0044] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения дополнительно содержит устройство получения изображений, при этом устройство получения изображений установлено на зерноперерабатывающей машине, и устройство получения изображений захватывает изображения спереди от зерноперерабатывающей машины.[0044] According to one embodiment of the present invention, the automatic driving system further comprises an image pickup device, wherein the image pickup device is mounted on a grain processor, and the image pickup device captures images in front of the grain processor.

[0045] Согласно одному варианту осуществления настоящего изобретения, система обработки изображений идентифицирует из изображения по меньшей мере одну обработанную зону, по меньшей мере одну необработанную зону и по меньшей мере одну граничную зону обрабатываемой земли.[0045] According to one embodiment of the present invention, the image processing system identifies at least one cultivated area, at least one uncultivated area, and at least one marginal cultivated area from an image.

[0046] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит:[0046] According to one embodiment of the present invention, the automatic driving system for grain processing further comprises:

[0047] модуль сегментации изображений, при этом модуль сегментации изображений сегментирует изображение на множество пиксельных областей, и каждая пиксельная область содержит по меньшей мере один пиксельный элемент; [0047] an image segmentation module, wherein the image segmentation module segments an image into a plurality of pixel regions, and each pixel region contains at least one pixel element;

[0048] модуль признаков, при этом модуль признаков извлекает признаки каждой пиксельной области на основе пиксельного элемента этой пиксельной области; и [0048] a feature module, wherein the feature module extracts features of each pixel region based on a pixel element of that pixel region; and

[0049] модуль разделения области, при этом модуль разделения области идентифицирует и разделяет зону изображения согласно признакам пиксельной области.[0049] an area division module, wherein the area division module identifies and divides an image area according to features of a pixel area.

[0050] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит: устройство определения положения и навигационную систему, при этом устройство определения положения и навигационная система расположены на зерноперерабатывающей машине, устройство определения положения получает информацию о положении зерноперерабатывающей машины, и навигационная система предоставляет навигационную информацию для зерноперерабатывающей машины.[0050] According to one embodiment of the present invention, the automatic driving system for processing grain further comprises: a position determination device and a navigation system, wherein the position determination device and the navigation system are located on the grain processing machine, the position determination device receives position information of the grain processing machine, and the navigation system provides navigation information for the grain processing machine.

[0051] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит: устройство определения положения и навигационную систему, при этом устройство определения положения и навигационная система расположены на зерноперерабатывающей машине, устройство определения положения получает информацию о положении зерноперерабатывающей машины, и навигационная система предоставляет навигационную информацию для зерноперерабатывающей машины.[0051] According to one embodiment of the present invention, the automatic driving system for grain processing further comprises: a position determination device and a navigation system, wherein the position determination device and the navigation system are located on the grain processing machine, the position determination device receives position information of the grain processing machine, and the navigation system provides navigation information for the grain processing machine.

[0052] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит:[0052] According to one embodiment of the present invention, the automatic driving system for grain processing further comprises:

[0053] модуль установки эксплуатационной зоны, при этом модуль установки эксплуатационной зоны устанавливает граничную зону обрабатываемой земли для получения необработанной зоны обрабатываемой земли и границы эксплуатационной зоны обрабатываемой земли; и [0053] a production area setting module, wherein the production area setting module sets a cropland boundary area to obtain an uncultivated cropland area and a cropland production area boundary; and

[0054] модуль планирования траектории движения, при этом система обработки изображений идентифицирует информацию изображения о планировании зон на основе информации о положении зерноперерабатывающей машины и навигационной информации навигационной системы с целью получения по меньшей мере одной запланированной траектории движения.[0054] A path planning module, wherein the image processing system identifies area planning image information based on the position information of the grain processing machine and the navigation information of the navigation system to obtain at least one planned path.

[0055] Дальнейшие цели и преимущества настоящего изобретения описаны в следующем описании и графических материалах.[0055] Further objects and advantages of the present invention are described in the following description and drawings.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВBRIEF DESCRIPTION OF GRAPHICS

[0056] Реализации настоящего изобретения будут описаны ниже посредством вариантов осуществления со ссылкой на прилагаемые фигуры.[0056] Implementations of the present invention will be described below by way of embodiments with reference to the accompanying figures.

[0057] На фиг. 1 представлена принципиальная схема одного варианта осуществления системы автоматического вождения для переработки зерна.[0057] FIG. 1 is a schematic diagram of one embodiment of an automatic driving system for grain processing.

[0058] На фиг. 2 представлена принципиальная схема варианта осуществления получения изображения в системе автоматического вождения, показанной на фиг. 1.[0058] FIG. 2 is a schematic diagram of an embodiment of image acquisition in the automatic driving system shown in FIG. one.

[0059] На фиг. 3А представлена принципиальная схема варианта осуществления получения одного изображения системой автоматического вождения для переработки зерна, показанной на фиг. 1.[0059] FIG. 3A is a schematic diagram of a single image acquisition embodiment of the automatic driving system for grain processing shown in FIG. one.

[0060] На фиг. 3В представлена принципиальная схема варианта осуществления получения другого изображения системой автоматического вождения, показанной на фиг. 1.[0060] FIG. 3B is a schematic diagram of an embodiment of another image acquisition by the automatic driving system shown in FIG. one.

[0061] На фиг. 3С представлена принципиальная схема варианта осуществления получения другого изображения системой автоматического вождения для переработки зерна, показанной на фиг. 1.[0061] FIG. 3C is a schematic diagram of an embodiment of another image acquisition by the automatic driving system for grain processing shown in FIG. one.

[0062] На фиг. 4 представлена принципиальная схема одного варианта осуществления разделения и идентификации зоны изображения системой обработки изображений системы автоматического вождения для переработки зерна.[0062] In FIG. 4 is a schematic diagram of one embodiment of partitioning and identifying an image area by an image processing system of an automatic driving system for grain processing.

[0063] На фиг. 5А представлена принципиальная схема одного варианта осуществления сегментации зоны изображения системой обработки изображений системы автоматического вождения для переработки зерна.[0063] FIG. 5A is a schematic diagram of one embodiment of image area segmentation by an image processing system of an automatic driving system for grain processing.

[0064] На фиг. 5В представлена блок-схема одного варианта осуществления системы обработки изображений системы автоматического вождения для переработки зерна.[0064] FIG. 5B is a block diagram of one embodiment of an image processing system of an automatic driving system for grain processing.

[0065] На фиг. 6 представлена принципиальная схема одного варианта осуществления извлечения и идентификации признака зоны изображения системой обработки изображений системы автоматического вождения.[0065] FIG. 6 is a schematic diagram of one embodiment of image area feature extraction and identification by an image processing system of an automatic driving system.

[0066] На фиг. 7 представлена принципиальная схема одного варианта осуществления вывода изображения, разделенного на зоны, системой обработки изображений системы автоматического вождения.[0066] FIG. 7 is a schematic diagram of one embodiment of zoned image output by an image processing system of an automatic driving system.

[0067] На фиг. 8 представлена принципиальная схема одного варианта осуществления вывода изменения разделения границ разделенной зоны изображения системой обработки изображений системы автоматического вождения.[0067] FIG. 8 is a circuit diagram of one embodiment of the output of changing the boundary separation of the divided image area by the image processing system of the automatic driving system.

[0068] На фиг. 9 представлена принципиальная схема одного варианта осуществления обстановки автоматического вождения системы автоматического вождения для переработки зерна.[0068] FIG. 9 is a schematic diagram of one embodiment of an automatic driving environment of an automatic driving system for grain processing.

[0069] На фиг. 10 представлена принципиальная схема одного варианта осуществления системы планирования траектории системы автоматического вождения для переработки зерна.[0069] FIG. 10 is a schematic diagram of one embodiment of a trajectory planning system for an automatic driving system for grain processing.

[0070] На фиг. 11А представлена принципиальная схема одного варианта осуществления планирования траектории по обрабатываемой земле, генерируемого системой планирования траектории системы автоматического вождения.[0070] FIG. 11A is a schematic diagram of one embodiment of arable land trajectory planning generated by a trajectory planning system of an automatic driving system.

[0071] На фиг. 11B представлена принципиальная схема одного варианта осуществления корректировки траектории движения системой планирования траектории системы автоматического вождения.[0071] In FIG. 11B is a schematic diagram of one embodiment of trajectory correction by a trajectory planning system of an automatic driving system.

ПОДРОБНОЕ ОПИСАНИЕDETAILED DESCRIPTION

[0072] Следующее описание используется для раскрытия настоящего изобретения, для того чтобы специалисты в данной области техники могли реализовывать настоящее изобретение. Описанные ниже предпочтительные варианты осуществления являются лишь примерами, и специалисты в данной области техники могут придумать другие очевидные варианты осуществления. Базовые принципы настоящего изобретения, определенные в следующем описании, могут быть применены к другим вариантам осуществления, развитиям вариантов осуществления, схемам усовершенствования, эквивалентным схемам и другим техническим схемам, которые не отклоняются от сущности и объема настоящего изобретения.[0072] The following description is used to disclose the present invention so that those skilled in the art can practice the present invention. The preferred embodiments described below are merely examples, and other obvious embodiments can be devised by those skilled in the art. The basic principles of the present invention defined in the following description may be applied to other embodiments, developments of embodiments, improvement circuits, equivalent circuits, and other technical circuits that do not deviate from the spirit and scope of the present invention.

[0073] Технические специалисты в данной области техники должны понимать, что в раскрытии настоящего изобретения термин «вертикальное направление», «горизонтальное направление», «верхний», «нижний», «передний», «задний», «левый», «правый», «вертикальный», «горизонтальный», «верхний», «нижний», «внутренний», «наружный» и другие указатели ориентации или взаимного расположения основаны на ориентации или взаимном расположении, показанном на графических материалах, и предназначены только для содействия описанию настоящего изобретения и упрощения описания, а не для указания или предположения того, что устройство или компонент должен иметь конкретную ориентацию в конкретном направлении и в ходе конкретной операции, поэтому приведенные выше термины не следует понимать как ограничения настоящего изобретения.[0073] Technicians in the art should understand that in the disclosure of the present invention, the terms "vertical direction", "horizontal direction", "top", "bottom", "front", "rear", "left", "right , "vertical", "horizontal", "top", "bottom", "inside", "outside" and other orientation or relationship indications are based on the orientation or relationship shown in the graphics and are intended to assist the description only. of the present invention and to simplify the description, and not to indicate or imply that a device or component must have a particular orientation in a particular direction and during a particular operation, therefore, the above terms should not be understood as limiting the present invention.

[0074] Можно понять, что термин «один» следует понимать как «по меньшей мере один» или «один или более», т.е. в одном варианте осуществления количество одного компонента может составлять один, тогда как в другом варианте осуществления количество компонентов может являться множественным, и поэтому термин «один» нельзя понимать как ограничение в отношении количества.[0074] You can understand that the term "one" should be understood as "at least one" or "one or more", i. in one embodiment, the number of one component may be one, while in another embodiment, the number of components may be multiple, and therefore the term "one" should not be understood as limiting the number.

[0075] Со ссылкой на фиг. 1-9 описания настоящего изобретения изображены система автоматического вождения для переработки зерна, способ автоматического вождения и способ планирования траектории согласно первому варианту осуществления настоящего изобретения. Система автоматического вождения для переработки зерна может быть реализована в виде оборудования для уборки сельскохозяйственной культуры с функцией переработки зерна, оборудования для посева сельскохозяйственной культуры, оборудования для плужной обработки почвы и оборудования для защиты растений сельскохозяйственной культуры. Можно понять, что тип системы автоматического вождения для зерноперерабатывающего устройства описан в настоящем изобретении лишь в качестве примера, а не в качестве ограничения. Поэтому здесь также можно использовать оборудование для сельскохозяйственных культур других типов. Система автоматического вождения получает по меньшей мере одно изображение окружающей обстановки и визуально идентифицирует тип зоны обрабатываемой земли на изображении после обработки изображения и разделяет типы зон и границы обрабатываемой земли на изображении.[0075] With reference to FIG. 1 to 9 of the description of the present invention show an automatic driving system for grain processing, an automatic driving method, and a path planning method according to the first embodiment of the present invention. The automatic driving system for grain processing can be realized as crop harvesting equipment with grain processing function, crop seeding equipment, plow tillage equipment and crop plant protection equipment. It can be understood that the type of automatic driving system for the grain processing apparatus is described in the present invention only as an example and not as a limitation. Therefore, equipment for crops of other types can also be used here. The automatic driving system acquires at least one image of the environment and visually identifies the type of cultivated area in the image after processing the image, and separates the types of zones and boundaries of cultivated land in the image.

[0076] Система автоматического вождения для переработки зерна должна разделять типы зон обрабатываемой земли согласно типам и границам каждой разделенной зоны, при этом тип зоны, разделенной системой автоматического вождения, включает по меньшей мере одну обработанную зону 100, по меньшей мере одну необработанную зону 200 и по меньшей мере одну граничную зону 300 поля. Система автоматического вождения для переработки зерна определяет маршрут движения транспортного средства при помощи навигационной системы согласно типу разделенной зоны с целью достижения автоматического вождения.[0076] The automatic driving system for processing grain must separate the types of cultivated areas according to the types and boundaries of each divided zone, while the type of zone divided by the automatic driving system includes at least one cultivated zone 100, at least one uncultivated zone 200 and at least one boundary zone 300 of the field. The automatic driving system for grain processing determines the route of the vehicle through the navigation system according to the type of divided area in order to achieve automatic driving.

[0077] Следует упомянуть, что беспилотному транспортному средству в беспилотном режиме необходимо получать точную информацию о положении транспортного средства, в частности высокоточную информацию спутниковой навигации, для идентификации маршрута, и для достижения функции беспилотного вождения на высокой скорости беспилотному транспортному средству необходимо обновлять информацию о препятствиях, информацию о других транспортных средствах, а также информацию о пешеходах и другую информацию. Изображения, получаемые системой автоматического вождения согласно настоящему изобретению, представляют собой информацию данных изображений, соответствующую зерну сельскохозяйственной культуры на обрабатываемой земле, эти изображения относятся к обстановке в окрестности транспортного средства, и эти изображения получаются на основе текущего положения транспортного средства. Система автоматического вождения не требует высокоточной информации спутниковой навигации, но лишь обычной спутниковой навигации с точностью на уровне метров (навигация GPS, навигация Beidou и т.д.). Дополнительно, изображения, получаемые и обрабатываемые системой автоматического вождения, отличаются от изображений, получаемых беспилотным транспортным средством. Поэтому планирование траектории и режим движения, определяемые системой автоматического вождения, не являются такими же, как планирование траектории и режим движения, определяемые беспилотным транспортным средством. Можно понять, что режим идентификации согласно настоящему изобретению отличается от режима идентификации беспилотного транспортного средства.[0077] It should be mentioned that the unmanned vehicle in the unmanned mode needs to obtain accurate information about the position of the vehicle, in particular, high-precision satellite navigation information, to identify the route, and in order to achieve the function of unmanned driving at high speed, the unmanned vehicle needs to update the obstacle information , information about other vehicles, as well as information about pedestrians and other information. The images acquired by the automatic driving system according to the present invention are image data information corresponding to a crop grain in a cultivated land, these images are related to the situation in the vicinity of a vehicle, and these images are obtained based on the current position of the vehicle. The automatic steering system does not require high-precision satellite navigation information, but only ordinary satellite navigation with meter-level accuracy (GPS navigation, Beidou navigation, etc.). Additionally, the images acquired and processed by the automatic driving system are different from those obtained by an unmanned vehicle. Therefore, the path planning and driving mode determined by the automatic driving system are not the same as the path planning and driving mode determined by the unmanned vehicle. It can be understood that the identification mode according to the present invention is different from the unmanned vehicle identification mode.

[0078] Со ссылкой на фиг. 1 и 2, система автоматического вождения получает по меньшей мере одно изображение окружающей обстановки и идентифицирует из изображений типы зон обрабатываемой земли и границу между зонами обрабатываемой земли. Система автоматического вождения получает изображение окружающей обстановки в окрестности при помощи режима фотографирования с неподвижным фокусом, режима видеозаписи, режима фотографирования в движении и т.д. Можно понять, что способ, которым система автоматического вождения получает изображения, представлен здесь лишь в качестве примера, а не в качестве ограничения. Система автоматического вождения содержит зерноперерабатывающую машину 10 и по меньшей мере одно устройство 20 получения изображений, при этом устройство 20 получения изображений получает по меньшей мере одно изображение обстановки в окрестности зерноперерабатывающей машины 10.[0078] With reference to FIG. 1 and 2, the automatic driving system acquires at least one image of the environment and identifies from the images types of cultivated areas and a boundary between cultivated areas. The automatic steering system acquires an image of the surrounding environment through the fixed focus photography mode, movie recording mode, motion photography mode, etc. It can be understood that the manner in which the automatic driving system acquires images is presented here only as an example and not as a limitation. The automatic driving system comprises a grain processing machine 10 and at least one image acquisition device 20, wherein the image acquisition device 20 acquires at least one image of the situation in the vicinity of the grain processing machine 10.

[0079] Предпочтительно, устройство 20 получения изображений установлено в зерноперерабатывающей машине 10. В одном варианте осуществления устройство 20 получения изображений принимает неподвижные или движущиеся изображения окрестности зерноперерабатывающей машины 10. Более предпочтительно, устройство 20 получения изображений установлено в передней части зерноперерабатывающей машины 10. В одном варианте осуществления устройство 20 получения изображений может получать изображения в реальном времени спереди от зерноперерабатывающей машины 10. Зерноперерабатывающая машина 10 идентифицирует зону обрабатываемой земли из изображений, полученных устройством 20 получения изображений, и устанавливает маршрут движения согласно разделенной зоне обрабатываемой земли. В одном варианте осуществления содержимое изображения, получаемого устройством 20 получения изображений, находится в пределах зоны видимости зерноперерабатывающей машины 10. Иначе говоря, устройство 20 получения изображений получает изображение в пределах зоны видимости зерноперерабатывающей машины 10 и корректирует направление перемещения зерноперерабатывающей машины 10 согласно положению ведущего устройства зерноперерабатывающей машины 10, установленного на зерноперерабатывающей машине 10.[0079] Preferably, the image pickup device 20 is installed in the grain processing machine 10. In one embodiment, the image pickup device 20 takes still or moving images of the surroundings of the grain processing machine 10. More preferably, the image pickup device 20 is installed in the front of the grain processing machine 10. In one In an embodiment, the image pickup device 20 can acquire real-time images from the front of the grain processing machine 10. The grain processing machine 10 identifies a cropland area from the images acquired by the image pickup device 20 and sets a driving route according to the divided cropland area. In one embodiment, the content of the image obtained by the image acquisition device 20 is within the field of view of the grain processing machine 10. In other words, the image acquisition device 20 acquires an image within the field of view of the grain processing machine 10 and corrects the direction of movement of the grain processing machine 10 according to the position of the master of the grain processing machine. machine 10 installed on the grain processing machine 10.

[0080] В одном варианте осуществления для получения изображения устройство 20 получения изображений получает изображения обстановки в направлении перемещения зерноперерабатывающей машины 10. В одном варианте осуществления изображение может представлять собой двумерное плоское изображение или трехмерное изображение. Можно понять, что тип изображения, получаемого устройством 20 получения изображений, описан здесь лишь в качестве примера, а не в качестве ограничения.[0080] In one embodiment, for image acquisition, the image acquisition device 20 acquires images of the environment in the direction of movement of the grain processing machine 10. In one embodiment, the image may be a two-dimensional flat image or a three-dimensional image. It can be understood that the type of image acquired by the image pickup apparatus 20 is described here only as an example and not as a limitation.

[0081] В одном варианте осуществления зерноперерабатывающая машина 10 выполнена с возможностью выполнения переработки зерна сельскохозяйственной культуры во время процесса движения, например, переработка зерна сельскохозяйственной культуры включает уборку, возделывание, плужную обработку, посев, защиту растений, уборочные операции и т.д., например, в первом варианте осуществления настоящего изобретения зерноперерабатывающая машина 10 представляет собой уборочное оборудование, и зерноперерабатывающая машина 10 управляется с целью движения по необработанной зоне 200 обрабатываемой земли для выполнения уборочной операции с целью уборки сельскохозяйственной культуры в пределах необработанной зоны 200 обрабатываемой земли. Сельскохозяйственная культура может представлять собой рис, пшеницу, кукурузу и т.д. Зерноперерабатывающая машина 10 выполняет автоматическое вождение по обрабатываемой земле согласно зоне, разделенной при помощи изображения, полученного устройством 20 получения изображений, и проводит беспилотное вождение в поле без водителя. Можно понять, что тип зерноперерабатывающей машины 10 приведен здесь лишь в качестве примера, а не в качестве ограничения.[0081] In one embodiment, the grain processing machine 10 is configured to perform crop grain processing during the driving process, for example, crop grain processing includes harvesting, cultivating, plowing, sowing, plant protection, harvesting operations, etc., for example, in the first embodiment of the present invention, the grain processing machine 10 is a harvesting equipment, and the grain processing machine 10 is controlled to move through the uncultivated cultivated area 200 to perform a harvesting operation to harvest a crop within the uncultivated cultivated land area 200. The crop may be rice, wheat, corn, etc. The grain processing machine 10 performs automatic driving on the cultivated land according to the area divided by the image acquired by the image acquisition device 20, and conducts unmanned driving in the field without a driver. It can be understood that the type of grain processing machine 10 is given here only as an example and not as a limitation.

[0082] Как показано на фиг. 3A - 3C, устройство 20 получения изображений получает изображения обстановки в окрестности зерноперерабатывающей машины 10 в реальном времени во время процесса движения зерноперерабатывающей машины 10. На фиг. 3А показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 представляет собой зерноуборочную машину. На основании того, убрано ли зерно, зона обрабатываемой земли делится на по меньшей мере одну неубранную зону 100а, по меньшей мере одну убранную зону 200а и по меньшей мере одну граничную зону 300а обрабатываемой земли. В одном варианте осуществления убранная зона 200а представляет собой зону, в которой сельскохозяйственная культура была убрана, и сельскохозяйственная культура в убранной зоне 200а убрана. Неубранная зона 100а представляет собой зону, в которой сельскохозяйственная культура по-прежнему присутствует, и в неубранной зоне 100а выращиваемая сельскохозяйственная культура по-прежнему присутствует. Граничная зона 300а обрабатываемой земли представляет собой гребень, разделяющий сельскохозяйственные культуры на обрабатываемой земле, наружную границу вокруг обрабатываемой земли, препятствие или непригодную для возделывания зону на обрабатываемой земле. В одном варианте осуществления в граничной зоне 300а обрабатываемой земли сельскохозяйственная культура отсутствует.[0082] As shown in FIG. 3A to 3C, the image acquisition device 20 acquires real-time images of the surroundings of the grain processing machine 10 during the moving process of the grain processing machine 10. In FIG. 3A shows an image captured by the imaging apparatus 20 when the grain processing machine 10 is a grain harvester. Based on whether grain is harvested, the cultivated land area is divided into at least one unharvested zone 100a, at least one harvested zone 200a, and at least one marginal cultivated land zone 300a. In one embodiment, the harvested zone 200a is an area in which a crop has been harvested and the crop in the harvested zone 200a has been harvested. The unharvested area 100a is the area in which the crop is still present, and in the unharvested area 100a, the crop being grown is still present. Cultivated land boundary zone 300a is a ridge separating crops on cultivated land, an outer boundary around cultivated land, an obstacle, or an uncultivable area on cultivated land. In one embodiment, there is no crop in the cropland boundary zone 300a.

[0083] На фиг. 3В показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 представляет собой машину для возделывания зерновых культур. Зона обрабатываемой земли делится на по меньшей мере одну невозделанную зону 100b, по меньшей мере одну возделанную зону 200b и по меньшей мере одну граничную зону 300b обрабатываемой земли, при этом невозделанная зона 100b представляет собой зону, в которой сельскохозяйственная культура не была возделана, а возделанная зона 200b представляет собой зону, в которой сельскохозяйственная культура была возделана. Граничная зона 300b обрабатываемой земли представляет собой гребень, разделяющий разные сельскохозяйственные культуры на обрабатываемой земле, наружную границу вокруг обрабатываемой земли или зону препятствия на обрабатываемой земле.[0083] FIG. 3B shows an image captured by the imaging apparatus 20 when the grain processing machine 10 is a cereal processing machine. The cultivated land zone is divided into at least one uncultivated zone 100b, at least one cultivated zone 200b, and at least one boundary cultivated land zone 300b, with the uncultivated zone 100b being the zone in which the crop has not been cultivated, but the cultivated zone 200b is the zone in which the crop has been cultivated. The cropland boundary zone 300b is a ridge separating different crops on the cropland, an outer boundary around the cropland, or an obstruction zone on the cropland.

[0084] На фиг. 3С показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 используется в качестве устройства защиты растений, такого как устройство для опрыскивания пестицидами. Зона на обрабатываемой земле делится на по меньшей мере одну неопрысканную зону 100с, по меньшей мере одну опрысканную зону 200с и по меньшей мере одну граничную зону 300с обрабатываемой земли. Неопрысканная зона 100с представляет собой зону, в которой сельскохозяйственные культуры не были опрысканы пестицидом, опрысканная зона 200с представляет собой зону, в которой сельскохозяйственные культуры были опрысканы пестицидом, и граница 300b обрабатываемой земли представляет собой гребень, разделяющий сельскохозяйственные культуры на обрабатываемой земле, наружную границу обрабатываемой земли или зону, в которой на обрабатываемой земле имеются препятствия.[0084] FIG. 3C shows an image captured by the imaging device 20 when the grain processing machine 10 is used as a crop protection device such as a pesticide sprayer. The zone on cultivated land is divided into at least one unsprayed zone 100c, at least one sprayed zone 200c, and at least one boundary zone of cultivated land 300c. The unsprayed area 100c is the area in which the crops have not been sprayed with the pesticide, the sprayed area 200c is the area in which the crops have been sprayed with the pesticide, and the cultivated land boundary 300b is a ridge separating the crops on the cultivated land, the outer boundary of the cultivated land or an area in which there are obstacles on the cultivated land.

[0085] Как показано на фиг. 1 и фиг. 4, при помощи способа распознавания и сегментации изображений из изображения, полученного устройством 20 получения изображений, идентифицируются необработанная зона 100, обработанная зона 200 и граничная зона 300 обрабатываемой земли, и распознаются границы между зонами (необработанной зоной 100, обработанной зоной 200 и граничной зоной 300 обрабатываемой земли). Система автоматического вождения для переработки зерна дополнительно содержит систему 30 обработки изображений, при этом система 30 обработки изображений идентифицирует необработанную зону 100, обработанную зону 200 и граничную зону 300 обрабатываемой земли из изображения, полученного устройством 20 получения изображений.[0085] As shown in FIG. 1 and FIG. 4, using the image recognition and segmentation method, from an image acquired by the image acquisition apparatus 20, the untreated area 100, the cultivated area 200, and the boundary area 300 of the cultivated land are identified, and the boundaries between the areas (the untreated area 100, the treated area 200, and the boundary area 300) are recognized. cultivated land). The automatic driving system for grain processing further comprises an image processing system 30, wherein the image processing system 30 identifies an unprocessed area 100, a processed area 200, and a cultivated land boundary area 300 from an image acquired by the imaging device 20 .

[0086] Следует отметить, что система 30 обработки изображений использует способ распознавания и сегментации изображений для идентификации из изображения зон и границ, и зоны представляют собой зоны обрабатываемой земли спереди от зерноперерабатывающей машины 10. Границы представляют собой границы обрабатываемой земли спереди от зерноперерабатывающей машины 10. На основе зон и границ, идентифицированных системой 30 обработки изображений, с использованием технологии распознавания и сегментации изображений осуществляется управление зерноперерабатывающей машиной 10 с целью ее передвижения и эксплуатации в необработанной зоне на обрабатываемой земле. Например, устройство 20 получения изображений, установленное на переднем конце уборочного устройства получает изображение обрабатываемой земли спереди от уборочного устройства, при этом изображение, захваченное устройством 20 получения изображений, сегментируется и идентифицируется системой 30 обработки изображений с целью идентификации необработанной зоны 100, обработанной зоны 200, рабочей зоны 200 и граничной зоны 300 обрабатываемой земли. Зерноперерабатывающая машина 10, то есть машина уборочного устройства, планирует траекторию движения транспортного средства и операцию уборки на основе зон и границ, идентифицированных системой 30 обработки изображений.[0086] It should be noted that the image processing system 30 uses an image recognition and segmentation method to identify areas and boundaries from an image, and the areas are areas of cultivated land in front of the grain processing machine 10. The boundaries represent the boundaries of cultivated land in front of the grain processing machine 10. Based on the zones and boundaries identified by the image processing system 30, the grain processing machine 10 is controlled to move and operate in an uncultivated area on cultivated land using image recognition and segmentation technology. For example, the image acquisition device 20 installed at the front end of the harvester acquires an image of the cultivated land in front of the harvester, and the image captured by the image acquisition device 20 is segmented and identified by the imaging system 30 to identify the untreated area 100, the treated area 200, working area 200 and boundary zone 300 cultivated land. The grain processing machine 10, that is, the harvesting machine, plans the vehicle path and the harvesting operation based on the zones and boundaries identified by the image processing system 30 .

[0087] Следует отметить, что система 30 обработки изображений использует технологию распознавания и сегментации изображений для идентификации типа сельскохозяйственной культуры, высоты сельскохозяйственной культуры, зрелости и другой информации из изображения, захваченного устройством 20 получения изображений. Система 30 обработки изображений может определять, была ли убрана сельскохозяйственная культура, на основе типа сельскохозяйственной культуры и высоты сельскохозяйственной культуры на идентифицированном изображении. Система 30 обработки изображений может использоваться для корректировки эксплуатационных параметров на основе налива зерна на идентифицированном изображении. Иначе говоря, система 30 обработки изображений может идентифицировать тип зоны обрабатываемой земли и границу обрабатываемой земли согласно изображению, захваченному устройством 20 получения изображений, и идентифицировать тип, высоту, налив зерна, зрелость сельскохозяйственной культуры и т.д. для сельскохозяйственной культуры на обрабатываемой земле.[0087] It should be noted that the image processing system 30 uses image recognition and segmentation technology to identify crop type, crop height, maturity, and other information from an image captured by the imaging device 20 . The imaging system 30 may determine whether a crop has been harvested based on the crop type and crop height in the identified image. The image processing system 30 may be used to adjust performance parameters based on grain loading in the identified image. In other words, the image processing system 30 can identify the type of cultivated area and the border of cultivated land according to the image captured by the image acquisition device 20, and identify the type, height, grain filling, crop maturity, and so on. for crops on cultivated land.

[0088] В одном варианте осуществления система 30 обработки изображений идентифицирует и сегментирует изображение, полученное устройством 20 получения изображений, на зоны и границы изображения на основе одного из способа сегментации на основе порогового значения, способа сегментации на основе области, способа сегментации на основе края и способа сегментации на основе конкретной теории. В одном варианте осуществления система 30 обработки изображений использует алгоритм глубокого обучения для сегментации и идентификации изображения и выполнения разделения зон и определения границ на изображении. Иначе говоря, система 30 обработки изображений использует алгоритм глубокого обучения для идентификации из изображения зон обрабатываемой земли и границы обрабатываемой земли, и зерноперерабатывающая машина передвигается и эксплуатируется согласно идентифицированным зонам обрабатываемой земли и границе обрабатываемой земли. Более предпочтительно, система 30 обработки изображений в качестве алгоритма глубокого обучения использует для идентификации из изображения необработанной зоны 100, обработанной зоны 200 и граничной зоны 300 обрабатываемой земли технологию сегментации и идентификации изображений алгоритма сверточной нейросети.[0088] In one embodiment, the image processing system 30 identifies and segments the image acquired by the image pickup device 20 into regions and image boundaries based on one of a threshold-based segmentation method, an area-based segmentation method, an edge-based segmentation method, and method of segmentation based on a specific theory. In one embodiment, the image processing system 30 uses a deep learning algorithm to segment and identify an image and perform zone separation and edge detection on the image. In other words, the image processing system 30 uses a deep learning algorithm to identify the cropland areas and the cropland boundary from the image, and the grain processing machine moves and operates according to the identified cropland areas and the cropland boundary. More preferably, the image processing system 30 uses, as a deep learning algorithm, the image segmentation and identification technology of the convolutional neural network algorithm to identify the unprocessed area 100, the processed area 200, and the cultivated land boundary area 300 from the image.

[0089] Следует упомянуть, что алгоритм обработки, используемый системой 30 обработки изображений, представляет собой лишь пример, а не ограничение. Поэтому система 30 обработки изображений также может использовать для идентификации из изображения зоны обрабатываемой земли и границы обрабатываемой земли и другие алгоритмы сегментации и идентификации полученного изображения.[0089] It should be mentioned that the processing algorithm used by the image processing system 30 is only an example and not a limitation. Therefore, the image processing system 30 may also use other algorithms for segmenting and identifying the resulting image to identify the cropland area and the cropland boundary from the image.

[0090] Со ссылкой на фиг. 5A и фиг. 6, система 30 обработки изображений сегментирует изображение, полученное устройством 20 получения изображений, на множество пиксельных областей 301, при этом каждая из пиксельных областей 301 содержит по меньшей мере один пиксельный элемент. Следует отметить, что изображение соответствует зоне в окрестности зерноперерабатывающей машины 10, и, соответственно, пиксельная зона 301 изображения соответствует обрабатываемой земле в конкретной зоне или информации изображения о сельскохозяйственной культуре. Каждая пиксельная область 301, образованная путем сегментации нормализуется таким образом, что пиксельный элемент пиксельной области 301 нормализуется до некоторого значения или как часть массива, соответствующего величине значения пикселя. Иначе говоря, система 30 обработки изображений нормализует сегментированную пиксельную область 301 в соответствующие значения или массивы для системы обработки изображений, извлекающей признаки изображений и разделяющей зоны.[0090] With reference to FIG. 5A and FIG. 6, the image processing system 30 segments the image acquired by the image pickup apparatus 20 into a plurality of pixel regions 301, each of the pixel regions 301 containing at least one pixel element. It should be noted that the image corresponds to an area in the vicinity of the grain processing machine 10, and accordingly, the pixel area 301 of the image corresponds to the cultivated land in a particular area or crop information of the image. Each pixel region 301 formed by segmentation is normalized such that a pixel element of the pixel region 301 is normalized to some value or as part of an array corresponding to the magnitude of the pixel value. In other words, the image processing system 30 normalizes the segmented pixel area 301 into appropriate values or arrays for the image processing system to extract image features and separate areas.

[0091] Система 30 обработки изображений извлекает признаки изображений, соответствующие пиксельной области 301, на основе массива, который соответствует каждой пиксельной области 301. Система 30 обработки изображений получает признаки изображения, соответствующие пиксельной области 301, согласно массиву, который соответствует пиксельной области 301. В одном варианте осуществления, когда система 30 обработки изображений использует алгоритм сверточной нейросети, такой как двумерная сверточная нейросеть, входной слой сверточной нейросети соответствует двумерному массиву или трехмерному массиву в пиксельной зоне 301. Скрытый слой сверточной нейросети извлекает признаки из массива входного слоя, выбирает признаки и фильтрует признаки после их извлечения. Сверточная нейросеть выводит метку классификации пиксельной зоны 301 на основе признаков, соответствующих массиву, и эта метка классификации соответствует необработанной зоне 100, обработанной зоне 200 или граничной зоне 300 обрабатываемой земли.[0091] The image processing system 30 extracts the image features corresponding to the pixel area 301 based on the array that corresponds to each pixel area 301. The image processing system 30 obtains the image features corresponding to the pixel area 301 according to the array that corresponds to the pixel area 301. In in one embodiment, when image processing system 30 uses a convolutional neural network algorithm such as a 2D convolutional neural network, the input layer of the convolutional neural network corresponds to a 2D array or a 3D array in pixel zone 301. The hidden layer of the convolutional network extracts features from the input layer array, selects the features, and filters signs after extraction. The convolutional neural network outputs a classification label of the pixel zone 301 based on the features corresponding to the array, and this classification label corresponds to the uncultivated zone 100, the cultivated zone 200, or the border zone 300 of the cultivated land.

[0092] Со ссылкой на фиг. 6 и фиг. 7, система 30 обработки изображений идентифицирует признаки области, соответствующие пиксельной области 301, путем извлечения признаков массива пиксельной области 301. В одном варианте осуществления признаки, соответствующие пиксельной области 301, включают признак высоты растений сельскохозяйственной культуры, расстояние между растениями сельскохозяйственной культуры на обрабатываемой земле, цвет сельскохозяйственной культуры, цвет почвы обрабатываемой земли, признаки типа сельскохозяйственной культуры, признаки высоты сельскохозяйственной культуры, расстояние между сельскохозяйственной культурой на обрабатываемой земле, признаки цвета сельскохозяйственной культуры, признаки цвета обрабатываемой земли, признаки типа сельскохозяйственной культуры, признаки обрабатываемой земли, налив зерна, количество сельскохозяйственной культуры и т.д. Система 30 обработки изображений выводит метку классификации, соответствующую пиксельной области 301, согласно извлеченным признакам. В одном варианте осуществления метка классификации соответствующим образом идентифицирует тип зоны и границу, соответствующие пиксельной области 301, на основе извлеченных признаков.[0092] With reference to FIG. 6 and FIG. 7, the imaging system 30 identifies area features corresponding to the pixel area 301 by extracting the features of the pixel area 301 array. Crop Color, Cropland Soil Color, Crop Type Features, Crop Height Features, Crop Distance on Cropland, Crop Color Features, Cropland Color Features, Crop Type Features, Cropland Features, Grain Fill, Quantity agricultural crops, etc. The image processing system 30 outputs a classification mark corresponding to the pixel area 301 according to the extracted features. In one embodiment, the classification label appropriately identifies the zone type and boundary corresponding to the pixel region 301 based on the extracted features.

[0093] Со ссылкой на фиг. 5B, система 30 обработки изображений содержит модуль 31 сегментации изображений, модуль 32 признаков и модуль 33 разделения зон. Модуль 31 сегментации изображений получает изображение, захваченное устройством 20 получения изображений, и генерирует множество пиксельных областей 301 путем сегментации и обработки изображения. В одном варианте осуществления каждая пиксельная область 301 содержит по меньшей мере один пиксельный элемент. Модуль 32 признаков использует алгоритм глубокого обучения для извлечения типа признака пиксельной зоны 301, выбирает признак и фильтрует этот признак. Модуль 33 разделения зон разделяет изображение на основе признаков пиксельной области 301, извлеченных модулем 32 признаков, для генерирования метки классификации, соответствующей необработанной зоне 100, обработанной зоне 200 и граничной зоне 300 обрабатываемой земли.[0093] With reference to FIG. 5B, the image processing system 30 includes an image segmentation module 31, a feature module 32, and an area separation module 33. The image segmentation unit 31 receives the image captured by the image acquisition apparatus 20 and generates a plurality of pixel regions 301 by segmenting and processing the image. In one embodiment, each pixel region 301 contains at least one pixel element. The feature module 32 uses a deep learning algorithm to extract the feature type of the pixel zone 301, selects the feature, and filters the feature. The zone separation module 33 separates the image based on the features of the pixel area 301 extracted by the feature module 32 to generate a classification mark corresponding to the uncultivated zone 100, the cultivated zone 200, and the boundary zone 300 of the cultivated land.

[0094] В одном варианте осуществления модуль 31 сегментации изображений разделяет изображение на множество пиксельных областей 301, и каждая пиксельная область 301 имеет одни и те же размер, форму и диапазон. Следует отметить, что модуль 31 сегментации изображений может сегментировать изображение согласно пороговому значению пикселя изображения. То есть размер, форма и диапазон пиксельной области 301, сегментированной модулем 31 сегментации изображений, могут отличаться. В одном варианте осуществления, когда в модуле 32 признаков системы 30 обработки изображений принят для сегментации изображения алгоритм сверточной нейросети, пиксельная зона 301, разделенная модулем 31 сегментации изображений, представляет собой один пиксельный элемент.[0094] In one embodiment, the image segmentation module 31 divides an image into a plurality of pixel areas 301, and each pixel area 301 has the same size, shape, and range. Note that the image segmentation unit 31 may segment an image according to a threshold value of an image pixel. That is, the size, shape, and range of the pixel area 301 segmented by the image segmentation unit 31 may differ. In one embodiment, when the feature module 32 of the image processing system 30 adopts a convolutional neural network algorithm for image segmentation, the pixel area 301 divided by the image segmentation module 31 is one pixel element.

[0095] В одном варианте осуществления модуль 32 признаков содержит модуль 321 обработки пикселей, модуль 322 извлечения признаков и модуль 323 вывода признаков. Модуль 321 обработки пикселей обрабатывает массив пиксельного элемента в пиксельной зоне 301. В одном варианте осуществления модуль 321 обработки пикселей нормализует пиксельную зону 301 в массив, подходящий для обработки. Модуль 322 извлечения признаков вводит массив пиксельной зоны 301, обработанный модулем 321 обработки пикселей, извлекает тип признаков, соответствующих этому массиву, выбирает признаки и фильтрует эти признаки с целью накопления данных в отношении доступности и исключения данных в отношении помех с тем, чтобы сделать признаки более подготовленными. Модуль 323 вывода признаков выводит признаки, извлеченные модулем 322 извлечения признаков, и модуль 33 разделения зон генерирует метку классификации соответствующей зоны в комбинации с признаками, выводимыми модулем 323 вывода признаков.[0095] In one embodiment, the feature module 32 includes a pixel processing module 321, a feature extraction module 322, and a feature output module 323. Pixel processing module 321 processes an array of pixel element in pixel area 301. In one embodiment, pixel processing module 321 normalizes pixel area 301 into an array suitable for processing. The feature extraction unit 322 inputs the array of pixel area 301 processed by the pixel processing unit 321, extracts the type of features corresponding to the array, selects the features, and filters the features to accumulate availability data and eliminate interference data so as to make the features more prepared. The feature output module 323 outputs the features extracted by the feature extractor 322, and the zone separation module 33 generates a classification mark of the corresponding zone in combination with the features output by the feature output module 323.

[0096] Модуль 33 разделения зон разделяет зоны изображения и устанавливает границы зон на основе признаков пиксельной области 301, извлеченных модулем 32 признаков. Соответственно, модуль 33 разделения зон дополнительно включает модуль 331 разделения зон и модуль 332 разделения границ. Модуль 331 разделения зон разделяет разные зоны согласно признакам пиксельной области 301, а модуль 332 разделения границ разделяет граничный диапазон зон с целью определения диапазона каждой зоны.[0096] The zone separating module 33 separates the zones of the image and sets the boundaries of the zones based on the features of the pixel area 301 extracted by the feature module 32. Accordingly, the area separation unit 33 further includes an area separation unit 331 and a boundary separation unit 332. The area separating unit 331 separates different areas according to the characteristics of the pixel area 301, and the boundary separating unit 332 separates the boundary range of the areas to determine the range of each area.

[0097] Во время движения зерноперерабатывающей машины 10 системы автоматического вождения для переработки зерна устройство 20 получения изображений получает изображения вида спереди от зерноперерабатывающей машины 10 в реальном времени. Соответственно, система 30 обработки изображений получает изображение, захваченное устройством 20 получения изображений в реальном времени, и использует технологию сегментации и идентификации изображений для идентификации разделенной зоны и граничного диапазона зоны, соответствующего обрабатываемой земле на изображении. Когда разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, не согласуются с предыдущим граничным диапазоном зоны, идентифицированная зона и граничный диапазон зоны, соответствующие изображению, корректируются.[0097] During the movement of the grain processing machine 10 of the grain processing automatic driving system, the image acquisition device 20 acquires front view images of the grain processing machine 10 in real time. Accordingly, the image processing system 30 acquires the image captured by the real-time image acquisition apparatus 20 and uses the image segmentation and identification technology to identify the divided area and the boundary range of the area corresponding to the cultivated land in the image. When the divided zone and the zone limit range identified by the image processing system 30 do not match with the previous zone limit range, the identified zone and the zone limit range corresponding to the image are corrected.

[0098] Со ссылкой на фиг. 8, в ходе движения возникают такие проблемы, как вибрация и отклонение от направления. Когда направление движения зерноперерабатывающей машины 10 отклоняется, или разделенная зона изменяется вследствие вибрации транспортного средства, система 30 обработки изображений в реальном времени обновляет разделенную зону и граничный диапазон зоны изображения.[0098] With reference to FIG. 8, problems such as vibration and yaw occur during movement. When the direction of movement of the grain processing machine 10 deviates or the divided area changes due to vehicle vibration, the real-time image processing system 30 updates the divided area and the boundary range of the image area.

[0099] Со ссылкой на фиг. 1, система автоматического вождения дополнительно содержит устройство 40 определения положения и навигационную систему 50. В одном варианте осуществления устройство 40 определения положения расположено на зерноперерабатывающей машине 10. Устройство 40 определения положения получает информацию о положении зерноперерабатывающей машины 10. В одном варианте осуществления устройство 40 определения положения использует информацию о положении спутника для получения информации о положении зерноперерабатывающей машины 10. Устройство 40 определения положения может представлять собой устройство GPS или навигационное устройство Beidou. Навигационная система 50 расположена на зерноперерабатывающей машине 10. Навигационная система 50 обеспечивает навигацию для зерноперерабатывающей машины 10. Зерноперерабатывающая машина 10 выполняет автоматическое вождение и эксплуатацию на основе информации о положении устройства 40 определения положения и информации о планировании зон (такой как разделенные зоны и граничный диапазон зон), полученной системой 30 обработки изображений, а также навигационной информации навигационной системы 50.[0099] With reference to FIG. 1, the automatic driving system further comprises a positioning device 40 and a navigation system 50. In one embodiment, the positioning device 40 is located on the grain processing machine 10. The positioning device 40 receives information about the position of the grain processing machine 10. In one embodiment, the positioning device 40 uses the position information of the satellite to obtain the position information of the grain processing machine 10. The position determination device 40 may be a GPS device or a Beidou navigation device. The navigation system 50 is located on the grain processing machine 10. The navigation system 50 provides navigation for the grain processing machine 10. The grain processing machine 10 performs automatic driving and operation based on the position information of the position determination device 40 and zone planning information (such as divided zones and border range of zones ) received by the image processing system 30 as well as navigation information of the navigation system 50.

[00100] Следует отметить, что разделенная зона и граничный диапазон обрабатываемой земли, полученные системой 30 обработки изображений, обрабатывающей изображение, обновляются согласно навигационной системе 50 в реальном времени для обновления навигационной информации навигационной системы 50. В одном варианте осуществления навигационная система 50 может представлять собой встроенную инерционную навигационную систему. Понятно, что типы навигационной системы 50 по существу являются здесь лишь примером, а не ограничением, и, таким образом, навигационная система 50 также может представлять собой навигационные устройства других типов.[00100] It should be noted that the divided area and the boundary range of the cultivated land obtained by the image processing system 30 processing the image are updated according to the navigation system 50 in real time to update the navigation information of the navigation system 50. In one embodiment, the navigation system 50 may be built-in inertial navigation system. It will be understood that the types of navigation system 50 are essentially exemplary and not limiting here, and thus navigation system 50 may also be other types of navigation devices.

[00101] Соответственно, зерноперерабатывающая машина 10 системы автоматического вождения для переработки зерна содержит транспортное средство 11, систему 12 эксплуатации, расположенную на транспортном средстве 11, и систему 13 управления движением. В одном варианте осуществления система 12 эксплуатации приводится в движение транспортным средством 11 и выполняет операцию переработки зерна, такую как уборочная операция. Система 13 управления движением управляет движением транспортного средства 11 и работой системы 12 эксплуатации. Следует упомянуть, система 13 управления движением имеет беспилотный режим и режим вождения оператором. Когда система автоматического вождения для переработки зерна находится в беспилотном режиме, система 13 управления движением автоматически управляет работой транспортного средства 11 и системы 12 эксплуатации. Соответственно, когда система автоматического вождения для переработки зерна находится в режиме вождения оператором, система 13 управления движением позволяет водителю вручную управлять транспортным средством 11 и работой системы эксплуатации.[00101] Accordingly, the grain processing machine 10 of the automatic driving system for grain processing includes a vehicle 11, an operation system 12 located on the vehicle 11, and a traffic control system 13. In one embodiment, the operating system 12 is driven by the vehicle 11 and performs a grain processing operation, such as a harvesting operation. The traffic control system 13 controls the movement of the vehicle 11 and the operation of the operation system 12 . It should be mentioned that the traffic control system 13 has an unmanned mode and an operator driving mode. When the automatic driving system for grain processing is in an unmanned mode, the traffic control system 13 automatically controls the operation of the vehicle 11 and the operation system 12. Accordingly, when the automatic driving system for grain processing is in the driver's driving mode, the traffic control system 13 allows the driver to manually control the vehicle 11 and the operation of the operating system.

[00102] В одном варианте осуществления система автоматического вождения для переработки зерна представляет собой уборочное устройство, при этом система 12 эксплуатации может представлять собой устройство для выполнения уборочной операции. Система 13 управления движением управляет движением транспортного средства 11 и работой системы 12 эксплуатации. Иначе говоря, система 13 управления движением управляет корректировкой эксплуатационных параметров системы 12 эксплуатации во время движения транспортного средства 11. Система 13 управления движением получает информацию системы 30 обработки изображений, такую как тип сельскохозяйственной культуры, высота сельскохозяйственной культуры, налив зерна, диаметр стеблей сельскохозяйственной культуры и т.д., и на основе полученной информации корректирует эксплуатационные параметры системы 12 эксплуатации, такие как рабочая скорость, ширина и высота системы 12 эксплуатации, и параметры среза или обмолота.[00102] In one embodiment, the automatic driving system for processing grain is a harvesting device, while the operating system 12 may be a device for performing a harvesting operation. The traffic control system 13 controls the movement of the vehicle 11 and the operation of the operation system 12 . In other words, the motion control system 13 controls the adjustment of operating parameters of the operation system 12 while the vehicle 11 is moving. The motion control system 13 receives information from the image processing system 30 such as crop type, crop height, grain loading, crop stem diameter, and etc., and based on the information received, adjusts the operating parameters of the operating system 12, such as operating speed, width and height of the operating system 12, and cutting or threshing parameters.

[00103] На фиг. 9 настоящего описания показана реализация системы автоматического вождения в области беспилотной работы и уборочной операции. Когда система 13 управления движением зерноперерабатывающей машины 10 находится в беспилотном режиме, система 13 управления движением получает информацию о положении транспортного средства 11, предоставляемую устройством 40 определения положения, навигационную информацию, предоставляемую навигационной системой 50, и идентификационную информацию зоны, предоставляемую системой 30 обработки изображений, при помощи которых осуществляется управление перемещением транспортного средства 11 в необработанной зоне 100 обрабатываемой земли с целью выполнения операции уборки зерна. Во время операции движения устройство 20 получения изображений в реальном времени получает изображение спереди от транспортного средства 11, при этом изображение идентифицируется системой 30 обработки изображений с использованием технологии распознавания и сегментации изображений с целью идентификации зоны и граничного диапазона зоны. Когда разделенная зона и граничный диапазон зоны, полученные системой 30 обработки изображений, не согласуются с предыдущей зоной и граничным диапазоном, система 30 обработки изображений заменяет исходную зону и граничный диапазон зоны, и обновляет навигационные данные навигационной системы 50 так, что система 13 управления движением получает новую навигационную информацию для корректировки движения и рабочего маршрута транспортного средства 11.[00103] FIG. 9 of the present description shows the implementation of the automatic driving system in the field of unmanned operation and harvesting operation. When the motion control system 13 of the grain processing machine 10 is in unmanned mode, the motion control system 13 receives the position information of the vehicle 11 provided by the position determination device 40, the navigation information provided by the navigation system 50, and the area identification information provided by the image processing system 30, by means of which the movement of the vehicle 11 is controlled in the uncultivated zone 100 of the cultivated land in order to perform the grain harvesting operation. During the driving operation, the real-time image acquisition device 20 acquires an image from the front of the vehicle 11, and the image is identified by the image processing system 30 using image recognition and segmentation technology to identify the area and the boundary range of the area. When the split zone and zone limit range obtained by the imaging system 30 do not match with the previous zone and limit range, the image processing system 30 replaces the original zone and zone limit range, and updates the navigation data of the navigation system 50 so that the motion control system 13 receives new navigation information to correct the movement and working route of the vehicle 11.

[00104] Как показано на фиг. 10-11В, на основе информации о положении зерноперерабатывающей машины 10, полученной устройством 40 определения положения, информации о планировании зон, идентифицированной системой 30 обработки изображений, и навигационной информации навигационной системы 50 система автоматического вождения для переработки зерна генерирует по меньшей мере одну запланированную траекторию. Система 13 управления движением зерноперерабатывающей машины 10 управляет движением транспортного средства 11 и работой системы 12 эксплуатации согласно сгенерированной запланированной траектории. В одном варианте осуществления система автоматического вождения для переработки зерна дополнительно содержит систему 60 планирования траектории, при этом система 60 планирования траектории планирует по меньшей мере одну траекторию движения транспортного средства 11 для зерноперерабатывающей машины 10. Система 60 планирования траектории получает информацию о положении устройства 40 определения положения, получает информацию изображения о планировании зон, идентифицированную системой 30 обработки изображений, получает навигационную информацию навигационной системы 50 и планирует траекторию движения транспортного средства 11 согласно полученной информации.[00104] As shown in FIG. 10-11B, based on the position information of the grain processing machine 10 obtained by the position determination device 40, the area planning information identified by the image processing system 30, and the navigation information of the navigation system 50, the grain processing automatic driving system generates at least one planned trajectory. The motion control system 13 of the grain processing machine 10 controls the movement of the vehicle 11 and the operation of the operating system 12 according to the generated planned trajectory. In one embodiment, the automatic driving system for grain processing further comprises a trajectory planning system 60, wherein the trajectory planning system 60 plans at least one trajectory of the vehicle 11 for the grain processing machine 10. The trajectory planning system 60 receives information about the position of the position determination device 40 , obtains the area planning image information identified by the image processing system 30, acquires the navigation information of the navigation system 50, and plans the trajectory of the vehicle 11 according to the received information.

[00105] Со ссылкой на фиг. 11A и фиг. 11B, система 60 планирования траектории идентифицирует или устанавливает по меньшей мере одну эксплуатационную зону 601 и по меньшей мере одну границу 602 эксплуатационной зоны на обрабатываемой земле, при этом эксплуатационная зона 601 представляет собой наибольший диапазон эксплуатации системы автоматического вождения для переработки зерна, и система 13 управления движением управляет перемещением транспортного средства 11 в пределах границы 602 эксплуатационной зоны. Следует отметить, что эксплуатационную зону 601 и границу 602 эксплуатационной зоны можно идентифицировать при помощи системы 30 обработки изображений, идентифицирующей граничную зону 300 обрабатываемой земли на изображении. Альтернативно, эксплуатационную зону 601 системы автоматического вождения может устанавливать система 60 планирования траектории.[00105] With reference to FIG. 11A and FIG. 11B, the trajectory planning system 60 identifies or establishes at least one operational zone 601 and at least one operational zone boundary 602 in cultivated land, wherein the operational zone 601 represents the largest operating range of the automatic driving system for grain processing, and the control system 13 motion controls the movement of the vehicle 11 within the border 602 of the operational zone. It should be noted that the operational zone 601 and the boundary 602 of the operational zone can be identified using the image processing system 30 identifying the boundary zone 300 of the cultivated land in the image. Alternatively, the operating area 601 of the automatic driving system may be set by the trajectory planning system 60 .

[00106] Система 60 планирования траектории планирует по меньшей мере одну траекторию движения на основе самой внешней части границы 602 эксплуатационной зоны 601. Когда ширина эксплуатационной зоны 601 больше рабочей ширины системы 12 эксплуатации, система 60 планирования траектории планирует маршрут движения «круговой» формы или маршрут движения s-образной формы. Следует отметить, что способ, которым маршрут движения планируется системой 60 планирования траектории, представляет собой лишь пример, а не ограничение. Поэтому также могут применяться другие маршруты движения.[00106] The trajectory planning system 60 plans at least one trajectory based on the outermost portion of the operational zone boundary 602 601. s-shaped movements. It should be noted that the manner in which the travel route is planned by the path planning system 60 is only an example and not a limitation. Therefore, other traffic routes can also be applied.

[00107] В одном варианте осуществления, когда транспортное средство 11 перемещается к границе на дальнем конце эксплуатационной зоны 601, система 60 планирования траектории изменяет план по меньшей мере одной траектории движения на основе диапазона текущей необработанной зоны 100. То есть когда транспортное средство 11 движется к дальнему концу эксплуатационной зоны 601, эксплуатационная зона 601 и граница 602 эксплуатационной зоны обновляются системой 60 планирования траектории для транспортного средства 11, и согласно обновленной эксплуатационной зоне 601 планируется новая траектория движения.[00107] In one embodiment, when the vehicle 11 travels to the boundary at the far end of the operational area 601, the trajectory planning system 60 changes the plan of at least one trajectory of movement based on the range of the current untreated zone 100. That is, when the vehicle 11 moves to the far end of the operational zone 601, the operational zone 601 and the boundary 602 of the operational zone are updated by the trajectory planning system 60 for the vehicle 11, and according to the updated operational zone 601, a new trajectory is planned.

[00108] Следует отметить, что система 13 управления движением управляет транспортным средством 11 с целью движения согласно траектории движения, запланированной системой 60 планирования траектории. В одном варианте осуществления система 13 управления движением управляет системой 12 эксплуатации с целью уборки самой внешней сельскохозяйственной культуры эксплуатационной зоны 401. То есть система 13 управления движением управляет системой 12 эксплуатации с целью уборки сельскохозяйственной культуры в необработанной зоне 100 на основе границы 602 эксплуатационной зоны.[00108] It should be noted that the traffic control system 13 controls the vehicle 11 to move according to the trajectory planned by the trajectory planning system 60 . In one embodiment, the traffic control system 13 controls the operation system 12 to harvest the outermost crop of the production area 401. That is, the movement control system 13 controls the operation system 12 to harvest the crop in the untreated area 100 based on the boundary 602 of the production area.

[00109] Со ссылкой на фиг. 10, система 60 планирования траектории системы автоматического вождения для переработки зерна содержит модуль 61 установки зоны, модуль 62 планирования траектории и модуль 63 корректировки траектории. Модуль 61 установки зоны идентифицирует эксплуатационную зону 601 и границу 602 эксплуатационной зоны обрабатываемой земли на основе системы 30 обработки изображений, идентифицирующей граничную зону обрабатываемой земли на изображении, или на основе установки зерноперерабатывающей машины на эксплуатацию в эксплуатационной зоне 601 в пределах границы 602 эксплуатационной зоны на обрабатываемой земле. Так как эксплуатация зерноперерабатывающей машины 10 вызывает изменение необработанной зоны 100 и обработанной зоны 200, модуль 61 установки зоны в реальном времени обновляет диапазон эксплуатационной зоны 601 и границу 602 эксплуатационной зоны с целью генерирования новой необработанной зоны 100 и новой обработанной зоны 200.[00109] With reference to FIG. 10, the trajectory planning system 60 of the automatic driving system for grain processing includes a zone setting unit 61, a trajectory planning unit 62, and a trajectory correction unit 63. The zone setting module 61 identifies the operational zone 601 and the boundary 602 of the operational zone of the cultivated land based on the image processing system 30 identifying the boundary zone of the cultivated land in the image, or based on the setting of the grain processing machine to operate in the operational zone 601 within the boundary 602 of the operational zone on the cultivated earth. Since the operation of the grain processing machine 10 causes the untreated area 100 and the treated area 200 to change, the real-time area setting module 61 updates the operational area range 601 and the operational area boundary 602 to generate a new untreated area 100 and a new treated area 200.

[00110] Модуль 62 планирования траектории получает по меньшей мере одну запланированную траекторию 603 движения на основе информации о положении зерноперерабатывающей машины 10, информации изображения о планировании зон, идентифицированной системой 30 обработки изображений, и навигационной информации навигационной системы 50. В одном варианте осуществления система 13 управления движением управляет транспортным средством 11 с целью движения согласно запланированной траектории 603 движения. Модуль 63 корректировки траектории корректирует направление движения зерноперерабатывающего устройства 10 на основе информации изображения о сельскохозяйственной культуре, идентифицированной системой 30 обработки изображений, с целью генерирования траектории 604 движения транспортного средства, при этом траектория 604 движения транспортного средства в основном совпадает или является параллельной запланированной траектории 603 движения. Когда система 30 обработки изображений идентифицирует необходимость корректировки диапазона уборки, траектория движения транспортного средства, сгенерированная модулем 63 корректировки траектории, отклоняется от запланированной траектории 603 движения.[00110] The path planning module 62 obtains at least one planned movement path 603 based on the grain processing machine 10 position information, area planning image information identified by the image processing system 30, and navigation information of the navigation system 50. In one embodiment, the system 13 The traffic control controls the vehicle 11 to move according to the planned movement path 603 . The trajectory correction module 63 corrects the direction of movement of the grain processor 10 based on the crop image information identified by the image processing system 30 to generate a trajectory 604 of the vehicle, wherein the trajectory 604 of the vehicle substantially coincides with or is parallel to the planned trajectory 603 . When the image processing system 30 identifies the need to adjust the cleaning range, the vehicle's trajectory generated by the trajectory correction module 63 deviates from the planned trajectory 603.

[00111] Согласно еще одному варианту осуществления настоящего изобретения, настоящее изобретение дополнительно предоставляет способ планирования траектории, используемый в системе автоматического вождения для переработки зерна, который включает приведенные ниже этапы.[00111] According to another embodiment of the present invention, the present invention further provides a path planning method used in an automatic driving system for grain processing, which includes the following steps.

[00112] (a) Получение по меньшей мере одного изображения обрабатываемой земли в окрестности зерноперерабатывающей машины 10.[00112] (a) Obtaining at least one image of cultivated land in the vicinity of the grain processing machine 10.

[00113] (b) Идентификация и разделение зоны обрабатываемой земли и границы обрабатываемой земли, соответствующих изображению.[00113] (b) Identification and separation of a cultivated area and a cultivated land boundary corresponding to the image.

[00114] (с) Планирование по меньшей мере одной запланированной траектории 603 движения на основе идентифицированной зоны.[00114] (c) Planning at least one planned movement path 603 based on the identified area.

[00115] Способ планирования траектории дополнительно включает следующие этапы: (a.0) установка эксплуатационной зоны 601 обрабатываемой земли и по меньшей мере одной границы 602 эксплуатационной зоны, соответствующей эксплуатационной зоне 601. Следует отметить, что эксплуатационная зона 601 обрабатываемой земли содержит обработанную зону 200, необработанную зону 100 и граничную зону 300 обрабатываемой земли. Граничная зона 300, соответствующая наружной части обрабатываемой земли, совпадает с границей 602 эксплуатационной зоны.[00115] The trajectory planning method further includes the following steps: (a.0) setting an operational cultivated area 601 and at least one operational zone boundary 602 corresponding to the operational zone 601. It should be noted that the operational cultivated land zone 601 comprises a cultivated area 200 , the uncultivated zone 100 and the boundary zone 300 of cultivated land. The boundary zone 300, corresponding to the outer part of the cultivated land, coincides with the boundary 602 of the operational zone.

[00116] Этап (a.0) способа планирования траектории дополнительно включает следующие этапы: идентификация эксплуатационной зоны 601 и границы 602 эксплуатационной зоны обрабатываемой земли системой 30 обработки изображений, идентифицирующей из изображения зону и границу обрабатываемой земли.[00116] Step (a.0) of the trajectory planning method further includes the following steps: identifying a production area 601 and a cropland boundary 602 by the image processing system 30 identifying the cropland area and boundary from the image.

[00117] Этап (b) способа планирования траектории дополнительно включает следующие этапы: использование методики сегментации изображения для сегментации изображения и идентификация и разделение области изображения.[00117] Step (b) of the path planning method further includes the steps of using an image segmentation technique to segment an image, and identifying and dividing an image area.

[00118] На этапе (a) вышеописанного способа планирования траектории информация изображения окрестности зерноперерабатывающей машины 10 захватывается в реальном времени на основе положения и направления движения зерноперерабатывающей машины 10. На этапе (b) вышеописанного способа планирования траектории система обработки изображений использует технологию сегментации изображений для сегментации информации изображения и идентифицирует и разделяет области из изображения на необработанную область 100, обработанную область 200 и граничную область 300 обрабатываемой земли. Этап (b) способа планирования траектории дополнительно включает следующие этапы.[00118] In step (a) of the above path planning method, image information of the vicinity of the grain processing machine 10 is captured in real time based on the position and direction of movement of the grain processing machine 10. In step (b) of the above path planning method, the image processing system uses image segmentation technology to segment image information and identifies and separates areas from the image into the uncultivated area 100, the cultivated area 200, and the boundary area 300 of the cultivated land. Step (b) of the path planning method further includes the following steps.

[00119] (b.1) Разделение изображения на множество пиксельных областей 301 и нормализация значений пикселей пиксельных областей 301 в массив.[00119] (b.1) Dividing an image into a plurality of pixel regions 301 and normalizing the pixel values of the pixel regions 301 into an array.

[00120] (b.2) Извлечение признаков пиксельных областей 301, соответствующих каждому массиву.[00120] (b.2) Feature extraction of pixel areas 301 corresponding to each array.

[00121] (b.3) Вывод метки классификации изображения на основе признаков пиксельной области 301.[00121] (b.3) Deriving an image classification mark based on features of the pixel area 301.

[00122] На этапе (b.3) способа планирования траектории метка классификации соответствует необработанной зоне 100, обработанной зоне 200 и граничной зоне 300 обрабатываемой земли.[00122] In step (b.3) of the trajectory planning method, the classification mark corresponds to the uncultivated zone 100, the cultivated zone 200, and the boundary zone 300 of the cultivated land.

[00123] На этапе (b) вышеописанного способа планирования траектории система 30 обработки изображений использует для разделения изображения и идентификации зон изображения алгоритм сверточной нейросети глубокого обучения.[00123] In step (b) of the path planning method described above, the image processing system 30 uses a deep learning convolutional neural network algorithm to separate the image and identify areas of the image.

[00124] На этапе (с) способ планирования траектории дополнительно включает этап (с.1): получение запланированной траектории 603 движения на основе информации о положении зерноперерабатывающей машины 10, идентификации системой 30 обработки изображений информации изображения о планировании зон и навигационной информации навигационной системы 50.[00124] In step (c), the trajectory planning method further includes step (c.1): obtaining a planned driving trajectory 603 based on position information of the grain processing machine 10, identification by the image processing system 30 of the area planning image information, and navigation information of the navigation system 50 .

[00125] Этап (c) способа планирования траектории дополнительно включает этап (с.2): корректировка направления движения зерноперерабатывающей машины 10 на основе информации о том, что система 30 обработки изображений распознала сельскохозяйственную культуру на изображении, с целью образования траектории 604 движения транспортного средства.[00125] Step (c) of the trajectory planning method further includes step (c.2): adjusting the driving direction of the grain processing machine 10 based on the information that the image processing system 30 has recognized a crop in the image, to generate a vehicle trajectory 604 .

[00126] Способ планирования траектории дополнительно включает: этап (d) сравнительного определения того, согласуются ли разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, с предыдущим граничным диапазоном зоны, корректировки разделенной зоны и граничного диапазона зоны, соответствующих изображению, когда разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, согласуются с предыдущим граничным диапазоном зоны, и сохранение разделенной зоны и граничного диапазона зоны без изменений, когда разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, не согласуются с предыдущим граничным диапазоном зоны.[00126] The path planning method further includes: step (d) comparing whether the divided area and the boundary area range identified by the image processing system 30 are consistent with the previous boundary area range, adjusting the divided area and the boundary area range corresponding to the image when the divided zone and the boundary range of the zone identified by the imaging system 30 are consistent with the previous boundary range of the zone, and keeping the divided zone and the boundary range of the zone unchanged when the divided zone and the boundary range of the zone identified by the image processing system 30 are not consistent with the previous boundary zone range.

[00127] Согласно еще одному аспекту настоящего изобретения, настоящее изобретение дополнительно предоставляет способ автоматического вождения, применимый в системе автоматического вождения для переработки зерна, который включает следующие этапы.[00127] According to another aspect of the present invention, the present invention further provides an automatic driving method applicable to an automatic driving system for grain processing, which includes the following steps.

[00128] (1) Получение по меньшей мере одного изображения и идентификация зоны обрабатываемой земли и границы зоны обрабатываемой земли на изображении;[00128] (1) Obtaining at least one image and identifying a cropland area and a cropland boundary in the image;

[00129] (2) Планирование на основе зоны и границы зоны обрабатываемой земли по меньшей мере одной запланированной траектории 603 движения.[00129] (2) Planning, based on the zone and boundary of the zone of cultivated land, at least one planned trajectory 603 movement.

[00130] (3) Управление зерноперерабатывающей машиной 10 с целью автоматического движения согласно запланированной траектории 603 движения.[00130] (3) Controlling the grain processing machine 10 to move automatically according to the planned movement path 603.

Этап (I) включает способ автоматической идентификации зоны обрабатываемой земли и границы обрабатываемой земли, предоставляемый настоящим изобретением. Система 13 управления движением управляет движением и работой зерноперерабатывающей машины 10 на основе зоны обрабатываемой земли и границы обрабатываемой земли, идентифицированных системой 30 обработки изображений.Step (I) includes a method for automatically identifying a cropland area and a cropland boundary provided by the present invention. The motion control system 13 controls the movement and operation of the grain processing machine 10 based on the cultivated land area and the cultivated land boundary identified by the image processing system 30 .

[00132] Этап (I) способа автоматического вождения дополнительно включает: идентификацию на изображении соответствующей информации о сельскохозяйственной культуре на обрабатываемой земле, при этом информация о сельскохозяйственной культуре на обрабатываемой земле включает информацию о типе сельскохозяйственной культуры, высоте сельскохозяйственной культуры и наливе зерна.[00132] The step (I) of the automatic driving method further includes: identifying relevant information about the crop on the cultivated land in the image, wherein the information about the crop on the cultivated land includes information about crop type, crop height, and grain filling.

[00133] Этап (II) способа автоматического вождения дополнительно включает следующие этапы.[00133] Step (II) of the automatic driving method further includes the following steps.

[00134] Получение информации о положении зерноперерабатывающей машины 10.[00134] Obtaining information about the position of the grain processing machine 10.

[00135] Планирование запланированной траектории 603 движения на основе информации о положении, идентификационной информации изображения и навигационной информации навигационной системы.[00135] Planning a planned movement trajectory 603 based on position information, image identification information, and navigation information of the navigation system.

[00136] Соответственно, на этапе (III) система 13 управления движением управляет движением транспортного средства 11 зерноперерабатывающей машины 10 согласно положению зерноперерабатывающей машины 10, информации о планировании зон обрабатываемой земли, полученной системой 30 обработки изображений, и навигационной информации.[00136] Accordingly, in step (III), the traffic control system 13 controls the movement of the vehicle 11 of the grain processing machine 10 according to the position of the grain processing machine 10, the planning information of the cultivated areas obtained by the image processing system 30, and the navigation information.

[00137] Способ автоматического вождения дополнительно включает этап (IV): корректировка эксплуатационных параметров системы 12 эксплуатации зерноперерабатывающей машины 10 на основе идентифицированной информации изображения.[00137] The automatic driving method further includes step (IV): adjusting the operating parameters of the operating system 12 of the grain processing machine 10 based on the identified image information.

[00138] Специалисты в данной области техники должны понимать, что приведенное выше описание и варианты осуществления настоящего изобретения, показанные на графических материалах, являются лишь примерами и не ограничивают настоящее изобретение. Цель настоящего изобретения была полностью и эффективно достигнута. Функция и конструктивный принцип настоящего изобретения были показаны и объяснены в вариантах осуществления. Без отступления от принципа реализация настоящего изобретения может иметь любое изменение формы или модификацию.[00138] Those skilled in the art should understand that the above description and the embodiments of the present invention shown in the drawings are merely examples and do not limit the present invention. The purpose of the present invention has been fully and efficiently achieved. The function and construction principle of the present invention have been shown and explained in the embodiments. Without departing from the principle, the implementation of the present invention may have any change in form or modification.

Claims

1. A method for planning the trajectory of an automatic driving system for grain processing, including:

step (a): obtaining at least one image of the cultivated land surrounding the grain processing machine;

step (b): identification and division of cultivated land zones and cultivated land boundaries corresponding to the image of cultivated land, while step (b) includes:

step (b.1): segmenting at least one cropland image into a plurality of pixel regions and normalizing pixel values of the plurality of pixel regions into an array;

step (b.2): extracting features of a plurality of pixel regions corresponding to the array; and

step (b.3): outputting a classification label of at least one cultivated land image based on the extracted features of the plurality of pixel areas; and

step (c): planning at least one planned trajectory based on the identified zones of cultivated land and the identified boundaries of cultivated land.

2. The method of planning the trajectory according to claim 1, characterized in that it additionally includes:

step (a.0): setting up an exploitation zone of cultivated land and at least one exploitation zone boundary corresponding to this exploitation zone.

3. The trajectory planning method according to claim 2, characterized in that step (a.0) further comprises:

identifying the operating area and at least one boundary of the operating area of the cultivated land by the image processing system, which also identifies at least one image of the cultivated land.

4. The trajectory planning method according to claim 3, characterized in that step (a) further comprises:

real-time photographing of the image of the surroundings of the automatic driving system based on the position of the automatic driving system for grain processing.

5. The trajectory planning method according to claim 1, characterized in that step (b) further comprises:

segmenting the image of cultivated land by applying the image segmentation method, identifying and separating image areas.

6. The trajectory planning method according to claim 5, characterized in that step (b) further comprises:

application by the image processing system of the image segmentation method to the cultivated land image, and dividing the areas in the image into a raw area, a cultivated area, and a boundary cultivated area.

7. The trajectory planning method according to claim 1, characterized in that step (c) further comprises:

step (c.1): determining a planned driving trajectory based on the grain processing machine position information, zone planning information from at least one cultivated land image identified by the image processing system, and navigation information of the navigation system.

8. The trajectory planning method according to claim 1, characterized in that step (c) further comprises:

step (c.2): adjusting the driving direction of the grain processing machine based on the crop information identified by the image processing system to generate a vehicle trajectory.

9. A method for automatic driving of an automatic driving system for grain processing, comprising:

step (I): obtaining at least one image and identifying zones of cultivated land and boundaries of cultivated land in the image, including:

step (b.3): outputting a classification label of at least one cultivated land image based on the extracted features of the plurality of pixel areas;

step (II): planning at least one planned trajectory based on cultivated land zones and cultivated land boundaries; and

step (III): control of the grain processing machine in order to automatically move according to the planned trajectory.

10. The automatic driving method according to claim 9, characterized in that step (II) further comprises:

obtaining information about the position of the grain processing machine; and

planning the planned trajectory based on the position information, the identified zones of cultivated land and boundaries of cultivated land, and navigation information of the navigation system.

11. The automatic driving method according to claim 10, characterized in that step (I) further comprises:

identifying, from the image, crop information on the cultivated land, wherein the crop information includes crop type, crop height, and grain loading information.

12. The method of automatic driving according to claim 11, characterized in that it further includes:

step (IV): adjusting the operating parameters of the grain processing machine operating system based on crop image information.

13. An automatic driving system for grain processing, comprising:

grain processing machine;

an image processing system that is installed on the grain processing machine in order to obtain at least one image of cultivated land surrounding the grain processing machine, and the image processing system identifies image zones based on an image recognition and segmentation method, while the image processing system includes:

an image segmentation module that segments an image into a plurality of pixel regions, each pixel region containing at least one pixel element;

a feature module that extracts features of each pixel area based on a pixel element of that pixel area; and

an area dividing module that identifies and separates areas of an image according to features of a pixel area; and

a trajectory planning system that plans at least one planned trajectory based on the areas identified by the image processing system, wherein the grain processing machine performs automatic driving according to the planned trajectory planned by the trajectory planning system.

14. The automatic driving system for processing grain according to claim 13, characterized in that it further comprises an image acquisition device, while the image acquisition device is installed on the grain processing machine and the image acquisition device captures an image in front of the grain processing machine.

15. The automatic driving system for processing grain according to claim 14, characterized in that the image processing system identifies at least one processed zone, at least one unprocessed zone and at least one boundary zone of cultivated land from the image.

16. The automatic driving system for grain processing according to claim 13, characterized in that it additionally contains a position determination device and a navigation system, while the position determination device and the navigation system are located on the grain processing machine, the position determination device receives information about the position of the grain processing machine and the navigation system the system provides navigational information for the grain processing machine.

17. The automatic driving system for processing grain according to claim 16, characterized in that it additionally contains a position determination device and a navigation system, while the position determination device and the navigation system are located on the grain processing machine, the position determination device receives information about the position of the grain processing machine and the navigation system the system provides navigational information for the grain processing machine.

18. The automatic driving system for grain processing according to claim 16, characterized in that it additionally contains:

a production zone setting module that sets a boundary zone of cultivated land to obtain an uncultivated zone of cultivated land and a boundary of the operational zone of cultivated land; and

a path planning module that identifies area planning image information based on the position information of the grain processing machine and the navigation information of the navigation system to obtain at least one planned path.

19. The automatic driving system for grain processing according to claim 17, characterized in that it additionally contains: