CN110089263B - 用于收割机的监视器和控制系统 - Google Patents

用于收割机的监视器和控制系统 Download PDF

Info

Publication number
CN110089263B
CN110089263B CN201811442767.4A CN201811442767A CN110089263B CN 110089263 B CN110089263 B CN 110089263B CN 201811442767 A CN201811442767 A CN 201811442767A CN 110089263 B CN110089263 B CN 110089263B
Authority
CN
China
Prior art keywords
harvester
crop
camera
header unit
crop material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811442767.4A
Other languages
English (en)
Other versions
CN110089263A (zh
Inventor
J·A·戴顿
B·E·杜加斯
R·冈达
P·A·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN110089263A publication Critical patent/CN110089263A/zh
Application granted granted Critical
Publication of CN110089263B publication Critical patent/CN110089263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D45/00Harvesting of standing crops
    • A01D45/10Harvesting of standing crops of sugar cane
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • A01D41/14Mowing tables
    • A01D41/141Automatic header control
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • A01D41/1208Tanks for grain or chaff
    • A01D41/1217Unloading mechanisms
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • A01D41/127Control or measuring arrangements specially adapted for combines
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D43/00Mowers combined with apparatus performing additional operations while mowing
    • A01D43/06Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material
    • A01D43/063Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material in or into a container carried by the mower; Containers therefor
    • A01D43/0631Control devices specially adapted therefor
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D43/00Mowers combined with apparatus performing additional operations while mowing
    • A01D43/06Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material
    • A01D43/07Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material in or into a trailer
    • A01D43/073Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material in or into a trailer with controllable discharge spout
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D43/00Mowers combined with apparatus performing additional operations while mowing
    • A01D43/08Mowers combined with apparatus performing additional operations while mowing with means for cutting up the mown crop, e.g. forage harvesters
    • A01D43/085Control or measuring arrangements specially adapted therefor
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D43/00Mowers combined with apparatus performing additional operations while mowing
    • A01D43/08Mowers combined with apparatus performing additional operations while mowing with means for cutting up the mown crop, e.g. forage harvesters
    • A01D43/086Mowers combined with apparatus performing additional operations while mowing with means for cutting up the mown crop, e.g. forage harvesters and means for collecting, gathering or loading mown material
    • A01D43/087Mowers combined with apparatus performing additional operations while mowing with means for cutting up the mown crop, e.g. forage harvesters and means for collecting, gathering or loading mown material with controllable discharge spout
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D47/00Headers for topping of plants, e.g. stalks with ears
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D63/00Outside dividers
    • A01D63/04Non-rotating dividers
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D90/00Vehicles for carrying harvested crops with means for selfloading or unloading
    • A01D90/02Loading means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Abstract

本发明涉及用于收割机的监视器和控制系统,该收割机包括:框架,该框架由驱动组件支撑以沿着支撑表面运动;割台单元,该割台单元联接至所述收割机并且被构造成选择性地收割作物材料;相机,该相机联接至所述框架并且被构造成产生视场的一个或多个图像;以及控制器,该控制器与所述相机和所述割台单元可操作地通信,其中所述控制器被构造成至少部分地基于由所述相机产生的一个或多个图像来确定一个或多个作物属性。

Description

用于收割机的监视器和控制系统
技术领域
本公开涉及一种收割机,更具体而言,涉及一种具有一个或多个控制系统以调节装置的操作参数的收割机。
背景技术
在收割过程期间,收割机的操作员需要不断地观察它们周围的环境并且根据这些观察调整收割机操作参数。这种调整和观察可能比较困难,并且在初始观察和所确定的调整这方面都让它们不精确。
发明内容
在一个实现中,一种收割机包括:框架,该框架由驱动组件支撑以沿着支撑表面运动;割台单元,该割台单元联接至所述收割机并且被构造成选择性地收割作物材料;相机,该相机联接至所述框架并且被构造成产生视场的一个或多个图像;以及控制器,该控制器与所述相机和所述割台单元可操作地通信,其中所述控制器被构造成至少部分地基于由所述相机产生的一个或多个图像来确定一个或多个作物属性。
在另一个实现中,一种操作收割机的方法包括:提供收割机,该收割机具有框架、卸载组件和联接至所述框架的割台单元,所述卸载组件具有相对于所述框架可移动的材料输出端。该方法进一步包括:建立相对于所述框架而言固定的第一参考系;将相机安装至所述收割机,从而具有视场,其中所述相机被构造成输出表示所述视场的图像;识别所述图像内的参考点;以及计算所述参考点相对于所述第一参考系的位置。
本公开的其它方面将通过考虑具体实施方式和附图而变得更明显。
附图说明
图1是具有一个或多个控制系统的收割机的侧视图。
图2是图1的收割机的俯视图,其中升运器位于第一倾卸位置。
图3是图1的收割机的俯视图,其中升运器位于第二倾卸位置。
图4至图14示出了在收割机处于各种操作构造的情况下获取的第一视场。
图15示出了收割机的驾驶室的前向视图,示出了在0度铺放角度的情况下处于-90度铺放取向的作物材料。
具体实施方式
在详细说明本公开的任何实施方式之前,需要理解,本发明在其应用方面不限于在如下描述中阐述或在附图中所示的部件的形成和布置的细节。本公开能够支持其它实现方案并且能够以各种方式实践或执行。
在收割操作期间,必须使用多个传感器给控制系统和操作员提供反馈。收割机器操作员负责许多机器设置和配置,以便最佳且安全地进行收割。传感器能够提供反馈,但是一些具体信息需要测量多种功能的多种传感器。通过包括单个三维摄像机,能够消除这些传感器中的许多传感器,由此提供一种更简单且更为节约成本的操作收割机的方式。
图1至图3示出了收割机10,该收割机10具有:框架14;用于给收割机10提供动力的动力单元或发动机(未示出);割台单元22,该割台单元22被构造成从田地或其它支撑表面30切割并收集作物材料26;处理组件或切碎器箱34,该处理组件或切碎器箱34用来处理由割台单元22收集的作物材料;和卸载组件38,该卸载组件38用于将所处理的作物材料26卸载以随后进行收集。收割机10还包括具有一对控制子组件42a、42b的控制器40,该对子组件42a、42b均被构造成监测并指示收割机10的各种收割操作。在图示实现中,收割机10为甘蔗收割机,不过控制子组件42a、42b可以针对任何类型或风格的收割机进行改装。
在图示实现中,收割机10的框架14包括与行进方向A大体对齐的第一或前端46以及与前端46相反的第二或后端50。框架14还包括驱动组件54,诸如多个车轮或履带,所述驱动组件54联接至框架14并且被构造成支撑框架14以在支撑表面30上行进。如图1至图3所示,框架14还建立了相对于其固定的第一三维参考系56。
如图2和图3所示,收割机10还限定了切割路径58和相邻于该切割路径58的一对侧面相接(flanking)区域62a、62b。为了本申请之目的,切割路径58包括从框架14的前端46向外突出的区域,该区域在任一侧上都由割台单元22的切割宽度66限制(例如,位于两个分禾器70之间,如下所述)。相反,侧面相接区域62a、62b从前端46向外突出并且位于切割路径58外侧(例如,位于两个分禾器70外侧,如下所述)。
收割机10的割台单元22联接至框架14的前端46并且被构造成切割并收集位于切割路径58上的作物材料26(如上所述)。割台单元22包括一对分禾器70、联接至分禾器70的一个或多个蜗壳(scroll)74、压倒辊78、一对跟切器(未示出)、侧刀具(未示出)和切顶器单元88。割台单元22还限定切割宽度66,该切割宽度66被限定为两个分禾器70之间的距离(参见图2和图3)。
在使用过程中,割台单元22可在启动构造和停止构造之间调整,在启动构造中,割台单元22从动力单元接收输入(例如,扭矩)并且被构造成在收割机10在行进方向A上行进时主动地切割并收集切割路径58上的作物材料26(例如,动力单元驱动割台单元22的元件),在停止构造中,割台单元22不从动力单元接收输入并且没有被构造成主动地切割并收集作物材料26(例如,动力单元不驱动割台单元22的元件)。这样,割台单元22在其处于启动构造中时给动力单元施加极大增加的负荷。
割台单元22的每个分禾器70都包括基本直立取向的壁,所述壁被构造成将位于切割路径58内的作物材料26(例如,将由割台单元22处理的物料)与在切割路径58外侧并且位于相邻区域62a、62b中的作物材料26(例如,将不会由割台单元22处理的作物材料26)分开。在使用过程中,分禾器70的位置可以改变以调整切割宽度66(例如,两个分禾器70之间的距离)和/或切割高度86(例如,分禾器70和支撑表面30之间的距离,参见图1)。更具体地说,分禾器70可以在展开构造和缩回或收起构造之间调整,在展开构造中,分禾器70接近支撑表面30定位并且与支撑表面30选择性地接触,而在缩回或收起构造中,分禾器70从支撑表面30间隔开并且不接触该支撑表面30。
在一些实现中,分禾器70可以包括“浮动”分禾器,其中分禾器70被构造成沿着支撑表面30自由地移动并且补偿支撑表面30的轮廓变化。在这种实现中,分禾器70可在其中分禾器70沿着支撑表面30主动地“浮动”的展开构造与其中分禾器从支撑表面30缩回并且与支撑表面30脱离接合的收起构造之间调整。
割台单元22的每个蜗壳74可旋转地联接至对应的分禾器70,并且包括具有从其延伸出的一个或多个螺旋状翅片94的基本圆柱形主体90。在使用过程中,每个蜗壳74相对于分禾器70旋转,并且被构造成在作物材料26与其接触时接合并操纵作物材料26。具体而言,每个蜗壳74总体上被构造成将作物材料26偏压成大体直立取向,并且在某些情况下将作物材料26向内朝向压倒辊78引导。每个蜗壳74可在其中蜗壳74从动力单元18接收输入并且相对于割台单元22旋转的启动构造与其中蜗壳74不从动力单元18接收输入并因此相对于割台单元22不旋转的停止构造之间调整。在图示实现中,割台单元22包括一组内蜗壳74a和一组外蜗壳74b。然而,在另选实现中,可以存在更多或更少的蜗壳74。
割台单元22的切碎器单元88联接至收割机10的框架14,并且被构造成在距支撑表面30预选切割高度86处切割作物材料26。更具体地说,切碎器88被构造成从茎秆28的顶部移除多叶材料116。这样,切碎器88联接至收割机10,使得可以对切割高度86进行调整以适应具有不同高度的作物材料26。
如图1至图14中所示,收割机10的卸载组件38包括固定地联接至框架14的后端50的基座100、由基座100限定的第一轴线104、可枢转地联接至基座100以围绕第一轴线104旋转的升运器108以及至少部分地由升运器108限定的材料出口112。在使用过程中,卸载组件38从处理组件34接收所处理的作物材料26,将多叶材料116从作物材料26分离,并且经由材料出口112将其余作物材料26(总体上采取茎秆28的短段或短棒的形式)卸载。一旦分离,卸载组件38还被构造成经由下面描述的主提取器120和副提取器124卸载多叶材料116。
卸载组件38的升运器108包括细长主体128,该细长主体128具有可枢转地联接至基座100的第一端132、与第一端132相反并至少部分限定材料出口112的第二端136、以及位于材料出口112内以帮助引导从材料出口112卸载的作物材料126的箱翻盖114。升运器108还包括延伸主体128的长度的输送器140,该输送器140被构造成将作物材料26从第一端132朝向第二端136输送到材料出口112外。
在图示实施方式中,第一轴线104基本竖直(即,正交于支撑表面30),从而升运器108围绕第一轴线104的旋转使得升运器108的第二端136沿着基本弧形路径移动,其中第二端136保持距离支撑表面30恒定距离(例如,恒定倾卸高度144,参见图1)。然而,在另选实现中,升运器108可以还包括附加的自由度,包括但不限于使第一端132围绕垂直于第一轴线104设置的第二水平轴线(未示出)枢转,以允许用户通过改变输送器108的主体128的竖直角度118来调整材料出口112的倾卸高度144。在另外其它实现中,升运器主体128可以由多个节段(未示出)形成以允许卸载操作中甚至具有更大的灵活性。
在使用过程中,升运器108可在多个不同卸载位置之间围绕第一轴线104相对于基座100连续地旋转。更具体地说,升运器108可在第一位置、第二位置和第三位置之间旋转,在所述第一位置,升运器108相对于框架14形成近似90度的第一倾卸角148a(由此,将材料出口112大体定位在收割机10的右舷侧,未示出),在所述第二位置,升运器108相对于框架14形成近似180度的第二倾卸角148b(由此将材料出口112大体定位在收割机10的后端50附近),而在所述第三位置,升运器108相对于框架14形成近似270度的第三倾卸角148c(由此,将材料出口112大致定位在收割机10的左舷侧)。为本申请之目的,升运器108的倾卸角148包括围绕第一轴线104形成在与行进方向A基本对齐的第一射线和沿着升运器108的主体128延伸的第二射线之间的角度(参见图2和图3)。
卸载组件38还包括被构造成将在处理过程中从作物材料26分离的多叶材料116卸载的主提取器120。在图示实现中,主提取器120包括:第一滑槽152,该第一滑槽152可相对于基座100独立于升运器108围绕第一轴线104旋转;和主风扇(未示出),该主风扇用于将多叶材料116流引导通过所述滑槽152。
排放组件38还包括接近升运器108的第二端136联接至该升运器108的副提取器124。副提取器124被构造成将到达材料出口112之前位于输送器140上的任何剩余多叶材料116排出。在图示实现中,副提取器124包括可相对于升运器108旋转的第二滑槽160和将多叶材料116流引导通过滑槽160的副风扇(未示出)。
如图1至图3所示,收割机10的控制器40包括大体针对卸载组件38的控制的第一控制子组件42a和大体针对割台单元22的控制的第二控制子组件42b。尽管图示实现包括均被构造成操作收割机10的特定系统的两个子组件42a、42b,但是要理解,可以存在更多或更少的子组件。
收割机10的第一控制子组件42a包括处理器168、与处理器168操作通信的存储器单元172和向处理器168发送信号和从处理器168接收信号的单色相机176(例如,二维相机)。处理器168还可以与收割机10的各种元件诸如卸载组件38、割台单元22和处理单元34进行可操作通信。在使用过程中,处理器168从单色相机176接收信号并且将该信息输入到一个或多个控制算法内以计算卸载组件38的一个或多个元件在第一参考系56的三维空间内的位置。
具体而言,收割机10包括联接至收割机10的框架14的单色相机176,该单色相机176限定第一视场180(参见图2和图3)。在图示实现中,相机176接近框架14的前端46安装,并且在基本向后方向上取向,从而使得第一视场180至少部分地将排放组件38的升运器108包括在其中(参见图4至图14)。此外,相机176被安装成使得相机176和卸载组件38的基座100之间的距离和取向固定并已知。在另选实现中,相机176和排放组件38的基座100之间的距离和取向可以是可调整的;然而,在这种实现中,这些调整由与处理器168可操作通信的一个或多个传感器(未示出)记录。
在收割过程期间,单色相机176将一系列图像传送至处理器168,其中每个图像包括第一视场180的二维表示(参见图4至图14)。在接收到原始图像数据之后,处理器168被构造成使用基于视觉的目标检测、训练神经网络、纹理识别等中的至少一者定位参考点184在每个图像中的存在。参考点184又包括固定地联接至或者施加在被相机176追踪的物件(例如,升运器128的主体128)上的目标。在图示实现中,所述目标包括允许相机176和处理器168在各种大气和照明条件下更容易检测并追踪参考点184的唯一颜色组合或图案。然而,在在另选实现中,参考点184可以包括位于物件本身上的特定位置,相机软件被训练而识别该特定位置(例如,特定螺栓、出口等等的位置)。
尽管没有示出,但是在要追踪冗余性、附加数据、或者多于一个物件的情况下可以使用多于一个的参考点184。在这种实现中,每个参考点184可以以某种方式而成为唯一的(例如,具有唯一图案、标记、颜色、形状等等),以允许处理器168在每个个别参考点之间进行区分。
在识别具体图像内的参考点184之后,处理器168建立参考点184相对于叠加在第一视场180的图像上的第二二维参考系188的位置或坐标。通过针对多个随后图像重复该过程,处理器168能够追踪并记录参考点184相对于第二参考系188的运动。
通过相对于第二二维参考系188建立的参考点184的位置,处理器168然后将该位置数据输入到位置算法中,该位置算法又输出该参考点184相对于由收割机10的框架14建立的第一三维参考系56的三维位置。为了这样做,控制算法考虑到相机176相对于排放组件38的基座100的已知位置和取向、参考点184固定至升运器主体128的位置以及升运器108本身的已知运动特性等等。利用该信息,处理器168能够建立针对第二参考系188内的每个可能参考点184的位置关联第一参考系56内的唯一三维位置的函数。更进一步,处理器168能够基于参考点184在三维空间中的位置确定升运器108的当前操作参数(例如,当前倾卸高度144和倾卸角148)。这样,处理器168能够仅仅使用二维输入计算升运器108的当前倾卸角148和倾卸高度144。
尽管以上描述的控制子组件42a被构造成计算升运器108的操作参数,但是控制组件42a还可以用于跟踪收割机10的其它元件的位置。例如,控制组件42a可以用来追踪主提取器120、副提取器124和箱翻盖114等等。在某些情况下,可以将附加参考点(未示出)联接至相关元件以允许处理器168分别监测并追踪每个元件的运动。在其它实现中,处理器168可以使用所计算的第一物件的位置作为输入来计算依赖于第一物件的位置的第二物件位置。例如,处理器168可以使用联接至升运器108的第一参考点184的位置来计算升运器108的当前位置,然后使用升运器的位置作为输入来进一步使用联接至副提取器124的第二参考点(未示出)计算副提取器124的位置和取向。
为了追踪直接安装至收割机10的元件的位置,第一控制组件41a的处理器168还可以将基于视觉的目标检测、训练神经网络、纹理识别等等应用于由单色相机176产生的图像,以检测是否存在没有直接附装至收割机10的物件。例如,处理器168可以被构造成检测并识别在第一视场180内是否存在拖运车(haulout)192。更进一步,处理器168还可以使用基于视觉的目标检测、训练神经网络、纹理识别等等来确定拖运车192何时正确地位于收割机10旁边并且准备好在其中接收作物材料26。在更进一步的其它实现中,处理器168可以被构造成检测拖运车192何时是空的或者填满作物材料26。
除了以上描述的检测能力之外,控制子组件41a还可以使用所计算的信息将卸载和收割过程自动化。例如,处理器168可以被构造成至少部分地基于检测到拖运车192位于第一视场180内而开始和停止卸载过程。更进一步,处理器168可以至少部分地基于拖运车192是满或空而开始或停止卸载过程。更进一步,处理器168可以被构造成至少部分地基于在收割机10的具体一侧是否存在拖运车192而将升运器108旋转至预定倾卸角148。在更进一步的其它实现中,处理器168可以被构造成调节主提取器120和副提取器124的操作。
尽管图示的子组件42a包括单个相机,但是要理解的是,在另选实现中,可以使用多于一个的相机,并且每个相机具有唯一视场。在这种实现中,处理器168可以被构造成在参考点从一个相机的视场移动到另一个相机的视场时对该参考点进行追踪。
如图1所示,收割机10的第二控制子组件42b包括被构造成向处理器168发送信号和从处理器168接收信号的三维相机196。在使用过程中,处理器168从相机196接收信号并且将对应信息输入到一个或多个控制算法以确定在收割机10之前(即在前端46邻近)是否存在任何作物材料26、作物材料26的位置、和属性。
更具体地说,收割机10包括联接至收割机10的框架14的三维相机196,该三维相机196限定第二视场200(参见图2和图3)。在图示实现中,相机196安装在框架14的前端46附近,并且在基本向前方向上取向,从而使得第二视场200至少部分地将割台单元22、切割路径58和侧面相接区域62a、62b包括在其中。在图示实现中,相机196是能够输出第二视场200的三维表示的三维或立体风格相机。在另选实现中,相机196可以包括激光雷达、结构光、立体视觉、雷达以及其它已知三维相机系统。
作物材料26的检测“属性”可以包括铺放取向204、铺放角208和茎秆高度212等等(参见图1至图3)。为了本申请之目的,作物材料26的铺设角208包括形成在作物材料26的茎秆28和支撑表面30之间的角并且被构造成对茎秆28相对于支撑表面30站立多么“直立”进行量化。例如,平放在支撑表面30上的茎秆28限定0度的铺放角208,而站立优选直立的茎秆28限定90度的铺放角208。此外,作物材料26的铺放取向204包括茎秆28在支撑表面40上的竖直投影与行进方向A之间的角(参见图2和图3)。铺放取向204被构造成测量作物材料26的茎秆28倾斜的方向。例如,平行于行进方向A倾斜的茎秆28限定0度铺放取向204,而朝向收割机10的左舷侧倾斜的茎秆28(如图2和图3所示)限定负的铺放取向204。虽然没有示出,但朝向收割机10的右舷侧的茎秆28限定正的铺放取向204。最后,作物材料26的茎秆高度212包括作物材料26的茎秆28的长度。例如,图15示出了具有90度铺放取向204和0度铺放角208的作物材料。
在收割过程期间,立体相机196向处理器168传送一系列连续图像,其中每个图像包括第二视场180的三维表示。在接收原始数据之后,处理器168被构造成像这些图像施加基于视觉的目标检测、训练神经网络、纹理识别等以从其提取数据。在图示实现中,处理器168被构造成首先检测在切割路径58、第一侧面相接区域62a和第二侧面相接区域62b中是否存在作物材料26。在存在作物材料26的区域中,处理器168则被构造成确定容纳在其中的作物材料26的铺放取向204、铺放角208和茎秆高度121等等。
通过检测作物材料26的一般属性,处理器168将该信息输入到一个或多个控制算法中以指示收割操作的参数。例如,处理器168被构造成至少部分地基于位于切割路径58中的作物材料26的茎秆高度212和/或铺放角208调整切顶器88的切割高度86。更进一步,处理器168还被构造成至少部分地基于在切割路径58是否存在作物材料而开启或关闭切顶器88。
对于升运器108,处理器168被构造成至少部分地基于在每个侧面相接区域62a、62b中是否存在作物材料26而调整升运器108的倾卸角104。更具体地说,处理器168被构造成调整升运器108的倾卸角148,从而在不存在作物材料26的情况下将材料出口112定位在收割机10那一侧。
对于分禾器70,处理器168被构造成至少部分地基于在切割路径58中是否存在作物材料26而在展开构造和缩回构造之间调整分禾器70。在一些实现中,处理器168可以在不存在作物材料26的情况下仅仅在侧面相接区域62a、62b邻近将分禾器70分离,而在接合构造中存在作物材料26的情况下将分禾器70维持在侧面相接区域62a、62b邻近。在更进一步实现中,处理器168被构造成如果作物材料26的铺放角208超过预定阈值(例如,作物材料26足够“直立”而不需要分禾器70)则将分禾器70分离。
更进一步,处理器168被构造成至少部分地基于切割路径58中是否存在作物材料26而在启动构造和停止构造之间整体调整割台单元22。尽管没有具体列出,但是要理解的是,处理器168可以至少部分地基于位于第二视场180内的作物材料26的检测属性而调整或修改割台单元22的元件、处理组件34或卸载组件38中的任一者的操作参数,以便以可能的最有效方式收割作物材料26,同时使得割台单元22的各个部件的磨损以及动力单元的燃料消耗最小化。

Claims (10)

1.一种收割机,该收割机包括:
框架,该框架由驱动组件支撑以沿着支撑表面运动;
割台单元,该割台单元联接至所述收割机并且被构造成选择性地收割作物材料;
相机,该相机联接至所述框架并且被构造成产生视场的一个或多个图像;以及
控制器,该控制器与所述相机和所述割台单元能操作地通信,其中所述控制器被构造成至少部分地基于由所述相机产生的所述一个或多个图像来确定一个或多个作物属性,其中,所述控制器被构造成至少部分地基于所述一个或多个作物属性在启动构造和停止构造之间调整所述割台单元。
2.根据权利要求1所述的收割机,其中,所述图像包括所述视场的三维表示。
3.根据权利要求1所述的收割机,其中,所述一个或多个作物属性包括铺放取向、铺放角和茎秆高度中的至少一者。
4.根据权利要求1所述的收割机,其中,所述一个或多个作物属性包括作物材料存在或不存在中的至少一者。
5.根据权利要求4所述的收割机,其中,所述割台单元限定切割路径,并且其中所述一个或多个作物属性包括在所述切割路径内存在或不存在作物材料。
6.根据权利要求5所述的收割机,其中,所述控制器至少部分地基于在所述切割路径中存在或不存在作物材料而在启动构造和停止构造之间调整所述割台单元。
7.根据权利要求1所述的收割机,其中,所述割台单元包括一个或多个分禾器,并且其中所述控制器被构造成至少部分地基于所述一个或多个作物属性在展开构造和缩回构造之间调整所述分禾器。
8.根据权利要求1所述的收割机,其中,所述割台单元包括限定切割高度的切顶器,并且其中所述控制器被构造成至少部分地基于所述作物材料的一个或多个属性来调整所述切割高度。
9.根据权利要求1所述的收割机,其中,所述相机是结构光、雷达和立体视觉单元中的一者。
10.根据权利要求1所述的收割机,其中,所述相机是激光雷达。
CN201811442767.4A 2018-01-29 2018-11-29 用于收割机的监视器和控制系统 Active CN110089263B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/882,907 2018-01-29
US15/882,907 US10827676B2 (en) 2018-01-29 2018-01-29 Monitor and control system for a harvester

Publications (2)

Publication Number Publication Date
CN110089263A CN110089263A (zh) 2019-08-06
CN110089263B true CN110089263B (zh) 2022-05-17

Family

ID=67392606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811442767.4A Active CN110089263B (zh) 2018-01-29 2018-11-29 用于收割机的监视器和控制系统

Country Status (4)

Country Link
US (2) US10827676B2 (zh)
CN (1) CN110089263B (zh)
AU (1) AU2018256532A1 (zh)
BR (1) BR102018074643A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019004647A1 (de) * 2019-07-02 2021-01-07 Claas Selbstfahrende Erntemaschinen Gmbh Landwirtschaftliche Arbeitsmaschine
US20210329840A1 (en) * 2020-04-28 2021-10-28 Deere And Company Sugarcane harvester billet discharge control
US11684011B2 (en) * 2020-04-29 2023-06-27 Deere & Company Automatic fill control based on visual identification of grain receiving vehicles
US11832555B2 (en) * 2020-11-30 2023-12-05 Deere & Company Closed loop billet length control system for a harvester
CN113141862B (zh) * 2021-01-21 2023-07-21 广西蓝星智能农机装备有限责任公司 一种甘蔗收割机的切割方法
CN116076236A (zh) * 2023-02-06 2023-05-09 福建省中科生物股份有限公司 一种蔬菜采收剪根机构及其使用方法

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3398516A (en) 1964-12-29 1968-08-27 Int Harvester Co Base cutter height indicators for cane harvesters
US3448564A (en) 1966-05-27 1969-06-10 Herbert J Chauffe Cane harvester
DE2654141A1 (de) 1976-11-30 1978-06-01 Claas Maschf Gmbh Geb Selbstfahrende erntemaschine
BR7805293A (pt) 1978-08-17 1980-02-26 Santal Equip Sa Com Ind Colhedeira de cana de acucar ou produtos similares
AU564310B2 (en) 1983-06-30 1987-08-06 Massey-Ferguson (Australia) Ltd. Sugar cane harvester topper
DE19531662A1 (de) * 1995-08-29 1997-03-06 Claas Ohg Vorrichtung zum automatischen Befüllen von Ladebehältern
DE19726917A1 (de) * 1997-06-25 1999-01-07 Claas Selbstfahr Erntemasch Vorrichtung an Landmaschinen zur berührungslosen Abtastung von sich über den Boden erstreckenden Konturen
US5995895A (en) 1997-07-15 1999-11-30 Case Corporation Control of vehicular systems in response to anticipated conditions predicted using predetermined geo-referenced maps
US6199000B1 (en) 1998-07-15 2001-03-06 Trimble Navigation Limited Methods and apparatus for precision agriculture operations utilizing real time kinematic global positioning system systems
DE10130665A1 (de) * 2001-06-28 2003-01-23 Deere & Co Vorrichtung zur Messung der Menge von auf einem Feld stehenden Pflanzen
US6655351B2 (en) 2001-10-24 2003-12-02 Deere & Company Vehicle engine control
DE10306726A1 (de) * 2003-02-17 2004-09-30 Claas Selbstfahrende Erntemaschinen Gmbh Methode zur Optimierung von einstellbaren Parametern
US7261632B2 (en) * 2004-06-21 2007-08-28 Deere & Company Self-propelled harvesting machine
DE102004038404B4 (de) 2004-08-07 2021-01-07 Deere & Company Einrichtung zur selbsttätigen Einstellung der Schnitthöhe eines Erntevorsatzes zur Ernte stängelartiger Pflanzen
DE102005000771A1 (de) 2005-01-05 2006-08-24 Langlott, Jürgen Verfahren zur Steuerung einer selbstfahrenden Erntemaschine
DE102005043991A1 (de) 2005-09-14 2007-08-09 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren zur Einstellung eines Arbeitsaggregats einer Erntemaschine
US7401455B1 (en) 2007-01-03 2008-07-22 Cnh America Llc System and method for controlling the base cutter height of a sugar cane harvester
EP2020168A1 (en) * 2007-08-03 2009-02-04 AGROCOM GmbH & Co. Agrarsystem KG Control system for agricultural working vehicles
US9152938B2 (en) 2008-08-11 2015-10-06 Farmlink Llc Agricultural machine and operator performance information systems and related methods
US8451139B2 (en) * 2010-02-22 2013-05-28 Cnh America Llc System and method for coordinating harvester and transport vehicle unloading operations
BE1019422A3 (nl) 2010-07-14 2012-07-03 Cnh Belgium Nv Werkwijze en toestel voor voorspellende sturing van een landbouwvoertuigsysteem.
US8230668B2 (en) 2010-11-10 2012-07-31 Deere & Company Basecutter for a cane harvester
US10318138B2 (en) 2011-03-11 2019-06-11 Intelligent Agricultural Solutions Llc Harvesting machine capable of automatic adjustment
US9629308B2 (en) * 2011-03-11 2017-04-25 Intelligent Agricultural Solutions, Llc Harvesting machine capable of automatic adjustment
DE102011085380A1 (de) * 2011-10-28 2013-05-02 Deere & Company Anordnung und Verfahren zur vorausschauenden Untersuchung von mit einer Erntemaschine aufzunehmenden Pflanzen
US8452501B1 (en) 2011-11-09 2013-05-28 Trimble Navigation Limited Sugar cane harvester automatic cutter height control
DE112013000938B4 (de) * 2012-02-10 2021-04-22 Zachary T. Bonefas System und verfahren zum materialtransport mit einem oder mehreren bildgebungsgeräten
US9392746B2 (en) * 2012-02-10 2016-07-19 Deere & Company Artificial intelligence for detecting and filling void areas of agricultural commodity containers
US8649940B2 (en) * 2012-02-10 2014-02-11 Deere & Company Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
US8868304B2 (en) * 2012-02-10 2014-10-21 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
WO2014050525A1 (ja) 2012-09-26 2014-04-03 株式会社クボタ 対地作業車両、対地作業車両管理システム、対地作業情報表示方法
KR102318141B1 (ko) 2012-09-26 2021-10-28 가부시끼 가이샤 구보다 농작 관리 시스템 및 농작물 수확기
WO2014093814A1 (en) 2012-12-14 2014-06-19 Agco Corporation Predictive load estimation through forward vision
DE102013201996A1 (de) 2013-02-07 2014-08-07 Deere & Company Verfahren zur Einstellung von Arbeitsparametern einer Erntemaschine
US9326444B2 (en) * 2013-02-08 2016-05-03 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
US10178828B2 (en) 2013-02-20 2019-01-15 Deere & Company Per plant crop sensing resolution
US9668420B2 (en) * 2013-02-20 2017-06-06 Deere & Company Crop sensing display
US9693503B2 (en) * 2013-02-20 2017-07-04 Deere & Company Crop sensing
DE102013209197A1 (de) 2013-05-17 2014-11-20 Deere & Company Erntemaschine mit vorausschauender Vortriebsgeschwindigkeitsregelung
CN103404297A (zh) * 2013-06-05 2013-11-27 西北农林科技大学 一种电驱动智能联合收割机
US10362733B2 (en) 2013-10-15 2019-07-30 Deere & Company Agricultural harvester configured to control a biomass harvesting rate based upon soil effects
US10371561B2 (en) * 2013-11-01 2019-08-06 Iowa State University Research Foundation, Inc. Yield measurement and base cutter height control systems for a harvester
EP3935931A1 (en) 2014-02-10 2022-01-12 The Climate Corporation Methods and systems for generating shared collaborative maps
DE102014204603B3 (de) * 2014-03-12 2015-07-30 Deere & Company Verfahren zur selbsttätigen Einstellung von Dreschparametern eines Mähdreschers während der Ernte unter Verwendunq einer Anordnung zur Erkennung von Strohqualität
DE102014205233A1 (de) 2014-03-20 2015-09-24 Deere & Company Erntemaschine mit vorausschauender Vortriebsgeschwindigkeitsvorgabe
DE102014208068A1 (de) 2014-04-29 2015-10-29 Deere & Company Erntemaschine mit sensorbasierter Einstellung eines Arbeitsparameters
DE102014208070A1 (de) 2014-04-29 2015-12-17 Deere & Company Die Fahrzeugdynamik berücksichtigendes Kontrollsystem zur Positionssteuerung eines Geräts für ein landwirtschaftliches Arbeitsfahrzeug
BR102015013228B1 (pt) * 2014-06-13 2020-11-24 Cnh Industrial America Llc SISTEMA E METODO DE CONTROLE PARA UM VEfCULO AGRiCOLA
US9961832B2 (en) 2014-06-13 2018-05-08 Deere & Company Control of base cutter orientation in sugarcane harvesters
US10034423B2 (en) * 2014-07-29 2018-07-31 Deere & Company Biomass sensing
US9717178B1 (en) 2014-08-08 2017-08-01 The Climate Corporation Systems and method for monitoring, controlling, and displaying field operations
EP3485717A1 (en) * 2014-09-12 2019-05-22 Intelligent Agricultural Solutions, LLC Acoustic material flow sensor
US10126282B2 (en) * 2014-09-23 2018-11-13 Deere & Company Yield estimation
US9903979B2 (en) 2014-09-23 2018-02-27 Deere & Company Yield estimation
US9807933B2 (en) * 2014-10-20 2017-11-07 Cnh Industrial America Llc Sensor equipped agricultural harvester
US9140824B1 (en) 2015-01-23 2015-09-22 Iteris, Inc. Diagnosis and prediction of in-field dry-down of a mature small grain, coarse grain, or oilseed crop using field-level analysis and forecasting of weather conditions, crop characteristics, and observations and user input of harvest condition states
US9872433B2 (en) 2015-05-14 2018-01-23 Raven Industries, Inc. System and method for adjusting harvest characteristics
US10015928B2 (en) * 2015-08-10 2018-07-10 Deere & Company Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
US9642305B2 (en) * 2015-08-10 2017-05-09 Deere & Company Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
CN106508256B (zh) * 2015-09-10 2019-02-12 中国农业机械化科学研究院 一种稻麦联合收割机及其割幅检测装置和检测方法
US10188037B2 (en) 2015-09-24 2019-01-29 Deere & Company Yield estimation
DE102015118767A1 (de) 2015-11-03 2017-05-04 Claas Selbstfahrende Erntemaschinen Gmbh Umfelddetektionseinrichtung für landwirtschaftliche Arbeitsmaschine
BE1023467B1 (nl) 2016-02-01 2017-03-29 Cnh Industrial Belgium Nv Beheer van een restantensysteem van een maaidorser door veldgegevens te gebruiken
US10028435B2 (en) 2016-03-04 2018-07-24 Deere & Company Sensor calibration using field information
BE1023982B1 (nl) * 2016-03-23 2017-10-03 Cnh Industrial Belgium Nv Geautomatiseerd lossysteem voor het lossen van gewas
CN205694301U (zh) * 2016-04-21 2016-11-23 广东丹霞农机有限公司 一种智能化收割机
CN206058220U (zh) * 2016-07-28 2017-03-29 福建农林大学 一种基于双目视觉避桩系统
CN106651779B (zh) * 2016-09-09 2019-08-09 广西大学 一种甘蔗切割高度的检测方法
DE102016118637A1 (de) 2016-09-30 2018-04-05 Claas Selbstfahrende Erntemaschinen Gmbh Mähdrescher mit einem Schneidwerk und Steuerung eines Schneidwerks
DE102017200336A1 (de) 2017-01-11 2018-07-12 Deere & Company Modellbasierte prädiktive Geschwindigkeitskontrolle einer Erntemaschine
US10699185B2 (en) 2017-01-26 2020-06-30 The Climate Corporation Crop yield estimation using agronomic neural network
EP3582603A4 (en) 2017-03-21 2021-01-06 Blue River Technology Inc. COMBINE WITH MACHINE FEEDBACK
BE1024513B1 (nl) 2017-05-09 2018-03-21 Cnh Industrial Belgium Nv Landbouwsysteem
US10757859B2 (en) 2017-07-20 2020-09-01 Deere & Company System for optimizing platform settings based on crop state classification
CN107343417B (zh) 2017-08-04 2020-02-28 浙江大学 一种倒喂入整秆式甘蔗收获机
DE102018104207A1 (de) 2018-02-23 2019-08-29 Claas Selbstfahrende Erntemaschinen Gmbh Selbstfahrende Erntemaschine
DE102018206507A1 (de) 2018-04-26 2019-10-31 Deere & Company Schneidwerk mit selbsttätiger Einstellung der Haspelzinkenorientierung
EP3820268A4 (en) * 2018-07-11 2022-04-27 Raven Industries, INC. DETECTION OF A ROW ASSOCIATED WITH A CROP FROM AN IMAGE
US10966369B2 (en) * 2018-10-31 2021-04-06 Cnh Industrial America Llc System and method for calibrating alignment of work vehicles
DE102019119126A1 (de) 2019-07-15 2021-01-21 Claas Selbstfahrende Erntemaschinen Gmbh Landwirtschaftliche Erntemaschine
BR112022022699A2 (pt) 2020-07-02 2023-01-31 Agco Do Brasil Solucoes Agricolas Ltda Calibração de altura do cortador de base para colheitadeiras de cana-de-açúcar
US20230354748A1 (en) 2020-07-21 2023-11-09 Agco Do Brasil Soluções Agrícolas Ltda Basecutter automated height calibration for sugarcane harvesters
US11930726B2 (en) 2020-10-26 2024-03-19 Deere & Company Machine-vision system for tracking and quantifying missed tassel during a detasseling operation
US11832555B2 (en) 2020-11-30 2023-12-05 Deere & Company Closed loop billet length control system for a harvester

Also Published As

Publication number Publication date
US20210015042A1 (en) 2021-01-21
US11812694B2 (en) 2023-11-14
CN110089263A (zh) 2019-08-06
BR102018074643A2 (pt) 2019-08-13
US10827676B2 (en) 2020-11-10
AU2018256532A1 (en) 2019-08-15
US20190230856A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN110089263B (zh) 用于收割机的监视器和控制系统
US11044847B2 (en) Cutter head with automatic setting of the reel finger orientation
EP3430881B1 (en) System for optimizing platform settings based on crop state classification
BE1021164B1 (nl) Ontlaadsystemen
US11744180B2 (en) Harvester crop mapping
CN110944503B (zh) 用于饲草收割机的作物排出控制
US11758847B2 (en) Residue quality assessment and performance system for a harvester
US11832555B2 (en) Closed loop billet length control system for a harvester
US11240958B2 (en) Discharging residue from a combine harvester
US11246264B2 (en) Harvesting control system with cutter bar load sensing
WO2021261343A1 (ja) 収穫機、収穫機の制御システム、収穫機の制御方法、収穫機の制御プログラム、及び、記録媒体
WO2022123889A1 (ja) 作業車、作物状態検出システム、作物状態検出方法、作物状態検出プログラム、及び作物状態検出プログラムが記録されている記録媒体
CN114246057A (zh) 收割机作物绘图
US20240107944A1 (en) Agricultural harvesting machine
JP7423441B2 (ja) 収穫機
JP7423440B2 (ja) 収穫機
JP7433145B2 (ja) 収穫機
JP2000166357A (ja) 倒伏稈列検出装置
JP2022002475A (ja) 収穫機
CN117941530A (zh) 用于农业收割机的系统和方法
JP2004135585A (ja) コンバイン
CN116234432A (zh) 收获机
CN115666223A (zh) 收获机、收获机控制程序、记录有收获机控制程序的记录介质、收获机控制方法
JPH11332345A (ja) コンバイン等の畦際制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant