CN100445948C - 自动烹调方法及系统 - Google Patents

Abstract

本发明提供的一种自动烹调方法和系统，它是将烹调师烧菜的动作录制后进行画像处理(或实时处理)，通过对烹调师使用的锅和铲烹调器具中三个特殊标志点的坐标的计算，从而计算出烹调师烧菜过程中的锅和铲的运动轨迹。然后，根据烹调师烧菜过程中使用的主料和调料量和加料时间及锅和铲的运动轨迹编制出相应的烧菜程序。然后，本发明的机械操作装置中的机械臂根据上述程序中的信号指令模仿烹调师的烧菜动作，烧出烹调师所烧的菜。本发明由于能通过记录装置将烹调师的炒菜动作过程记录下来并编成程序，然后使相应的机械操作装置来完成烹调师的炒菜动作，使得餐馆或家庭只要拥有程序及机械操作装置就可容易吃到名厨炒的菜，不仅便于名菜推广，也方便更多人享用。

Description

自动烹调方法及系统

技术领域

本发明涉及自动烹调方法及系统，特别涉及通过对烹调大师的示范过程进行记录，然后通过相应的装置(系统)将烹调大师的示范应用在具体的烹调中的方法及系统。

背景技术

现在的菜都是由烹调师一个个亲自做成的，特别是好的菜只有好的烹调师亲自做才成。这样一来，如果烹调师不能到某餐馆或家庭，该餐馆或家庭就不能做出这种好的菜肴来。中国菜是中国文化的一部分，有许多帮派，每一个帮派有许多著名的烹调师。过去往往是通过师傅传教，但是，这种传教，范围受到很大限制，不能在较大的范围使许多人享受到烹调大师的名菜，不能很好满足社会需求。

发明内容

本发明的目的是提供将烹调大师的烹调技术广泛推广的自动烹调方法及其系统。

为了实现本发明的一个目的，本发明提供一种自动烹调方法，其包括如下步骤：

1)摄像机记录烹调师烧菜的全过程，并将图像信号输入到计算机；

2)计算机通过图像信号处理，测量并计算出所用烹调器具的运动轨迹；

3)辅料记录装置测量出烹调师所加辅料的量，同时记录加料的时间，并将记录数据输入给计算机；

4)火力记录装置记录并测量烹调师对炉灶火力大小的调节及其调节时间，并将记录数据输入给计算机；

5)将上述测量数据编制成反应烹调师工作过程的自动烹调系统的操作程序；

6)将上述操作程序装入中央控制器，使机械操作系统按照上述烹调师烧菜操作程序重复完成并对相应的烹调过程进行完善，其包括如下步骤：

61)火力控制器根据操作程序调节炉灶火力大小以及时间；

62)辅料供料控制装置根据操作程序控制辅料的供给品种、数量以及时间；

63)中央控制器控制机械臂根据操作程序模仿烹调器具的运动轨迹完成烹调动作。

进一步，为了实现本发明的目的，本发明还提供一种自动烹调系统，其包括：烹调师烹调过程的记录系统和根据记录的操作程序进行烹调操作的机械操作系统，其中所述记录系统包括：

1)摄像机，其摄下烹调师的烧菜图像信号；

2)计算机，其与摄像机相连，接收摄像机的图像信号，并对该图像信号进行处理，测量并计算出烹调器具的运动轨迹；

3)和计算机相连的记录各种烹调辅料的加料量及时间的辅料记录装置；

4)和计算机相连的记录各种主料入锅时间的主料记录装置；

5)和计算机相连的记录并测量烹调师对炉灶火力大小的调节量及其调节时间的火力记录装置；

6)将上述测量和记录的数据进行处理并编制成相应的烹调师操作程序的程序编制装置；

所述机械操作系统包括：

1)装有上述烹调师操作程序的中央控制器；

2)和中央控制器相连的一只或多只机械臂，其接收上述中央控制器中根据操作程序表达的反映烹调师动作的信号来完成烹调动作；

3)和中央控制器相连的调节炉灶火力大小的火力控制器；

4)和中央控制器相连的辅料供料控制装置。

本发明由于能通过记录装置将烹调师的炒菜动作过程记录下来并编成程序，然后使相应的机械操作装置来完成烹调师的炒菜动作，使得餐馆或家庭只要拥有程序及机械操作装置就可容易吃到名厨炒的菜，不仅便于名菜推广，也方便更多人享用。

附图说明

图1为烹调师进行烹调示范的示意图。

图2是自动烹调系统的机械操作装置的示意图。

图3是基础坐标、摄像机镜头坐标和烹调器具坐标的设定图。

图4是摄像机坐标中特殊点的位置图。

图5是摄像机接收膜中特殊点的坐标位置图。

图6是计算特殊标志点在基础坐标中的位置图。

图7是机械臂运动轨迹计算方框图。

图8是机械臂的运动学模型图。

图9是是自动烹调系统的机械操作装置的全部部件的运动学模型图。

图10是厨师示范过程进行记录的记录装置的电路图。

图11是自动烹调系统的机械操作装置的电路图。

图12是机械臂控制系统方框图。

下面结合附图对本发明的实施例进行详细描述。

具体实施方式

图1为烹调师进行烹调示范的示意图。如图所示，数只例如3只主料容器8是用来装烧菜的主要原料即主料。二台摄像机1记录烹调师13烧菜的全过程，该摄像机1接收到的烹调师烧菜的图像信号输入到计算机3，计算机3通过画像处理，测量并计算出烹调器具锅10和铲11上的各特殊标志P在运动过程中的坐标位置(参见图3)，从而算出锅10和铲11的运动轨迹。数只例如4只辅料容器6分别装有油、盐、酱、醋等烧菜用的调味。在每只辅料容器6下装有电子秤7，该电子秤测量到的所加各辅料的量的电信号，在测量辅料量的同时，也记录下加辅料的时间。通过模数电路板(A/D电路板)9变成数字信号输入到计算机3(参见图10)，这样，所加各辅料的量及加料的时间的数据则存入到计算机3。设置在炉灶4的转角传感器可测出炉灶转角开关5的转动角度，记录下烹调师13对炉灶火力大小的调节量，同时也记录下调节的时间，也可以用装在锅上的热电偶温度计测量锅的温度的方法来调节火力的大小，该信号也输入到计算机3中。用红外线传感器12(也可用接触式开关等)则记录主料入锅时间。

图2是自动烹调系统的机械操作装置的示意图。如图所示，本发明是利用两只或两只以上机械臂及附属装置构成机械操作装置。该自动烹调系统包括数只例如3只排出量可程控的辅料容器17及装在其下的程控漏斗18，可根据程序的操作指令控制添加烧菜的调料。二只装在6个自由度的机械臂21上的机械手16，其中，20为机械臂的关节。有数个例如3个其装有烧菜主料的可被机械手16抓取的主料容器15，机械手16可根据程序的操作指令抓取主料容器15并倒出烧菜主料。炉灶的火力控制器19可根据程序的操作指令控制炉灶的火力。中央控制器14包括外部存储器21和显示器22。操作程序的软盘插入到中央控制器14(或从网络将操作程序传入到中央控制器14。只要按操作程序的要求准备好烧菜主料和调料，启动操作程序，机械手16即可自动进行烹调。

图3是基础坐标、摄像机镜头坐标和烹调器具坐标的设定图。通过设定，可根据编制的操作程序对机械臂操作目标轨道进行计算。因为在自动烹调系统中要将固定两只机械臂的固定台上的两只机械臂的中间点设定为基础坐标系，并且和炉灶中心有固定的相对距离位置，所以在记录装置中也要将该点设定为基础坐标系，用∑_b表示。如图3所示，本发明的测量并计算出所用烹调器具的运动轨迹的方法包括：1)首先测出特殊标志在图像中的位置，然后计算出烹调器具的特殊标志点相对于摄像机的位置；2)利用坐标变换法算出烹调器具的坐标系统相对于基础坐标系统的位置和姿势，具体如下：在左右摄像机1的镜头中心点上设定两个摄像机坐标系，两摄像机的位置和基础坐标位置有固定的关系，摄像机坐标系用∑_cl、∑_cr表示(参见图4)。烹调器具锅10和铲11的柄头上设定为两个运动坐标系，用∑_g、∑_q表示。上述锅和铲的坐标和固定在它们上面的各3个特殊标志P(同样色彩的小球)有固定的位置关系。通过摄像机1摄下的图象算出特殊标志对于摄像机坐标的位置，然后计算出∑_g、∑_q相对基础座标∑_b的位置。以下介绍具体算法。

参见图4，先以某一个特殊标志为例进行计算。图中，23为摄像机1的图像接受膜，24为摄像机镜头，P代表某个特殊标志。将左右摄像机1轴心线cr和cl保持平行，且镜头对齐。镜头中心点O_cl和O_cr作为坐标原点，将它们连成一直线，作为摄像机的Y轴(左摄像机的Y轴为Y_cl，右摄像机的Y轴为Y_cr)，两摄像机的轴心线为X轴，则左右摄像机的X轴为X_cl，X_cr。而左摄像机的X_cl轴和Y_cl轴组成的平面和右摄像机的X_cr轴和Y_cr轴组成的平面是同一个平面，即左右摄像机在同一个平面上。左右摄像机的(Z_cl，Z_cr)轴都垂直於这个平面，将这个平面叫做Z平面。要求左摄像机的Y_cl轴和Z_cl轴组成的平面和右摄像机的Y_cr轴和Z_cr轴组成的平面也在同一个平面上，即左右摄像机镜头对齐。则左摄像机的Z_cl轴和X_cl轴组成的平面和右摄像机的Z_cr轴和X_cr轴组成的平面是两个相互平行的平面，两平面的距离是w，这也就是两个原点O_cl，O_cr的距离。图中的P点在某一瞬间到各平面的距离也就是在左右摄像机坐标中的位置可用(^clx_P，^cly_P，^clz_P，^crx_P，^cry_P，^crz_P)表示，P点到Z平面的投影点为P_Z，连接PO_cl，PO_cr，和P_ZO_cl，P_ZO_cr，将PO_cl和P_ZO_cl的夹角称为^clθ_Py，将PO_cr和P_ZO_cr的夹角称为^crθ_Py，将P_ZO_cl，和X_cl的夹角称为^clθ_Pz，将P_ZO_cr和X_cr的夹角称为^crθ_Pz，它们的关系可通过下列式子算出。式中的^cl，^cr表示左右摄像机坐标系。

^crx_Ptan^crθ_Pz＝^cry_P

^clx_Ptan^clθ_Pz＝^cly_P

∵^clx_P＝^crx_P  ^cly_P+^cry_P＝w

^crx_Ptan^crθ_Pz+^crx_Ptan^clθ_Pz＝w

^crx_P＝^clx_P＝w(cot^crθ_Pz+cot^clθ_Pz)

^cry_P＝^crx_Ptan^crθ_Pz  ^cly_P＝^clx_Ptan^clθ_Pz

$z_P^{\mathrm{cr}}=z_P^{\mathrm{cl}}=x_P^{\mathrm{cl}}\frac{1}{\sin \mathrm{\θ}_{\mathrm{Pz}}^{\mathrm{cl}}}\tan \mathrm{\θ}_{\mathrm{Py}}^{\mathrm{cl}}$

图5表示如何用右摄像机的图象接受膜画面中的^srP点的位置(^srx_P，^sry_P)(单位要由像素换算成mm，不同的摄像机换算比例不同)求出转角(^crθ_Py，^crθ_Pz)。^sl，^sr为左右摄像机图像接受膜平面坐标系，1为图象接受膜与镜头间的距离。

求转角算式如下：

$\mathrm{\θ}_{\mathrm{Pz}}^{\mathrm{cr}}=-{\tan }^{-1}\frac{x_P^{\mathrm{sr}}}{l}$

$\mathrm{\θ}_{\mathrm{Py}}^{\mathrm{cr}}=-{\tan }^{-1}\frac{y_P^{\mathrm{sr}}\cos \mathrm{\θ}_{\mathrm{Pz}}^{\mathrm{cr}}}{l}$

图6表示如何用锅的3个特殊点的坐标(^bP_g1，^bP_g2，^bP_g3)算出锅的坐标系∑_g相对于基础坐标系∑_b的位置(^bP_g)和姿势(^bR_g)。锅的位置和姿势行列式(^bT_g)由下式算出。

^bP_g1＝[^bx_g1，^by_g1，^bz_g1]

^bP_g2＝[^bx_g2，^by_g2，^bz_g2]

^bP_g3＝[^bx_g3，^by_g3，^bz_g3]

$T_g^b=\begin{array}{}\left[\begin{array}{cc}R_g^b& p_g^b\\ 0^T& 1\end{array}\right]\end{array}$

^bT_g＝Λ_g(^bP_g1，^bP_g2，^bP_g3)

式中^b为基础坐标系。^bx_g1表示锅上的P₁点在基础坐标∑_b上对y_b-z_b平面的距离，因摄像机坐标和基础坐标有固定的关系，所以可以通过坐标变换，由(^crx_P，^cry_P，^crz_P)求得，^bR_g，^bP_g1也可以通过(^clx_P，^cly_P，^clz_P)求得。式中Λ_g为线性代数函数式，Λ_g的具体计算式因各特殊点坐标及锅的坐标系的设定而异，且有固定的算法，一般技术人员根据上面的计算方法可以算出来。这里省略。以上的计算结果表示在图7的方框图上，而计算过程在图7中描述如下：P₁，P₂，P₃三个特殊点在一个周期内的位置和姿势变化轨迹，由摄像机接受膜坐标经摄像机坐标转换到基础坐标，再经过线性代数处理，将三个点总合成锅的坐标系∑_g相对于基础坐标系∑_b的位置和姿势的矩阵^bT_g(k)，k为采样周期数。

参见图7，插入“其他动作信号”，是表示取料及调节炉灶火力等动作信号。因这些动作是由始点和终点两点来决定，计算较为简单，一般技术人员很容易计算，此处省略。Λ_r为右机械臂的运动学函数式，每个机械臂都有一个特定的运动学函数式。θ_r(k)为右机械各关节的转角矢量(也即目标轨道)。左机械臂各关节的转角矢量的计算过程和右侧相同，这里省略。铲的计算和锅的计算相同，也省略。

因为通过画像处理所要识别的只是一些特定的标志，所以画像处理也可用一般的图象识别法或哈佛变换来计算各标志的位置，此处不详述。另外，这里讲述的方法，也可用一般机械臂常用的直接教示法来代替，也可用磁场法来代替，但本法能保证细腻、周到、准确。当然，在实际工作中，这几种方法可以相互补充。上述计算和操作程序的编制由计算机完成。画像处理过程可和摄像机的摄录过程同时进行，也可以先将摄录过程完成后再进行画像处理。

图8是自动烹调系统的机械臂的构造及运动学模型图。参见图8，由于烹调操作需要机械臂能任意动作，所以本发明的机械操作装置是采用二台6个自由度的机械臂。这种机械臂的构造和一般工业用机械臂的构造一样。图中θ₀₁，θ₁₁……θ₅₁和θ_0r，θ_0r……θ_5r表示两个机械手的各6个关节的转角。

图9是自动烹调系统的机械操作装置的全部部件的运动学模型图。坐标系统的设定如下：锅和锹的坐标系(∑_g，∑_q)和基础坐标系∑_b的设定与厨师操作记录装置中的坐标相同。主料容器15的坐标系∑_v1，∑_v2……∑_vn设定在机械手抓握之处，辅料容器17的坐标系∑_f1，∑_f2……∑_fn设定在接料时锅柄的坐标处。机械手在抓握主料容器15的主料或接取辅料容器17的调料时，只须将机械手坐标与这些坐标重叠即可。炉灶燃气开关由计算机程控马达控制。

图10是厨师示范过程进行记录的记录装置的电路图。参见图1和图10，摄像机1与图像处理电路板2相连，它将记录到的烹调师13示范的烧菜的动作的图像信号经过图像处理电路板2，再输入到计算机3中，炉灶的带转角传感器的燃气开关5与模数电路板(A/D电路板)9相连，它将烹调师炒菜所选的开关大小(火力大小)信号记录下来输入到模数电路板9，再输入到计算机3中，辅料容器6带有电子秤7，烹调师所用的辅料的变化量由电子秤7记录出，数据经过模数电路板9再输入到计算机3中。主料容器8带有二极管红外传感器12，该二极管红外传感器与另一模数电路板9相连，它将测到的主料入锅时间信号输入到该模数电路板9再输入到计算机3中。根据上述数据人工编制一简单程序模块，再采取上面计算到的结果，计算机3有一套现成的程序编制装置，加上人工编制的程序模块，就可编制成反映烹调师烧某一菜的动作的操作程序。当然，根据具体要求，可对程序作必要的调整。

图11是自动烹调系统的机械操作装置的电路图。在自动烹调系统的操作程序插入中央控制器的计算机33后，系统开动，计算机33将操作程序的辅料用量控制信号通过脉冲发生器电路板22输入到步进第一马达驱动器23，于是第一步进马达驱动器23驱动辅料容器17的程控漏斗18的步进马达，使辅料加到锅中。计算机33将操作程序的控制燃气(火力)大小的控制信号，也通过脉冲发生器电路板22，输入到相应的第一步进马达驱动器23，该第一步进马达驱动器23去控制程控燃气开关的步进马达从而控制炉灶火力大小。计算机33经操作程序通过脉冲发生器电路板24，输入到第二步进马达驱动器25中，由第二步进马达驱动器25来控制机械手16完成抓主料容器和倒料的动作。而机械臂各关节的运动和炒菜的动作，由计算机通过模数电路板(A/O)26把控制信号输入到驱动器27中，该驱动器27控制机械臂各关节20的马达，进行运动控制，完成相应的烧菜动作。机械臂马达转角传感器的转角信号，通过放大器29放大后输入计数电路板28，将机械臂21运动的反馈信号送入计算机33，从而对机械臂21的动作进行修正。机械臂通过这套系统，可按照操作程序来完成烧菜操作过程。

图12是机械臂控制系统方框图。图中θ_r(k)为右侧机械臂的操作记录系统求出的目标轨道(图7中的输出值)，左侧也相同。此方框图是一般控制机械臂用的PID控制系统方框图。有了目标轨道之后，每个机械臂就可通过图12进行控制，所以，θ_ro(k)为机械臂各关节的实际转角，θ_ro(k)为机械臂各关节的角速度。用以反馈控制机械臂各关节避免过调节，这反馈是机械臂本身决定。

从上面的描述可以看出，本发明的实质是将烹调师烧菜的动作录制后进行画像处理(或实时处理)，通过对烹调师使用的锅和铲烹调器具中三个特殊标志点的坐标的计算，从而计算出烹调师烧菜过程中的锅和铲的运动轨迹。然后，根据烹调师烧菜过程中使用的主料和调料量和加料时间及锅和铲的运动轨迹编制出相应的烧菜程序。然后，本发明的机械操作装置中的机械臂根据上述程序中的信号指令模仿烹调师的烧菜动作，烧出烹调师所烧的菜。

Claims (11)

1、一种自动烹调方法，其特征在于，包括如下步骤：

1)摄像机记录烹调师烧菜的全过程，并将图像信号输入到计算机；

2)计算机通过图像信号处理，测量并计算出所用烹调器具的运动轨迹；

3)辅料记录装置测量出烹调师所加辅料的量，同时记录加料的时间，并将记录数据输入给计算机；

4)火力记录装置记录并测量烹调师对炉灶火力大小的调节及其调节时间，并将记录数据输入给计算机；

5)将上述测量数据编制成反应烹调师工作过程的自动烹调系统的操作程序；

6)将上述操作程序装入中央控制器，使机械操作系统按照上述烹调师烧菜操作程序重复完成并对相应的烹调过程进行完善，其包括如下步骤：

61)火力控制器根据操作程序调节炉灶火力大小以及时间；

62)辅料供料控制装置根据操作程序控制辅料的供给品种、数量以及时间；

63)中央控制器控制机械臂根据操作程序模仿烹调器具的运动轨迹完成烹调动作。

2、如权利要求1所述的自动烹调方法，其特征在于，所述测量烹调师所加各调料的量及加料时间是在各调料的容器下面装有电子秤，该电子秤测量的重量电信号通过模数转换器(A/D)输入到计算机中，而时间则通过计算机中的电子计时装置自动记录下信号的到来时间的。

3、如权利要求1所述的自动烹调方法，其特征在于，记录烹调师对炉灶火力大小的调节量及其相应的调节时间的方法是：记录转角传感器测量出厨师调节炉灶的旋钮的旋转角度，计算机根据转角信号的变动自动记录火力的调节时间。

4、如权利要求1所述的自动烹调方法，其特征在于，记录烹调师对炉灶火力大小的调节量及其相应的调节时间的方法是：记录通过装在锅上的热电偶等温度测量装置测量出来的温度信号，并输入到计算机中，计算机根据温度的变化自动记录火力调节的时间。

5、如权利要求1所述的自动烹调方法，其特征在于，所述记录主料入锅时间的方法具体为：通过红外传感器测到的主料入锅时间信号，并将该信号输入给计算机。

6、如权利要求1所述的自动烹调方法，其特征在于，所述的计算机通过图像信号处理，测量并计算出所用烹调器具的运动轨迹的方法为：

1)首先测出特殊标志在图像中的位置，然后计算出烹调器具的特殊标志点相对于摄像机的位置；

2)利用坐标系变换法算出烹调器具的坐标系相对于基础坐标系统的位置和姿势。

7、一种自动烹调系统，其特征在于，包括：烹调师烹调过程的记录系统和根据记录的操作程序进行烹调操作的机械操作系统，其中所述记录系统包括：

1)摄像机，其摄下烹调师的烧菜图像信号；

2)计算机，其与摄像机相连，接收摄像机的图像信号，并对该图像信号进行处理，测量并计算出烹调器具的运动轨迹；

3)和计算机相连的记录各种烹调辅料的加料量及时间的辅料记录装置；

4)和计算机相连的记录各种主料入锅时间的主料记录装置；

5)和计算机相连的记录并测量烹调师对炉灶火力大小的调节量及其调节时间的火力记录装置；

6)将上述测量和记录的数据进行处理并编制成相应的烹调师操作程序的程序编制装置；

所述机械操作系统包括：

1)装有上述烹调师操作程序的中央控制器；

2)和中央控制器相连的两只或多只机械臂，其接收上述中央控制器中根据操作程序表达的反映烹调师动作的信号来完成烹调动作；

3)和中央控制器相连的调节炉灶火力大小的火力控制器；

4)和中央控制器相连的辅料供料控制装置。

8、如权利要求7所述的自动烹调系统，其特征在于，所述辅料记录装置包括设置在调料器下的电子秤。

9、根据权利要求7所述的自动烹调系统，其特征在于，所述的主料记录装置包括：设于主料容器上的红外传感器。

10、如权利要求7所述的自动烹调系统，其特征在于，所述的火力记录装置包括：可对烹调器具的开关的转动角度及时间进行测量的转角传感器。

11、如权利要求7所述的自动烹调系统，其特征在于，所述辅料供料控制装置包括设于辅料容器上的程控漏斗、用于控制程序漏斗开关的步进马达、以及用于控制步进马达的第一步进马达驱动器。

Images