JP2023058319A - 食肉用の作用点演算システム、食肉加工システム、及び、食肉用の作用点演算方法 - Google Patents

Abstract

【課題】教師データを準備する負担が少なく、作用点を高精度に特定できる食肉用の作用点演算システム、食肉加工システム、及び、食肉用の作用点演算方法を提供する。【解決手段】食肉用の作用点演算システム１０は、画像データ取得部１１と作用点取得部１２を備える。画像データ取得部１１は、食肉の撮影画像を示す画像データを取得するように構成される。作用点取得部１２は、画像データと、撮影画像に含まれる食肉５のキーポイントを示す正解データとを教師データとして機械学習された学習モデル７０に、画像データ取得部１１により取得された画像データを入力して、食肉においてロボット４が作用を付与する少なくとも１つの作用点を特定するための作用点データを取得するように構成される。【選択図】図１

Description

本開示は、食肉用の作用点演算システム、食肉加工システム、及び、食肉用の作用点演算方法に関する。

従来、食肉の作用点を演算により求める食肉用の作用点演算システムが知られている。作用点は、例えば食肉の切断位置を規定する。特許文献１では、青色可視光線を照射して励起発光させた肉部位の切断面を撮影した第１の画像に基づき骨部位の輪郭が検出され、切断面に白色可視光線を照射した肉部位の切断面を撮影した第２の画像に基づき切断面の外郭が検出される。そして、検出された切断面の外郭と骨部位の輪郭との相対位置から所定の規則に従って骨部位の位置が求められ、求められた骨部位の位置に基づき肉部位の切断位置が決められる。

特開２０１４－７９８２号公報

しかしながら、所定の規則に従い骨部位の位置が求められる上記特許文献では、撮影される肉部位の骨の露出量がバラつくと、骨部位の位置が正確に求まらない可能性がある。また、上記方法に代えて、学習モデルを用いて骨部位の位置を求める場合においては、教師データを準備する負担が少ない方が好ましいが、上記特許文献にはこれを達成するための構成は開示されていない。

本開示の目的は、教師データを準備する負担が少なく、作用点を高精度に特定できる食肉用の作用点演算システム、食肉加工システム、及び、食肉用の作用点演算方法を提供することである。

本開示の少なくとも一実施形態に係る食肉用の作用点演算システムは、
食肉の撮影画像を示す画像データを取得するように構成された画像データ取得部と、
前記画像データと、前記撮影画像に含まれる前記食肉のキーポイントを示す正解データとを教師データとして機械学習された学習モデルに、前記画像データ取得部により取得された前記画像データを入力して、前記食肉においてロボットが作用を付与する少なくとも１つの作用点を特定するための作用点データを取得するように構成された作用点取得部と
を備える。

本開示の少なくとも一実施形態に係る食肉加工システムは、
上記食肉用の作用点演算システムと、
前記作用点取得部によって取得された前記作用点に作用を付与するように構成された前記ロボットと
を備える。

本開示の少なくとも一実施形態に係る食肉用の作用点演算方法は、
食肉の撮影画像を示す画像データを取得する画像データ取得ステップと、
前記画像データと、前記撮影画像に含まれる前記食肉のキーポイントを示す正解データとを教師データとして機械学習された学習モデルに、前記画像データ取得ステップにより取得された前記画像データを入力して、前記食肉のうちロボットが作用を付与する対象となる少なくとも１つの作用点を特定するための作用点データを取得する作用点取得ステップとを備える。

本開示によれば、教師データを準備する負担が少なく、作用点を高精度に特定できる食肉用の作用点演算システム、食肉加工システム、及び、食肉用の作用点演算方法を提供することができる。

本開示の一実施形態に係る食肉加工システムの全体構成を示す概念図である。 本開示の一実施形態に係る食肉を示す概念図である。 本開示の一実施形態に係る撮影画像の概念図である。 学習モデルを用いた作用点の推定精度と、従来法を用いた作用点の推定精度との比較結果を概念的に示すグラフである。 本開示の一実施形態に係る左枝肉における規定領域を概念的に示す拡大図である。 本開示の一実施形態に係る教師データを概念的に示す説明図である。 本開示の一実施形態に係る学習モデルの構成を示す概念図である。 本開示の一実施形態に係る第１押圧装置と第２押圧装置を概念的に示す説明図である。 本開示の一実施形態に係る食肉の作用点の演算方法を示すフローチャートである。

以下、添付図面を参照して本開示の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本開示の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
なお、同様の構成については同じ符号を付し説明を省略することがある。

＜１．食肉加工システム１の概要＞
図１～図３を参照し、食肉加工システム１の概要を例示する。図１は、本開示の一実施形態に係る食肉加工システム１の全体構成を示す概念図である。図２は、本開示の一実施形態に係る食肉５を示す概念図である。図３は、本開示の一実施形態に係る食肉５が映る撮影画像２０の概念図である。

食肉加工システム１は、食肉５の撮影画像２０を示す画像データ２８を入力した学習モデル７０からの出力結果に基づき食肉５の作用点Ｐを特定し、加工動作を実行する。作用点Ｐは、ロボット４が食肉５において作用を付与する点である。食肉５に付与する作用とは、食肉５に対する切断、把持、押圧、叩き、脱骨、光の照射、液体の吐出、またはこれらの組み合わせなどを含む概念であり、加工とほぼ同義である。以下では、食肉５に付与する作用が食肉５に対する切断である場合を例にして説明する。
また、食肉５は一例として家畜屠体の枝肉である。より具体的には、食肉５は、家畜の左枝肉５Ｌと家畜の右枝肉５Ｒとを含む。左枝肉５Ｌと右枝肉５Ｒのそれぞれには、背骨６と複数の肋骨９が含まれており、これらの骨の少なくとも一部は露出しており視認可能である。なお、概念図である図２、図３では、複数の肋骨９のうち下側にあるもののみが図示されている。以下では、左枝肉５Ｌと右枝肉５Ｒを特に区別しない場合に、「食肉５」という場合がある。なお、肋骨９は、図２で示される左枝肉５Ｌでは背骨６から左側に突出しており、同図で示される右枝肉５Ｒでは背骨６から右側に突出している。

本実施形態では、学習モデル７０からの出力結果に基づき特定される少なくとも１つの作用点Ｐ（図２参照）によって、食肉５における仮想切断線Ｋ、Ｍが規定される。仮想切断線Ｋに沿った切断により食肉５から前躯４１が切り落とされ、残る食肉５は仮想切断線Ｍに沿った切断により中躯４２と後躯４３に分断される。
本実施形態の仮想切断線Ｋは、左枝肉５Ｌにおける左作用点Ｐ１、Ｐ２によって規定される仮想切断線ＫＬと、右枝肉５Ｒにおける右作用点Ｐ３、Ｐ４によって規定される仮想切断線ＫＲとを含む。一方、仮想切断線Ｍは、左枝肉５Ｌにおける左作用点Ｐ５と、第１の設定角度とによって規定される仮想切断線ＭＬと、右枝肉５Ｒにおける右作用点Ｐ６と、第２の設定角度とによって規定される仮想切断線ＭＲとを含む。詳細は後述するが、左作用点Ｐ１と右作用点Ｐ４は複数の肋骨９のいずれか２つの間に位置する。仮想切断線ＭＬ、ＭＲはいずれも、食肉５を構成する骨のうち腰椎のみを通過するように設定されており、左作用点Ｐ５と右作用点Ｐ６は、食肉５の腰椎と重なるように設定される。
なお、他の実施形態では、仮想切断線ＫＲは左作用点Ｐ１、Ｐ２と右作用点Ｐ３とによって規定されてもよく、具体的には、仮想切断線ＫＬと左右対称であり且つ右作用点Ｐ３を通過する仮想線を仮想切断線ＫＲと規定してもよい。また、仮想切断線ＭＬは、左作用点Ｐ５と、さらに別の左作用点とによって規定されてもよい。仮想切断線ＭＲも同様である。
以下の説明では、左作用点Ｐ１、Ｐ２、Ｐ５と、右作用点Ｐ３、Ｐ４、Ｐ６とを特に区別しない場合に「作用点Ｐ」という場合がある。

＜２．食肉加工システム１の全体的な構成の例示＞
図１、図２を参照し、本開示の一実施形態に係る食肉加工システム１の全体的な構成を例示する。食肉加工システム１は、水平に延在するレール４５と、食肉５を把持してレール４５に沿って搬送するように構成された搬送装置４６とを備える。本例の搬送装置４６は、吊り下げられた左枝肉５Ｌと右枝肉５Ｒを１度で搬送するように構成される。
他の実施形態では、搬送装置４６は、１回の搬送で左枝肉５Ｌまたは右枝肉５Ｒのいずれかのみを搬送するように構成されてもよく、この場合、左枝肉５Ｌと右枝肉５Ｒは交互に搬送される。

食肉加工システム１は、さらに、搬送装置４６の搬送ラインに沿って上流側から順に設けられた第１加工ステーション５１及び第２加工ステーション５２と、第１加工ステーション５１及び第２加工ステーション５２にそれぞれ対応して設けられた食肉用の作用点演算システム（以下、単に「作用点演算システム」という場合がある）１０Ａ、１０Ｂとを含む。
第１加工ステーション５１は、食肉５を仮想切断線Ｋに沿って切断するように構成される。第２加工ステーション５２は、食肉５を仮想切断線Ｍに沿って切断するように構成される。第１加工ステーション５１は作用点演算システム１０Ａによって制御され、第２加工ステーション５２は作用点演算システム１０Ｂによって制御される。
第１加工ステーション５１と第２加工ステーション５２は互いに同様の構成を有し、作用点演算システム１０Ａと作用点演算システム１０Ｂも互いに同様の構成を有する。以下では、第１加工ステーション５１と作用点演算システム１０Ａの構成について主に説明し、作用点演算システム１０Ａと作用点演算システム１０Ｂを特定に区別しない場合に「作用点演算システム１０」という場合がある。

＜３．第１加工ステーション５１と作用点演算システム１０Ａの構成の例示＞
図１、図３を参照し、本開示の一実施形態に係る第１加工ステーション５１と作用点演算システム１０Ａの構成を例示する。第１加工ステーション５１は、白色光源７と、白色光源７によって照らされる食肉５を撮影して撮影画像２０を生成するように構成された撮影装置８と、撮影装置８による撮影時に食肉５をそれぞれ押圧するための第１押圧装置３１及び第２押圧装置３２と、食肉５を切断するためのカッター３を装着したロボット４とを備える。本例の第１押圧装置３１と第２押圧装置３２は、水平方向に沿って食肉５を挟み込むようにして押圧する。第１押圧装置３１と第２押圧装置３２の詳細は後述する。

上述の撮影装置８は、一例として、搬送装置４６によって搬送される左枝肉５Ｌと右枝肉５Ｒの双方を同時に撮影する。従って、撮影装置８によって生成される撮影画像２０は、家畜の左枝肉５Ｌが映る第１領域２１と、家畜の右枝肉５Ｒが映る第２領域２２とを含む。本実施形態では、第１領域２１と第２領域２２のそれぞれは、複数の肋骨９が映る規定領域２３を含む。

作用点演算システム１０Ａは、少なくとも１つのプロセッサと、少なくとも１つのメモリとを備える。プロセッサは、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＤＳＰ、又はこれらの組み合わせなどである。プロセッサは、ＰＬＤ、ＡＳＩＣ、ＦＰＧＡ、またはＭＣＵ等の集積回路により実現されてもよい。メモリは、各種データを一時的または非一時的に記憶するように構成され、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、またはこれらの組み合わせによって実現される。作用点演算システム１０Ａは、コントローラなどの制御機器と、ＧＰＵを搭載したパーソナルコンピュータとの組み合わせなどによって実現してもよい。

図１に示すように、上記のような作用点演算システム１０Ａは、食肉５の撮影画像２０を示す画像データ２８（図３参照）を取得するように構成された画像データ取得部１１と、学習モデル７０を記憶する記憶部１３と、画像データ取得部１１によって取得された画像データ２８を学習モデル７０に入力して、食肉５における作用点Ｐを特定するための作用点データを取得するように構成された作用点取得部１２と、作用点取得部１２によって取得された作用点データに基づきロボット４に加工指令を送るように構成された加工指令部１４とを備える。

詳細は後述するが、本例の学習モデル７０では、機械学習（深層学習）用の教師データ２５（図５参照）として、撮影画像２０を示す画像データ２８と、撮影画像２０に含まれる食肉５のキーポイント（特徴点）を示す正解データ２７とが用意される。このキーポイントは作用点Ｐに相当する。つまり、学習モデル７０から出力結果である、作用点Ｐを特定するための作用点データは、食肉５における作用点Ｐの座標に関するデータであり、例えば、作用点Ｐのそれぞれを中心としたヒートマップを示す分布データである。作用点取得部１２（図１参照）はこの作用点データを取得して加工指令部１４に送る。加工指令部１４は、４つのヒートマップのそれぞれにおいて最も尤度の高い座標を作用点Ｐとみなして仮想切断線Ｋを特定する。そして、仮想切断線Ｋに沿った切断動作を行うよう、加工指令部１４はロボット４に指令を送る。つまり、ロボット４は、作用点取得部１２によって取得された作用点Ｐに作用を付与するように構成される。
なお、他の実施形態では、学習モデル７０から出力される作用点データは、作用点Ｐの具体的な座標のみであってもよい。

＜４．学習モデル７０と従来法との比較結果の例示＞
図４は、作用点演算システム１０Ａの学習モデル７０を用いた作用点Ｐの推定精度と、特許文献１に開示される従来法を用いた作用点Ｐの推定精度との比較結果を概念的に示すグラフである。本比較では、予め正解とすべき作用点Ｐの座標が判明している食肉５を用意し、学習モデル７０と従来法とのそれぞれによって求められる作用点Ｐの推定座標の精度を検証した。
同図のグラフでは、正解座標を横軸とし、求められる推定座標を縦軸としている。得られた推定座標が正解座標と一致していることが理想であり、推定座標が二点鎖線Ｓに近いほど推定精度は高い。図４では、理想からのズレの許容範囲が破線Ｈ１、Ｈ２によって示されている。

同グラフで示される「〇」は、作用点取得部１２によって取得される作用点データに基づいて特定される作用点Ｐの座標であり、「×」は、従来法によって取得される作用点Ｐの座標である。図４から了解される通り、作用点演算システム１０Ａの学習モデル７０を用いた作用点Ｐの推定精度が、特許文献１に開示される従来法を用いた作用点Ｐの推定精度よりも著しく高くことが確認された。

上記構成によれば、作用点データを出力するように構成された学習モデル７０が、キーポイントを出力するモデルであるので、用意される教師データ２５としての正解データ２７は、画像に対応付けた座標データで済む。つまり、正解データ２７は、作用点Ｐを示す画面座標を示す座標データで済む。従って、教師データ２５として用意される画像データ２８に対してエッジ処理、マスキング処理などの画像処理をする必要がなくなり、教師データ２５の簡易化が実現する。よって、教師データ２５を準備する負担が少なく、作用点Ｐを高精度で特定できる食肉用の作用点演算システム１０が実現する。

なお、他の実施形態では、第１加工ステーション５１は、食肉５を把持するように構成されてもよい。この場合、作用点取得部１２にとって取得される作用点Ｐは、把持位置を示す。この場合、加工指令部１４は仮想切断線Ｋ、Ｍを特定せず、ロボット４はカッター３の代わりにクランプを装着する。

また、本実施形態では、食肉加工システム１の第１加工ステーション５１は、白色光源７と、白色光源７によって照らされる食肉５を撮影して撮影画像２０を生成するように構成された撮影装置８とを備え、青色光源を備えない。
上記構成によれば、青色光源などの特殊な光源に比べて汎用性の高い白色光源７によって照らされた食肉５を撮影装置８が撮影するので、設備の簡易化が実現する。

＜５．作用点演算システム１０Ａの学習モデル７０から出力される作用点データの例示＞
図３、図５を参照し、作用点演算システム１０Ａの学習モデル７０から出力される作用点データの詳細を例示する。図５は、本開示の一実施形態に係る左枝肉５Ｌにおける規定領域２３を概念的に示す拡大図である。
学習モデル７０から出力される作用点データは、作用点Ｐを中心としたヒートマップとして表すことが可能である。このヒートマップは、撮影画像２０を構成する２以上の画素が作用点Ｐに該当する確率（尤度）の分布を確率密度分布として示す。図５では、左作用点Ｐ１、Ｐ２におけるヒートマップを概念的に図示し、右作用点Ｐ３、Ｐ４におけるヒートマップの図示は省略されている。学習モデル７０から出力される作用点データは作用点取得部１２に送られる。

作用点取得部１２から作用点データを取得する加工指令部１４は、左作用点Ｐ１、Ｐ２のそれぞれに対応するヒートマップにおいて最も尤度の高い画素を左作用点Ｐ１、Ｐ２とみなす。これにより、加工指令部１４は、仮想切断線ＫＬを特定することができる。詳細な図示は省略するが、同様の原理によって、右作用点Ｐ３、Ｐ４のヒートマップに基づき加工指令部１４は、仮想切断線ＫＲ（図２参照）を特定することができる。
なお、本例の左作用点Ｐ１と右作用点Ｐ４は、複数の肋骨９のいずれか２つの間に位置し、左作用点Ｐ２と右作用点Ｐ３は、背骨６と重なるように位置する。つまり、仮想切断線Ｋは、肋骨９を避けた位置で規定される。これにより、ロボット４（図１参照）がカッター３を用いて仮想切断線Ｋに沿って食肉５を切断するとき、肋骨９が傷つくのを抑制できる。
作用点Ｐが上記のような位置条件を充足するには、学習モデル７０の学習段階で用いられる教師データ２５がそれに見合うように準備されればよい。以下では、学習モデル７０の学習過程について説明する。

＜６．作用点演算システム１０Ａの学習モデル７０の学習過程の例示＞
図６を参照し、作用点演算システム１０Ａの学習モデル７０の学習過程を例示する。図６は、本開示の一実施形態に係る教師データ２５を概念的に示す説明図である。教師データ２５は、学習用に準備された撮影画像２０を示す画像データ２８とこの画像データ２８に対応付けられた正解データ２７とを１セットのデータとして、複数セットのデータからなる。正解データ２７は、対応する画像データ２８によって示される撮影画像２０に含まれる食肉５のキーポイント（特徴点）の確率密度分布を示す。

正解データ２７は例えば以下のように用意される。
オペレータが画像データ２８によって示される撮影画像２０について、正解とすべき作用点Ｐ（左作用点Ｐ１、Ｐ２と右作用点Ｐ３、Ｐ４）の座標を特定する。そして、特定された作用点Ｐの座標は、ヒートマップ生成部３５に入力されることで、正解データ２７が生成される。ここで、ヒートマップ生成部３５は、規定のアルゴリズムによって構築されており、左作用点Ｐ１、Ｐ２と右作用点Ｐ３、Ｐ４のそれぞれの撮影画像２０における座標を中心としたガウス分布を生成する。この分布が、撮影画像２０を構成する２以上の画素のそれぞれが作用点Ｐに該当する確率（尤度）を示す。図６の例では、左作用点Ｐ１、Ｐ２と右作用点Ｐ３、Ｐ４のそれぞれに対応する正解のヒートマップが符号Ｑ１～Ｑ４によって示される。ヒートマップ（Ｑ１～Ｑ４）が表される正解データ２７の画像の解像度は撮影画像２０と同じである。

画像データ２８と上記の正解データ２７とを対応付けた一定量の教師データ２５が学習モデル７０に入力される。学習モデル７０から出力されるヒートマップと、正解データ２７に含まれるヒートマップ（Ｑ１～Ｑ４）との平均２乗誤差が例えば０などの規定値に収束するよう、学習モデル７０における重み付け係数などの各種パラメータが調整されて、学習が行われる。
なお、このような学習モデル７０は、例えば、ＨＲＮｅｔ、ＲｅｓＮｅｔ、または、ＤｅｎｓｅＮｅｔなどにより実現される。

キーポイントの確率密度分布を示す正解データ２７を教師データ２５として機械学習された学習モデル７０は、作用点Ｐの確率密度分布を作用点データとして出力するように構成される。
食肉５の大きさ及び外観はバラつく傾向がある。食肉５の大きさのバラつきは、例えば家畜の発育に起因する。食肉５の大きさがバラつくと、食肉５の作用点Ｐとすべき位置も同様にバラつき、学習モデル７０の学習の障壁となり得る。また、食肉５の外観のバラつきは、例えば家畜から食肉５を得る工程のバラつきに起因する。一例として食肉５において視認可能となる肋骨９の本数がバラつくと、視認可能な肋骨９と作用点Ｐとすべき位置との相対的な位置関係が変動し、学習モデル７０の学習の妨げとなり得る。この点、上記構成によれば、学習モデル７０は、学習過程において、正解とすべきキーポイントの確率密度分布を正解データ２７として取り込む。この確率密度分布には、上述したような食肉５の種々のバラツキが総合的に反映される。従って、学習を終えた学習モデル７０に対して入力される画像データ２８の撮影画像２０に映る食肉５がバラついても、出力される作用点Ｐデータによって示される確率密度分布には、正しい作用点Ｐの位置が含まれやすい。よって、食肉５の作用点Ｐを高精度に特定することができる。

また、上述したように、撮影画像２０は、左枝肉５Ｌが映る第１領域２１と右枝肉５Ｒが映る第２領域２２とを含み、作用点Ｐは、左枝肉５Ｌにおいてロボット４が作用を付与する左作用点Ｐ１、Ｐ２と、右枝肉５Ｒにおいてロボット４が作用を付与する右作用点Ｐ３、Ｐ４とを有する。
上記構成によれば、単一の学習モデル７０に画像データ２８が入力されることで、左作用点Ｐ１、Ｐ２と右作用点Ｐ３、Ｐ４とをそれぞれ特定するための作用点データを作用点取得部１２は取得できる。これにより、記憶部１３に記憶する学習モデル７０の個数を減らすことができる。従って、学習モデル７０に機械学習を実行させる演算負荷と、学習を終えた学習モデル７０に画像データ２８を入力して作用点データを得る演算負荷がいずれも低減する。よって、作用点Ｐを特定するための演算負荷を低減することができる。

また、上述したように、撮影画像２０は、食肉５の複数の肋骨９が映る規定領域２３を含む。そして、学習モデル７０によって出力される作用点データには、複数の肋骨９を避けた位置にある左作用点Ｐ１と右作用点Ｐ４を特定するための作用点データが含まれる。これは、学習モデル７０の学習段階において、正解データ２７のもととなる左作用点Ｐ１と右作用点Ｐ４の正解座標が、複数の肋骨９を避けるように指定されることで実現される。
上記構成によれば、食肉５の肋骨９を傷つけることなく、食肉５に作用を付与することが可能となる。例えば、肋骨９を避けるようにして食肉５を切断すれば、破断された肋骨９の飛び出し、及び、肋骨９の骨屑の発生が抑制される。これにより、食肉５の外観を良好に保つことができる。また、加工後の食肉５を作業者が持ち運ぶ場合には、作業者の安全を確保することができる。

＜７．学習モデル７０の具体的構成の例示＞
図７を参照し、作用点演算システム１０Ａにおける学習モデル７０の具体的構成を例示する。図７は、本開示の一実施形態に係る学習モデル７０の構成を示す概念図である。学習モデル７０は、入力層７８、中間層７７、及び出力層７９を備えるニューラルネットワークであり、本実施形態ではＨＲＮｅｔが採用される。ＨＲＮｅｔでは、画像データ２８と同じ解像度の画像のデータが下位層から上位層に伝わるように構成された第１ネットワークと、画像データ２８よりも低い解像度の画像のデータが第１ネットワークの途中から上位層に伝えられる第２ネットワークとが並列的に構築される。そして、出力層７９は、画像データ２８と同じ解像度の画像のデータを出力するように構成される。これら並列的に設けられるネットワークでは、学習も並列的に行われる。

このような学習モデル７０の中間層７７は、第１中間層７１と第２中間層７２を備える。そして、第１中間層７１は、入力層７８に入力された画像データ２８と同じ解像度の画像のデータである第１データが入力される第１ニューロン８１を含む。また、第２中間層７２は、画像データ２８と同じ解像度の画像のデータである第２データが第１ニューロン８１から入力される第２ニューロン８２と、低い解像度の第３データが第１ニューロン８１から入力される第３ニューロン８３とを含む。
上記構成によれば、画像データ２８と同じ解像度の画像のデータが伝えられるネットワークと、画像データ２８よりも低い解像度の画像のデータが伝えられるネットワークとが並列的に構築されるので、作用点Ｐをより高精度に特定することができる。

＜８．第１加工ステーション５１の第１押圧装置３１と第２押圧装置３２の例示＞
図３、図８を参照し、第１加工ステーション５１の第１押圧装置３１と第２押圧装置３２の構成を例示する。図８は、本開示の一実施形態に係る第１押圧装置３１と第２押圧装置３２を概念的に示す説明図である。

本実施形態の第１押圧装置３１は、搬送装置４６によって搬送される食肉５（左枝肉５Ｌ及び右枝肉５Ｒ）の撮影対象部位５Ｔを、撮影装置８から規定距離だけ離れた位置まで水平に押すように構成される。このような実施形態においては、学習モデル７０の学習段階においても、第１押圧装置３１が同様の動作を行って、撮影画像２０による撮影が実行される。

撮影時における撮影装置８と食肉５との距離である撮影距離が変動すると、互いに類似する食肉５がそれぞれ撮影される場合であっても、撮影画像２０における映り具合は大きくバラついてしまう。結果として、学習モデル７０の学習の障壁となり得る。この点、上記構成によれば、撮影時における食肉５と撮影装置８との撮影距離が安定化するので、撮影画像２０のバラツキを抑制でき、学習モデル７０による学習を良好に行うことができる。結果として、作用点Ｐを高精度に特定することができる。

本実施形態の第１押圧装置３１は撮影装置８の撮影範囲に進入し、作用点Ｐを避けた位置で食肉５を押圧するように構成された一対の第１押圧部材３１Ａを含む。一対の第１押圧部材３１Ａは、撮影画像２０に映り込む（図３参照）。
本例の第１押圧部材３１Ａは上下一対に設けられる。各第１押圧部材３１Ａは、搬送装置４６の搬送ラインに沿って延在するバーである。なお、一対の第１押圧部材３１Ａのうちで下側にある第１押圧部材３１Ａは、オペレータの指示に応じて上下位置を調整可能なように構成されてもよい。このような実施形態においては、学習モデル７０の学習段階においても、一対の第１押圧部材３１Ａが同様の動作を行って、撮影画像２０による撮影が実行される。
なお、他の実施形態では、第１押圧部材３１Ａは左右一対に設けられてもよい。この場合、各第１押圧部材３１Ａは、鉛直方向に延在するバーであってもよい。

上記構成によれば、撮影画像２０の規定位置に一対の第１押圧部材３１Ａが安定的に写りこむので、撮影画像２０において食肉５の違いが現れる領域が限定され、学習モデル７０による学習を良好に行うことができる。結果として、作用点Ｐを高精度に特定することができる。

第２押圧装置３２（図８参照）は、第１押圧装置３１とは反対側から第１押圧装置３１よりも弱い押圧力で食肉５を水平に押圧するように構成される。第２押圧装置３２は、例えばバーによって食肉５を押圧してもよいし、ブロックなどの柱状部材によって食肉５を押圧してもよい。本実施形態では、一対の第１押圧部材３１Ａが撮影対象部位５Ｔを規定位置まで押した後、第２押圧装置３２が食肉５に対して押圧する。つまり、食肉５は、第１押圧装置３１と第２押圧装置３２によって挟み込まれて、撮影装置８で撮影される。
第２押圧装置３２による押圧力（図８のＦ２）は、第１押圧部材３１Ａによる押圧力（図８で示すＦ１）よりも低い。従って、第２押圧装置３２が食肉５を押圧しても食肉５は撮影装置８に向けて押し戻されることはないが、第１押圧装置３１と第２押圧装置３２とによって食肉５が挟まれることで撮影対象部位５Ｔは平坦化する。

上記構成によれば、撮影される食肉５が第１押圧装置３１と第２押圧装置３２によって挟まれるので、食肉５の撮影対象部位５Ｔが平坦化され、撮影画像２０に映りやすい。また、第２押圧装置３２の押圧力が第１押圧装置３１の押圧力よりも弱いので、撮影距離の変動を抑制できる。よって、撮影画像２０に映る食肉５の学習の妨げとなるバラツキを更に抑制できるので、学習モデル７０による学習を良好に行うことができる。結果として、作用点Ｐを高精度に特定することができる。

＜９．第２加工ステーション５２と作用点演算システム１０Ｂの構成の例示＞
図１に戻り、第２加工ステーション５２と作用点演算システム１０Ｂの構成を例示する。
上述したように、第２加工ステーション５２は第１加工ステーション５１と同様の構成を有し、作用点演算システム１０Ｂは作用点演算システム１０Ａと同様の構成を有する。
即ち、第２加工ステーション５２は、白色光源７と、撮影装置８と、第１押圧装置３１及び第２押圧装置３２と、ロボット４とを備える。これらの構成要素は、第１加工ステーション５１と同様である。また、作用点演算システム１０Ｂは、画像データ取得部１１と、作用点取得部１２と、学習モデル７０を記憶した記憶部１３と、加工指令部１４とを備える。これらの構成要素は作用点演算システム１０Ａと同様である。

なお、作用点演算システム１０Ｂの画像データ取得部１１によって取得される撮影画像２０には、前躯４１が切り落とされた食肉５が映る（図示外）。また、作用点演算システム１０Ｂにおける学習モデル７０は、食肉５の左作用点Ｐ５と右作用点Ｐ６に相当する食肉５のキーポイントを示す正解データ２７が教師データ２５として用いられて機械学習される。正解データ２７として用意される左作用点Ｐ５と右作用点Ｐ６は、食肉５の骨のうち腰椎のみと重なる。なお、他の実施形態では、左枝肉５Ｌと右枝肉５Ｒとのそれぞれに対応した学習モデル７０が用意されてもよいし、作用点演算システム１０Ａと同様、左枝肉５Ｌと右枝肉５Ｒの双方に対応した単一の学習モデル７０が用意されてもよい。

また、作用点演算システム１０Ｂの作用点取得部１２によって取得される作用点Ｐの位置関係と、作用点演算システム１０Ａの作用点取得部１２によって取得される作用点Ｐの位置関係とが比較されてエラー検知が行われてもよい。

具体的には、作用点演算システム１０Ａの作用点取得部１２によって取得された、左作用点Ｐ１、Ｐ２と、右作用点Ｐ３、Ｐ４との上下の位置関係によって、左枝肉５Ｌと右枝肉５Ｒとの上下の位置関係（以下、「第１位置関係」という）を割り出す。例えば、左枝肉５Ｌと右枝肉５Ｒのそれぞれの重心の鉛直方向のずれ量が第１位置関係である。
次いで、作用点演算システム１０Ｂの作用点取得部１２によって取得された、左作用点Ｐ５と、右作用点Ｐ６との上下の位置関係によって、左枝肉５Ｌと右枝肉５Ｒとの上下の位置関係（以下、「第２位置関係」という）を割り出す。
食肉５が第１加工ステーション５１と第２加工ステーション５２において順に適正に加工処理されるのであれば、第１位置関係と第２位置関係は殆ど変わらない。反対に、食肉５の加工処理の途中で何かしらのトラブルが生じた場合、第１位置関係と第２位置関係は大きく変わる。従って、第１位置関係と第２位置関係の差異が許容値を超えたと判定された場合には、作用点演算システム１０Ｂは、ロボット４による加工処理の前に、その旨を示す報知を行ってもよい。これにより、オペレータは食肉５に対して適切な処理（例えば食肉５に対する手動の切断作業）を行うことができる。

＜１０．作用点の取得方法の例示＞
図９は、本開示の一実施形態に係る食肉５の作用点Ｐの演算方法を示すフローチャートである。以下では、作用点演算システム１０Ａによる作用点Ｐの演算方法を例示し、ステップを「Ｓ」と略記する場合がある。本フローチャートは、例えば作用点演算システム１０Ａによって実行される。

はじめに、第１加工ステーション５１まで搬送された食肉５の撮影画像２０を示す画像データ２８が、上述の画像データ取得部１１によって取得される（Ｓ１１）。
次いで、学習モデル７０に、Ｓ１１で取得された画像データ２８が入力されて、食肉５においてロボット４が付与する作用点Ｐ（左作用点Ｐ１、Ｐ２と右作用点Ｐ３、Ｐ４）を特定するための作用点データが作用点取得部１２によって取得される（Ｓ１３）。
次いで、作用点取得部１２によって取得された作用点Ｐに基づき特定された仮想切断線Ｋに沿って切断動作を行うよう、加工指令部１４はロボット４に加工指令を送る（Ｓ１５）。これにより、食肉５は、仮想切断線Ｋに沿って切断される。

＜１１．まとめ＞
上述した幾つかの実施形態に記載の内容は、例えば以下のように把握されるものである。

１）本開示の少なくとも一実施形態に係る食肉用の作用点演算システム（１０）は、
食肉（５）の撮影画像（２０）を示す画像データ（２８）を取得するように構成された画像データ取得部（１１）と、
前記画像データ（２８）と、前記撮影画像（２０）に含まれる前記食肉（５）のキーポイントを示す正解データ（２７）とを教師データ（２５）として機械学習された学習モデル（７０）に、前記画像データ取得部（１１）により取得された前記画像データ（２８）を入力して、前記食肉（５）においてロボット（４）が作用を付与する少なくとも１つの作用点（Ｐ）を特定するための作用点データを取得するように構成された作用点取得部（１２）と
を備える。

上記１）の構成によれば、作用点データを出力するように構成された学習モデル（７０）が、キーポイントを出力するモデルであるので、用意される教師データ（２５）としての正解データ（２７）は、撮影画像（２０）に対応付けた座標データで済まされる。従って、教師データ（２５）の簡易化が実現する。よって、教師データ（２５）を準備する負担が少なく、作用点（Ｐ）を高精度で特定できる食肉用の作用点演算システム（１０）が実現する。

２）幾つかの実施形態では、上記１）に記載の食肉用の作用点演算システム（１０）であって、
前記キーポイントの確率密度分布を示す前記正解データ（２７）を前記教師データ（２５）として機械学習された前記学習モデル（７０）は、前記作用点（Ｐ）の確率密度分布を前記作用点データとして出力するように構成される。

食肉（５）の大きさまたは外観はバラつく傾向がある。食肉（５）の大きさのバラつきは、例えば家畜の発育に起因する。食肉（５）の大きさがバラつくと、食肉（５）の作用点（Ｐ）とすべき位置も同様にバラつき、学習モデル（７０）の学習の障壁となり得る。また、食肉（５）の外観のバラつきは、例えば家畜から食肉（５）を得る工程のバラつきに起因する。一例として食肉（５）において視認可能となる肋骨（９）の本数がバラつくと、視認される肋骨（９）と作用点（Ｐ）とすべき位置との相対的な位置関係が一定にならず、学習モデル（７０）の学習の妨げとなり得る。この点、上記２）の構成によれば、学習モデル（７０）は、学習過程において、正解とすべきキーポイントの確率密度分布を正解データ（２７）として取り込む。この確率密度分布には、上述したような食肉（５）の種々のバラツキが総合的に反映される。従って、学習を終えた学習モデル（７０）に対して入力される画像データ（２８）の撮影画像（２０）に映る食肉（５）がバラついても、出力される作用点データによって示される確率密度分布には正しい作用点（Ｐ）の位置が含まれやすい。よって、食肉（５）の作用点（Ｐ）を高精度に特定することができる。

３）幾つかの実施形態では、上記１）または２）に記載の食肉用の作用点演算システム（１０）であって、
前記撮影画像（２０）は、家畜の左枝肉（５Ｌ）が映る第１領域（２１）と、前記家畜の右枝肉（５Ｒ）が映る第２領域（２２）とを含み、
前記少なくとも１つの作用点（Ｐ）は、
前記左枝肉（５Ｌ）において前記ロボット（４）が作用を付与する少なくとも１つの左作用点（Ｐ１、Ｐ２、Ｐ５）と、
前記右枝肉（５Ｒ）において前記ロボット（４）が作用を付与する少なくとも１つの右作用点（Ｐ３、Ｐ４、Ｐ６）と、を有する。

上記３）の構成によれば、学習モデル（７０）に画像データ（２８）が入力されることで、左作用点（Ｐ１、Ｐ２、Ｐ５）と右作用点（Ｐ３、Ｐ４、Ｐ６）をそれぞれ特定するための作用点データを作用点取得部（１２）は取得できる。これにより、学習モデル（７０）の個数を減らすことができるので、作用点（Ｐ）を特定するための演算負荷を低減することができる。

４）幾つかの実施形態では、上記１）から３）のいずれかに記載の食肉用の作用点演算システム（１０）であって、
前記撮影画像（２０）は、前記食肉（５）の複数の肋骨（９）が映る規定領域（２３）を含み、
前記学習モデル（７０）は、前記複数の肋骨（９）を避けた前記作用点（Ｐ）を特定するための前記作用点データを出力するように構成される。

上記４）の構成によれば、食肉（５）の肋骨（９）を傷つけることなく食肉（５）に作用を付与することができ、食肉（５）の外観を良好に保つことができる。

５）幾つかの実施形態では、上記１）から４）のいずれかに記載の食肉用の作用点演算システム（１０）であって、
前記学習モデル（７０）は、
入力された前記画像データ（２８）と同じ解像度の第１データが入力される第１ニューロン（８１）を含む第１中間層（７１）と、
前記第１ニューロン（８１）から前記画像データ（２８）と同じ解像度の第２データが入力される第２ニューロン（８２）と、前記第１ニューロン（８１）から低い解像度の第３データが入力される第３ニューロン（８３）とを含む第２中間層（７２）と、
を含むニューラルネットワークである。

上記５）の構成によれば、画像データ（２８）と同じ解像度の画像のデータが伝えられるネットワークと、画像データ（２８）よりも低い画像の画像データが伝えられるネットワークとが並列的に構築されるので、作用点（Ｐ）をより高精度に特定することができる。

６）本開示の少なくとも一実施形態に係る食肉加工システム（１）は
上記１）から５）のいずれかに記載の食肉用の作用点演算システム（１０）と、
前記作用点取得部（１２）によって取得された前記作用点（Ｐ）に作用を付与するように構成された前記ロボット（４）と
を備える。

上記６）の構成によれば、上記１）と同様の理由によって、教師データ（２５）を準備する負担が少なく、作用点（Ｐ）を高精度で特定できる食肉加工シムテム（１）が実現する。

７）幾つかの実施形態では、上記６）に記載の食肉加工システム（１）であって、
前記ロボット（４）は、
前記作用点取得部（１２）によって取得された前記作用点データによって求まる仮想切断線（Ｋ、Ｍ）に沿って前記食肉（５）を切断するためのカッター（３）を含む。

上記７）の構成によれば、作用点取得部（１２）によって取得された作用点データに従って、食肉（５）を良好に切断することができる。

８）幾つかの実施形態では、上記６）または７）に記載の食肉加工システム（１）であって、
白色光源（７）と、
前記白色光源（７）によって照らされる前記食肉（５）を撮影して前記撮影画像（２０）を生成するように構成された撮影装置（８）と、をさらに備える。

上記８）の構成によれば、青色光源などの特殊な光源に比べて汎用性が高い白色光源（７）によって照らされた食肉（５）を撮影装置（８）が撮影するので、設備の簡易化が実現する。

９）幾つかの実施形態では、上記６）から８）のいずれかに記載の食肉加工システム（１）であって、
前記食肉（５）を撮影して前記撮影画像（２０）を生成するように構成された撮影装置（８）と、
前記撮影装置（８）から規定距離だけ離れた位置まで前記食肉（５）を押すように構成された第１押圧装置（３１）と
をさらに備える。

撮影時における撮影装置（８）と食肉（５）との距離である撮影距離が変動すると、互いに類似する食肉（５）がそれぞれ撮影される場合であっても、撮影画像（２０）における映り具合は大きくバラついてしまう。結果として、学習モデル（７０）の学習の障壁となり得る。この点、上記９）の構成によれば、撮影時における食肉（５）と撮影装置（８）との撮影距離が安定化するので、撮影画像（２０）のバラツキを抑制でき、学習モデル（７０）による学習を良好に行うことができる。結果として、作用点（Ｐ）を高精度に特定することができる。

１０）幾つかの実施形態では、上記９）に記載の食肉加工システム（１）であって、
前記第１押圧装置（３１）は、前記撮影装置（８）の撮影範囲に進入し、前記作用点（Ｐ）を避けた位置でそれぞれ前記食肉（５）を押圧するように構成された一対の第１押圧部材（３１Ａ）を含む。

上記１０）の構成によれば、撮影画像（２０）の規定位置に一対の第１押圧部材（３１Ａ）が安定的に写りこむので、撮影画像（２０）において食肉（５）の違いが現れる領域が限定され、学習モデル（７０）による学習を良好に行うことができる。結果として、作用点（Ｐ）を高精度に特定することができる。

１１）幾つかの実施形態では、上記９）または１０）に記載の食肉加工システム（１）であって、
前記第１押圧装置（３１）とは反対側から、前記第１押圧装置（３１）よりも弱い押圧力で前記食肉（５）を押圧するように構成された第２押圧装置（３２）をさらに備える。

上記１１）の構成によれば、撮影される食肉（５）が第１押圧装置（３１）と第２押圧装置（３２）によって挟まれるので、食肉（５）の撮影対象部位（５Ｔ）が平坦化され、撮影画像（２０）に映りやすい。また、第２押圧装置（３２）の押圧力が第１押圧装置（３１）の押圧力よりも弱いので、撮影距離の変動を抑制できる。よって、撮影画像（２０）に映る食肉（５）の学習の妨げとなるバラツキを更に抑制できるので、学習モデル（７０）による学習を良好に行うことができる。結果として、作用点（Ｐ）を高精度に特定することができる。

１２）本開示の少なくとも一実施形態に係る食肉用の作用点演算方法は、
食肉（５）の撮影画像（２０）を示す画像データ（２８）を取得する画像データ取得ステップ（Ｓ１１）と、
前記画像データ（２８）と、前記撮影画像（２０）に含まれる前記食肉（５）のキーポイントを示す正解データ（２７）とを教師データ（２５）として機械学習された学習モデル（７０）に、前記画像データ取得ステップ（Ｓ１１）により取得された前記画像データ（２８）を入力して、前記食肉（５）のうちロボット（４）が作用を付与する対象となる少なくとも１つの作用点（Ｐ）を特定するための作用点データを取得する作用点取得ステップ（Ｓ１３）と
を備える。

上記１２）の構成によれば、上記１）と同様の理由によって、教師データ（２５）を準備する負担が少なく、作用点（Ｐ）を高精度で特定できる食肉用の作用点演算方法が実現する。

１ ：食肉加工システム
３ ：カッター
４ ：ロボット
５ ：食肉
５Ｌ ：左枝肉
５Ｒ ：右枝肉
７ ：白色光源
８ ：撮影装置
９ ：肋骨
１０ ：作用点演算システム
１１ ：画像データ取得部
１２ ：作用点取得部
２０ ：撮影画像
２１ ：第１領域
２２ ：第２領域
２３ ：規定領域
２５ ：教師データ
２７ ：正解データ
２８ ：画像データ
３１ ：第１押圧装置
３１Ａ ：第１押圧部材
３２ ：第２押圧装置
７０ ：学習モデル
７１ ：第１中間層
７２ ：第２中間層
７７ ：中間層
８１ ：第１ニューロン
８２ ：第２ニューロン
８３ ：第３ニューロン
Ｋ、Ｍ ：仮想切断線
Ｐ ：作用点

Claims (12)

1. 食肉の撮影画像を示す画像データを取得するように構成された画像データ取得部と、
   前記画像データと、前記撮影画像に含まれる前記食肉のキーポイントを示す正解データとを教師データとして機械学習された学習モデルに、前記画像データ取得部により取得された前記画像データを入力して、前記食肉においてロボットが作用を付与する少なくとも１つの作用点を特定するための作用点データを取得するように構成された作用点取得部と
   を備える食肉用の作用点演算システム。
2. 前記キーポイントの確率密度分布を示す前記正解データを前記教師データとして機械学習された前記学習モデルは、前記作用点の確率密度分布を前記作用点データとして出力するように構成される
   請求項１に記載の食肉用の作用点演算システム。
3. 前記撮影画像は、家畜の左枝肉が映る第１領域と、前記家畜の右枝肉が映る第２領域とを含み、
   前記少なくとも１つの作用点は、
   前記左枝肉において前記ロボットが作用を付与する少なくとも１つの左作用点と、
   前記右枝肉において前記ロボットが作用を付与する少なくとも１つの右作用点と、を有する
   請求項１または２に記載の食肉用の作用点演算システム。
4. 前記撮影画像は、前記食肉の複数の肋骨が映る規定領域を含み、
   前記学習モデルは、前記複数の肋骨を避けた前記作用点を特定するための前記作用点データを出力するように構成される
   請求項１乃至３の何れか１項に記載の食肉用の作用点演算システム。
5. 前記学習モデルは、
   入力された前記画像データと同じ解像度の第１データが入力される第１ニューロンを含む第１中間層と、
   前記第１ニューロンから前記画像データと同じ解像度の第２データが入力される第２ニューロンと、前記第１ニューロンから低い解像度の第３データが入力される第３ニューロンとを含む第２中間層と、
   を含むニューラルネットワークである
   請求項１乃至４の何れか１項に記載の食肉用の作用点演算システム。
6. 請求項１乃至５の何れか１項に記載の食肉用の作用点演算システムと、
   前記作用点取得部によって取得された前記作用点に作用を付与するように構成された前記ロボットと
   を備える食肉加工システム。
7. 前記ロボットは、
   前記作用点取得部によって取得された前記作用点データによって求まる仮想切断線に沿って前記食肉を切断するためのカッターを含む
   請求項６に記載の食肉加工システム。
8. 白色光源と、
   前記白色光源によって照らされる前記食肉を撮影して前記撮影画像を生成するように構成された撮影装置と、をさらに備える
   請求項６または７に記載の食肉加工システム。
9. 前記食肉を撮影して前記撮影画像を生成するように構成された撮影装置と、
   前記撮影装置から規定距離だけ離れた位置まで前記食肉を押すように構成された第１押圧装置と
   をさらに備える請求項６乃至８の何れか１項に記載の食肉加工システム。
10. 前記第１押圧装置は、前記撮影装置の撮影範囲に進入し、前記作用点を避けた位置でそれぞれ前記食肉を押圧するように構成された一対の第１押圧部材を含む
    請求項９に記載の食肉加工システム。
11. 前記第１押圧装置とは反対側から、前記第１押圧装置よりも弱い押圧力で前記食肉を押圧するように構成された第２押圧装置をさらに備える
    請求項９または１０に記載の食肉加工システム。
12. 食肉の撮影画像を示す画像データを取得する画像データ取得ステップと、
    前記画像データと、前記撮影画像に含まれる前記食肉のキーポイントを示す正解データとを教師データとして機械学習された学習モデルに、前記画像データ取得ステップにより取得された前記画像データを入力して、前記食肉のうちロボットが作用を付与する対象となる少なくとも１つの作用点を特定するための作用点データを取得する作用点取得ステップと
    を備える食肉用の作用点演算方法。
    
    

Images