JP2021018644A - 機械学習装置、機械学習方法及び機械学習プログラム - Google Patents

機械学習装置、機械学習方法及び機械学習プログラム Download PDF

Info

Publication number
JP2021018644A
JP2021018644A JP2019134502A JP2019134502A JP2021018644A JP 2021018644 A JP2021018644 A JP 2021018644A JP 2019134502 A JP2019134502 A JP 2019134502A JP 2019134502 A JP2019134502 A JP 2019134502A JP 2021018644 A JP2021018644 A JP 2021018644A
Authority
JP
Japan
Prior art keywords
machine learning
reward
unit
learning device
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019134502A
Other languages
English (en)
Inventor
知宏 桐山
Tomohiro Kiriyama
知宏 桐山
斎藤　浩一
Koichi Saito
浩一 斎藤
駿 菅井
Shun Sugai
駿 菅井
一彦 小輪▲瀬▼
Kazuhiko Kowase
一彦 小輪▲瀬▼
直史 柏倉
Tadashi Kashiwakura
直史 柏倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2019134502A priority Critical patent/JP2021018644A/ja
Priority to US16/923,509 priority patent/US12010280B2/en
Priority to CN202010685334.2A priority patent/CN112286050B/zh
Publication of JP2021018644A publication Critical patent/JP2021018644A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00567—Handling of original or reproduction media, e.g. cutting, separating, stacking
    • H04N1/0057—Conveying sheets before or after scanning
    • H04N1/00599—Using specific components
    • H04N1/0061—Feed belts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/047—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators the criterion being a time optimal performance criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00082—Adjusting or controlling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Controlling Sheets Or Webs (AREA)
  • Feedback Control In General (AREA)
  • Handling Of Sheets (AREA)
  • Paper Feeding For Electrophotography (AREA)
  • Control Of Conveyors (AREA)

Abstract

【課題】適切に搬送物を搬送するための駆動源の制御情報を生成する。【解決手段】少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置において、搬送経路に設けられた検知部の検知結果に基づいて、少なくとも２つの搬送物の搬送経路上の位置情報を取得し、取得した位置情報に基づいて、予め定めたルールに従って報酬を計算し、取得した位置情報と計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習し、学習結果に基づいて決定した行動を駆動源に行わせるための制御情報を生成して出力する。【選択図】図８

Description

本発明は、複数の移動物の搬送を制御する搬送装置における駆動源の行動を学習する機械学習装置、機械学習方法及び機械学習プログラムに関し、特に、複数の用紙の搬送を制御する画像形成装置における駆動源の行動を学習する機械学習装置、機械学習方法及び機械学習プログラムに関する。
ＭＦＰ（Multi-Functional Peripherals）などの画像形成装置は、使用するユーザによって機械の使用環境や使用状況が異なり、機械状態が変化するため、搬送中の用紙のたわみや引っ張りなどに起因するジャムの発生しやすさが変化する。ジャムが発生した場合、機械が停止してメンテナンスが必要となり、メンテナンスまでの時間がダウンタイムになってしまうことから、機械状態に応じた最適な制御が求められる。
しかしながら、使用環境や使用状況の組み合わせは膨大であり、あらゆる使用環境や使用状況を想定した制御を設計するためには多大な開発工数が必要になる。そこで、従来は、最悪な条件や代表的な条件においてもジャムが発生しないように制御設計を行っているが、この方法では、想定していない条件では最適な制御にならない場合があり、顧客満足度が得られない。
このような問題に対して、機械学習を利用して装置の制御条件を求める方法が提案されている。例えば、下記特許文献１には、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する前記実電流のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測する状態観測部と、前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、を備える構成が開示されている。
特開２０１７−０３４８４４号公報
しかしながら、画像形成装置の場合は、温度や湿度などの環境条件に加えて、各部品の寿命、スリップ率、紙種、坪量、サイズ、印刷モード、印字率などの印刷条件によって用紙の搬送状態が変化し、実際の用紙の搬送状態に応じてジャムの発生しやすさが変化する。そのため、特許文献１の技術を利用しても、ジャムが発生しないように用紙を搬送する制御条件を求めることができない。
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、適切に搬送物を搬送するための駆動源の制御情報を生成することができる機械学習装置、機械学習方法及び機械学習プログラムを提供することにある。
本発明の一側面は、少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置であって、前記搬送経路に設けられた検知部の検知結果に基づいて、前記少なくとも２つの搬送物の前記搬送経路上の位置情報を取得する状態情報取得部と、前記取得した位置情報に基づいて、予め定めたルールに従って報酬を計算する報酬計算部と、前記取得した位置情報と前記計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習する学習部と、学習結果に基づいて決定した行動を前記駆動源に行わせるための制御情報を生成して出力する制御情報出力部と、を備えることを特徴とする。
本発明の一側面は、少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置における機械学習方法であって、前記搬送経路に設けられた検知部の検知結果に基づいて、前記少なくとも２つの搬送物の前記搬送経路上の位置情報を取得する状態情報取得処理と、前記取得した位置情報に基づいて、予め定めたルールに従って報酬を計算する報酬計算処理と、前記取得した位置情報と前記計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習する学習処理と、学習結果に基づいて決定した行動を前記駆動源に行わせるための制御情報を生成して出力する制御情報出力処理と、を実行することを特徴とする。
本発明の一側面は、少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置で動作する機械学習プログラムであって、前記機械学習装置の制御部に、前記搬送経路に設けられた検知部の検知結果に基づいて、前記少なくとも２つの搬送物の前記搬送経路上の位置情報を取得する状態情報取得処理、前記取得した位置情報に基づいて、予め定めたルールに従って報酬を計算する報酬計算処理、前記取得した位置情報と前記計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習する学習処理、学習結果に基づいて決定した行動を前記駆動源に行わせるための制御情報を生成して出力する制御情報出力処理、を実行させることを特徴とする。
本発明の機械学習装置、機械学習方法及び機械学習プログラムによれば、適切に搬送物を搬送するための駆動源の制御情報を生成することができる。
その理由は、少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置において、搬送経路に設けられた検知部の検知結果に基づいて、少なくとも２つの搬送物の搬送経路上の位置情報を取得し、取得した位置情報に基づいて、予め定めたルールに従って報酬を計算し、取得した位置情報と計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習し、学習結果に基づいて決定した行動を駆動源に行わせるための制御情報を生成して出力するからである。
本発明の一実施例に係る制御システムの構成を示す模式図である。 本発明の一実施例に係る制御システムの他の構成を示す模式図である。 本発明の一実施例に係る機械学習装置の構成を示すブロック図である。 本発明の一実施例に係る画像形成装置の構成を示すブロック図である。 本発明の一実施例に係る画像形成装置の用紙搬送経路におけるセンサ及び駆動源を説明する模式図である。 本発明の一実施例に係る画像形成装置の用紙搬送経路における入出力パラメータを説明する模式図である。 本発明の一実施例に係る画像形成装置の用紙搬送経路におけるステートとアクションの関係を示すテーブルである。 本発明の一実施例に係る制御システムの概略動作を説明するブロック図である。 本発明の一実施例に係る画像形成装置の用紙搬送経路におけるセンサ及び駆動源の他の構成を説明する模式図である。 本発明の一実施例に係る機械学習装置の動作を示すフローチャート図である。 本発明の一実施例に係る機械学習装置の動作（ピッチに基づく報酬計算処理）を示すフローチャート図である。 本発明の一実施例に係る機械学習装置の動作（目標ピッチ条件設定処理）を示すフローチャート図である。 本発明の一実施例に係る機械学習装置の動作（動作時間に基づく報酬計算処理）を示すフローチャート図である。 本発明の一実施例に係る機械学習装置の動作（目標移動完了条件設定処理）を示すフローチャート図である。
背景技術で示したように、ＭＦＰなどの画像形成装置は、使用するユーザによって機械の使用環境や使用状況が異なり、機械状態が変化するため、搬送中の用紙のたわみや引っ張りなどに起因するジャムの発生しやすさが変化する。このような背景から、機械状態に応じた最適な制御が求められるが、使用環境や使用状況の組み合わせは膨大であり、あらゆる使用環境や使用状況を想定した制御を設計するためには多大な開発工数が必要になる。そこで、従来は、最悪な条件や代表的な条件においてもジャムが発生しないように制御設計を行っているが、この方法では、想定していない条件では最適な制御にならない場合がある。
そこで、本発明の一実施の形態では、ＡＩ（artificial intelligence）の機械学習（特に強化学習）を利用し、ユーザの使用環境や使用状況（湿度、温度、寿命、スリップ率、紙種、坪量、サイズ、印刷モード、印字率など）によって変動する搬送物の実際の状態に基づいて駆動源の行動を学習することによって、駆動源の最適な制御を実現する。
具体的には、少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置において、搬送経路に設けられた検知部の検知結果に基づいて、少なくとも２つの搬送物の搬送経路上の位置情報を取得し、取得した位置情報に基づいて、予め定めたルールに従って報酬を計算し、取得した位置情報と計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習し、学習結果に基づいて決定した行動を駆動源に行わせるための制御情報を生成して出力する。
例えば、機械学習装置と画像形成装置とを含むシステムにおいて、機械学習装置では、用紙の搬送が開始されたら、用紙の位置情報を取得し、予め設定されたルールに従って報酬を計算し、位置情報と報酬とに基づいて、強化学習における行動価値を算出することによって行動を学習し、学習結果に基づいて決定した行動を駆動源に行わせるための制御情報を生成して出力する。画像形成装置では、その制御情報を取得し、ファームウェアをその都度又はまとめて更新することによって駆動源を制御する。
このように、用紙などの搬送物の搬送制御に強化学習を適用し、目的とする行動に対して適切な報酬を与えて行動価値を算出することによって、様々な状態に対して学習が可能となるため、ユーザの使用環境や使用状況に適した搬送物の搬送制御を自動的に構築することができ、不要なダウンタイムを削減することができる。
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る機械学習装置、機械学習方法及び機械学習プログラムについて、図１乃至図１４を参照して説明する。図１及び図２は、本実施例の制御システムの構成を示す模式図であり、図３及び図４は、各々、本実施例の機械学習装置、画像形成装置の構成を示すブロック図である。また、図５及び図９は、本実施例の画像形成装置の用紙搬送経路におけるセンサ及び駆動源を説明する模式図であり、図６は、用紙搬送経路における入出力パラメータを説明する模式図、図７は、用紙搬送経路におけるステートとアクションの関係を示すテーブルである。また、図８は、本実施例の制御システムの概略動作を説明するブロック図であり、図１０乃至図１４は、本実施例の機械学習装置の動作を示すフローチャート図である。
図１に示すように、本実施例の制御システム１０は、機械学習装置２０と、少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置（本実施例では画像形成装置３０とする。）などで構成され、これらはイーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の通信ネットワークを介して接続されている。なお、図２に示すように、機械学習装置２０は画像形成装置３０に包含される（画像形成装置３０の制御部が機械学習装置として機能する）構成としてもよい。以下、図１のシステム構成を前提にして、各装置について詳細に説明する。
［機械学習装置］
機械学習装置２０は、クラウドサービスを提供するコンピュータ装置であり、画像形成装置３０の駆動源の制御条件を学習する。この機械学習装置２０は、図３（ａ）に示すように、制御部２１、記憶部２５、ネットワークＩ／Ｆ部２６、表示部２７、操作部２８などで構成される。
制御部２１は、ＣＰＵ（Central Processing Unit）２２とＲＯＭ（Read Only Memory）２３やＲＡＭ（Random Access Memory）２４などのメモリとで構成され、ＣＰＵ２２は、ＲＯＭ２３や記憶部２５に記憶した制御プログラムをＲＡＭ２４に展開して実行することにより、機械学習装置２０全体の動作を制御する。上記制御部２１は、図３（ｂ）に示すように、状態情報取得部２１ａ、報酬計算部２１ｂ、学習部２１ｃ、制御情報出力部２１ｄなどとして機能する。
状態情報取得部２１ａは、搬送経路に設けられた検知部（センサ）の検知結果に基づいて、少なくとも２つの搬送物の搬送経路上の状態情報（位置情報）を取得する。この位置情報は、搬送経路に設けられた検知部の検知結果から取得してもよいし、検知部の検知結果及び搬送物の移動速度から算出して取得してもよいし、制御情報の出力からの経過時間及び搬送物の移動速度から算出して取得してもよいし、制御情報の出力からの経過時間及び制御情報のパルス数から算出して取得してもよい。この位置情報を算出するときに、湿度、温度、寿命、スリップ率、紙種、坪量、サイズ、印刷モード、印字率のいずれか一つを考慮することができる。すなわち、検知部の検知結果から位置情報を取得する場合は、位置情報に、湿度、温度、寿命、スリップ率、紙種、坪量、サイズ、印刷モード、印字率などのユーザの使用環境や使用状況が内在することになり、搬送物の移動速度や制御情報を出力してからの経過時間を利用して位置情報を算出する場合は、位置情報にユーザの使用環境や使用状況を含めることができる。
報酬計算部２１ｂは、状態情報取得部２１ａが取得した位置情報に基づいて、予め定めたルールに従って報酬を計算する。その際、少なくとも２つの搬送物のうちの１つの搬送物が、搬送経路上の第１の位置から第２の位置に到達する時間と、予め決められた所定時間と、を比較することによって報酬を計算したり、少なくとも２つの搬送物のうちの２つの搬送物の間の距離と、予め決められた所定距離と、を比較することによって報酬を計算したりすることができる。後者の場合、搬送経路のうちの第１の領域にある搬送物に対応する報酬は第１の所定距離と比較することによって計算し、搬送経路のうちの第２の領域にある搬送物に対応する報酬は第２の所定距離と比較することによって計算したり、少なくとも２つの搬送物のうちの２つの搬送物の間の距離が所定距離よりも小さい場合は、報酬を負の値としたり、取得した位置情報と隣り合う駆動源の搬送速度とに基づいて、報酬を計算したりすることができる。また、報酬計算部２１ｂは、取得した位置情報が一定時間変化しない場合は、報酬を負の値としたり、少なくとも２つの搬送物の停止位置に応じて、報酬を算出したりすることができる。
学習部２１ｃは、状態情報取得部２１ａが取得した状態情報と報酬計算部２１ｂが計算した報酬とに基づいて、強化学習（Ｑ学習）における行動価値を算出することによって行動（駆動源の制御条件）を学習する。その際、取得した状態情報と計算した報酬とに加えて、湿度、温度、寿命、スリップ率のいずれか一も考慮して学習を行ったり、紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮して学習を行ったりすることができる。
制御情報出力部２１ｄは、学習部２１ｃの学習結果に基づいて決定した行動（行動価値が最も高い行動）を、駆動源に行わせるための制御情報（制御信号、制御電流、周波数など）を生成して画像形成装置３０に出力する。また、制御情報出力部２１ｄは、学習部２１ｃが湿度、温度、寿命、スリップ率のいずれか一も考慮して学習を行った場合は、紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮して制御情報を生成することができ、学習部２１ｃが紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮して学習を行った場合は、湿度、温度、寿命、スリップ率のいずれか一も考慮して制御情報を生成することができる。
上記状態情報取得部２１ａ、報酬計算部２１ｂ、学習部２１ｃ、制御情報出力部２１ｄはハードウェアとして構成してもよいし、制御部２１を状態情報取得部２１ａ、報酬計算部２１ｂ、学習部２１ｃ、制御情報出力部２１ｄとして機能させる機械学習プログラムとして構成し、当該機械学習プログラムをＣＰＵ２２に実行させるようにしてもよい。
記憶部２５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ２２が各部を制御するためのプログラム、画像形成装置３０から取得した状態情報（センサの検知情報や駆動源の駆動情報）、状態情報取得部２１ａが取得した位置情報、報酬を計算するためのルール、学習部２１ｃが算出した行動価値や学習結果（後述するＱテーブル）、制御情報出力部２１ｄが生成した制御情報などを記憶する。
ネットワークＩ／Ｆ部２６は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、機械学習装置２０を通信ネットワークに接続し、画像形成装置３０との接続を確立する。
表示部２７は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electroluminescence）表示装置などで構成され、各種画面を表示する。
操作部２８は、マウスやキーボードなどで構成され、各種操作を可能にする。
［画像形成装置］
画像形成装置３０は、少なくとも２つの搬送物（用紙）を搬送経路に沿って連続的に搬送する装置である。この画像形成装置は、図４（ａ）に示すように、制御部３１、記憶部３５、ネットワークＩ／Ｆ部３６、表示操作部３７、画像処理部３８、画像読取部３９、印刷処理部４０などで構成される。
制御部３１は、ＣＰＵ３２とＲＯＭ３３やＲＡＭ３４などのメモリとで構成され、ＣＰＵ３２は、ＲＯＭ３３や記憶部３５に記憶した制御プログラムをＲＡＭ３４に展開して実行することにより、画像形成装置３０全体の動作を制御する。上記制御部３１は、図４（ｂ）に示すように、用紙の搬送を制御する搬送制御部３１ａとして機能し、搬送制御部３１ａは、状態通知部３１ｂ、更新処理部３１ｃなどとして機能する。
状態通知部３１ｂは、印刷処理部４０の用紙搬送経路に設けられた検知部（センサ）、駆動源（モータ、クラッチなど）を監視し、検知部の検知情報や駆動源の駆動情報（例えば、モータの回転周波数、モータ１回転当たりの用紙の搬送距離、モータの回転周波数に対応する用紙の搬送速度）などの状態情報を機械学習装置２０に通知する。
更新処理部３１ｃは、機械学習装置２０から制御情報を取得し、その制御情報に基づいて、駆動源（モータ、クラッチなど）の動作を制御するファームウェアを更新する。その際、機械学習装置２０から制御情報を取得するたびにファームウェアを更新してもよいし、複数の制御情報を取得した後にまとめてファームウェアを更新してもよい。
記憶部３５は、ＨＤＤやＳＳＤなどで構成され、ＣＰＵ３２が各部を制御するためのプログラム、自装置の処理機能に関する情報、装置情報、画像処理部３８が生成した画像データなどを記憶する。
ネットワークＩ／Ｆ部３６は、ＮＩＣやモデムなどで構成され、画像形成装置３０を通信ネットワークに接続し、機械学習装置２０などとの通信を確立する。
表示操作部（操作パネル）３７は、表示部上に透明電極が格子状に配置された感圧式や静電容量式の操作部（タッチセンサ）を設けたタッチパネルなどであり、印刷処理に関する各種画面を表示し、印刷処理に関する各種操作を可能にする。
画像処理部３８は、ＲＩＰ部（Raster Image Processor）として機能し、印刷ジョブを翻訳して中間データを生成し、レンダリングを行ってビットマップ形式の画像データを生成する。また、画像処理部３８は、必要に応じて、画像データに対して、スクリーン処理、階調補正、濃度バランス調整、細線化、網点処理などを行う。そして、画像処理部３８は、生成した画像データを印刷処理部４０に出力する。
画像読取部（ＡＤＵ）３９は、原稿台上に載置された原稿から画像データを光学的に読み取る部分であり、原稿を走査する光源と、原稿で反射された光を電気信号に変換するＣＣＤ（Charge Coupled Devices）等のイメージセンサと、電気信号をＡ／Ｄ変換するＡ／Ｄ変換器等により構成される。そして、画像読取部３９は、読み取った画像データを印刷処理部４０に出力する。
印刷処理部４０は、画像処理部３８又は画像読取部３９から取得した画像データに基づいて印刷処理を実行する。この印刷処理部４０は、例えば、画像データに基づいてレーザ光を照射して露光する露光部と、感光体ドラムと現像部と帯電部と感光体クリーニング部と１次転写ローラとを備え、ＣＭＹＫの各色のトナー像を形成する画像形成部と、ローラによって回転され、画像形成部で形成されたトナー像を用紙に搬送する中間転写体として機能する中間ベルトと、中間ベルト上に形成されたトナー像を用紙に転写する２次転写ローラと、用紙に転写されたトナー像を定着させる定着部と、用紙を給紙するトレイなどの給紙部と、給紙ローラやレジストローラ、ループローラ、反転ローラ、排紙ローラ（これらを総称して搬送ローラと呼ぶ。）等の搬送部、搬送部の搬送経路に設けられた、用紙の搬送位置を検出するセンサ、搬送部を駆動する駆動源（モータやモータの動力の伝達を切り替えるクラッチ）などで構成される。上記センサは用紙の搬送位置を検出できるものであればよく、例えば、光のＯＮ／ＯＦＦや電気接点の接触などに基づいて検出するものを用いることができる。また、駆動源は搬送ローラを駆動するための動力を供給できるものであればよく、モータやクラッチの種類、モータの動力の伝達構造などは特に限定されない。
なお、図１乃至図４は、本実施例の制御システム１０の一例であり、各装置の構成や制御は適宜変更可能である。例えば、図４では、少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する装置として画像形成装置３０を例示したが、例えば、綴じ止めや折りなどの後処理を行う後処理装置、用紙を分類する仕分け装置、用紙に形成した画像を検査する検査装置などとしてもよい。また、図１では、制御システム１０を、機械学習装置２０と画像形成装置３０とで構成したが、制御システム１０に開発部門や販社のコンピュータ装置を含めてもよく、その場合は、画像形成装置３０を使用するユーザの個別要求を上記コンピュータ装置が受け付けて機械学習装置２０に通知し、機械学習装置２０はその個別要求に従って製品仕様を変更するようにしてもよい。
次に、上記画像形成装置３０の用紙搬送経路におけるセンサ及び駆動源について説明する。図５は、印刷処理部４０内の用紙搬送経路４１を示す模式図であり、用紙は図の左側から右側に搬送されるものとする。この用紙搬送経路４１には、例えば、複数のセンサ４２（図では１〜２０の位置に配置される２０個のセンサ）が配置されている。また、用紙搬送経路４１には、用紙を搬送する複数のローラ（図の黒塗りの丸）が配置されており、ローラの駆動源として、例えば、メインモータ４３と定着モータ４４と排紙モータ４５とを備え、メインモータ４３には、モータの動力の伝達をＯＮ／ＯＦＦする給紙クラッチ４３ａとタイミングクラッチ４３ｂとを備え、排紙モータ４５には、モータの動力の伝達をＯＮ／ＯＦＦする排紙クラッチ４５ａを備えている。なお、図５は、用紙搬送経路４１の一例であり、センサ４２やローラ、モータ、クラッチの数や配置は適宜変更可能である。
このような構成の用紙搬送経路４１において、図６に示すように、センサ４２の検出結果などの状態情報が入力パラメータとなり、メインモータ４３（給紙クラッチ４３ａ、タイミングクラッチ４３ｂ）、定着モータ４４、排紙モータ４５（排紙クラッチ４５ａ）の制御信号や制御電流、周波数などの制御情報が出力パラメータとなり、機械学習装置２０は、この入力パラメータと出力パラメータとの関係を学習することになる。
図７は、機械学習装置２０が入力パラメータと出力パラメータとの関係を学習する際に利用するテーブルであり、（ａ）はステート（状態）の詳細（各センサ４２のＯＮ／ＯＦＦの組み合わせ）、（ｂ）はアクション（行動）の詳細（ここでは各クラッチのＯＮ／ＯＦＦの組み合わせ）、（ｃ）はステート（状態）とアクション（行動）の組み合わせに対応する行動価値（Ｑ値）を示すＱテーブルである。
なお、このテーブルではセンサ４２の数を１４個としており、この時のステート数Ｎｓは、
Ｎｓ＝センサ状態数＾センサ数＝２＾１４＝１６３８４
となる。また、このテーブルではアクション（行動）の対象をクラッチとし、クラッチの数を３個としており、この時のアクション数Ｎａは、
Ｎａ＝クラッチ状態数＾クラッチ数＝２＾３＝８
となる。従って、Ｑテーブルの大きさは、
Ｑ［Ｎｓ，Ｎａ］＝Ｑ［１６３８４，８］となる。
機械学習装置２０は、予め定めたルールに従って、ある状態の時にある行動を取ったときの報酬を計算し、報酬の総和を最適化するように、予め定めた計算式に従って行動価値（Ｑ値）を算出してＱテーブルを更新することによって行動を学習し、学習結果に基づいて行動を決定（行動価値が最も高い行動を選択）する。
なお、学習係数をα、割引報酬をγ、時刻ｔにおける報酬をｒｔとすると、行動価値（Ｑ（ｓｔ,ａｔ））は、例えば、
Q（ｓｔ,ａｔ）←（１−α）Q（ｓｔ,ａｔ）＋α（ｒｔ＋１＋γmaxQ（ｓｔ＋１,ａｔ＋１））
などのＱ学習の計算式によって計算することができる。
図８は、本実施例の制御システム１０の用紙搬送制御の概略を示すブロック図である。画像形成装置３０の搬送制御部３１ａ（状態通知部３１ｂ）は、用紙搬送経路４１に設けたセンサ４２やモータの出力信号から、ステップ（所定時間）毎のセンサの検知情報や駆動源の駆動情報（例えば、モータの回転周波数）などの状態情報を取得して機械学習装置２０に出力する。機械学習装置２０の状態情報取得部２１ａは、状態情報に基づいて、状態変数として各用紙の位置情報を取得して報酬計算部２１ｂに通知し、報酬計算部２１ｂは位置情報に基づいて報酬を計算して学習部２１ｃに通知する。学習部２１ｃは、状態情報取得部２１ａから取得した各用紙の位置情報と報酬計算部２１ｂから取得した報酬とに基づいて行動価値を算出することによって行動を学習し、学習結果（状態変数、各行動、行動価値）を制御情報出力部２１ｄに通知する。制御情報出力部２１ｄは、学習結果に基づいて決定した行動を駆動源に行わせるための、制御信号、制御電流、周波数などの制御情報を生成して画像形成装置３０に通知する。画像形成装置３０の搬送制御部３１ａ（更新処理部３１ｃ）は、機械学習装置２０から取得した制御情報に従って、モータやクラッチなどの駆動源を駆動するためのファームウェアを更新し、ファームウェアに従ってモータやクラッチの動作を制御する。
なお、図５では、用紙搬送経路４１上に２０個のセンサ４２を配置し、各センサ４２の出力信号（ＯＮ／ＯＦＦ）から用紙の位置を特定したが、駆動源の駆動情報などを利用する場合は、実際のセンサ４２（図の黒塗りの三角）の数を減らして、センサ４２の出力信号とモータの駆動信号と物理パラメータ（モータ１回転当たりの用紙の搬送距離やモータの回転周波数に応じた用紙の搬送速度など）とから仮想的なセンサ４２（図のドットのハッチングの三角）を配置するようにしてもよい。
以下、本実施例の機械学習装置２０における機械学習方法について説明する。機械学習装置２０の制御部２１のＣＰＵ２２は、ＲＯＭ２３又は記憶部２５に記憶した機械学習プログラムをＲＡＭ２４に展開して実行することにより、図１０乃至図１４のフローチャート図に示す各ステップの処理を実行する。
まず、画像形成装置３０の印刷処理部４０が用紙の搬送を開始すると、機械学習装置２０の制御部２１（状態情報取得部２１ａ）は、画像形成装置３０の制御部３１（状態通知部３１ｂ）からセンサ４２の検知情報や駆動源の駆動情報などの状態情報を取得し、状態情報に基づいて用紙の位置情報を取得する（Ｓ１０１）。この位置情報は、センサ４２の検知情報から取得してもよいし、センサ４２の検知情報と駆動源の駆動情報とから算出して取得してもよい。また、位置情報を算出するときに、湿度、温度、寿命、スリップ率、紙種、坪量、サイズ、印刷モード、印字率のいずれか一つを考慮することができる。
次に、制御部２１（報酬計算部２１ｂ）は、用紙の位置情報に基づいて報酬を計算する（Ｓ１０２）。この報酬の計算の詳細については後述する。次に、制御部２１（学習部２１ｃ）は、状態情報取得部２１ａが取得した用紙の位置情報と報酬計算部２１ｂが計算した報酬とに基づき、上述したＱ学習の計算式などを用いて行動価値（Ｑ値）を算出することによって行動を学習し（Ｓ１０３）、Ｑテーブルを更新する（Ｓ１０４）。その際、学習部２１ｃは、用紙の位置情報と報酬とに加えて、湿度、温度、寿命、スリップ率のいずれか一も考慮して学習を行ったり、紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮して学習を行ったりすることができる。
そして、制御部２１（制御情報出力部２１ｄ）は、学習結果（Ｑテーブル）に基づいて次の行動を決定し（Ｓ１０５）、決定した行動を駆動源に行わせるための制御情報（制御信号、制御電流、周波数など）を生成して画像形成装置３０に出力する（Ｓ１０６）。その際、制御情報出力部２１ｄは、学習部２１ｃが湿度、温度、寿命、スリップ率のいずれか一も考慮して学習を行った場合は、紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮して制御情報を生成することができ、学習部２１ｃが紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮して学習を行った場合は、湿度、温度、寿命、スリップ率のいずれか一も考慮して制御情報を生成することができる。そして、画像形成装置３０の制御部３１（更新処理部３１ｃ）は、機械学習装置２０から制御情報を取得したら、制御信号に基づいて駆動源の動作を制御するファームウェアを更新し、更新したファームウェアに従って駆動源を駆動して用紙を搬送する。その後、Ｓ１０１に戻って同様の処理を繰り返す。
次に、Ｓ１０２の報酬計算について説明する。報酬計算の手法はいくつかあり、例えば、用紙のピッチ（用紙間の距離や時間間隔）に基づいて報酬を計算する手法、動作時間に基づいて報酬を計算する手法などがある。
図１１は、用紙のピッチ（時間間隔）に基づいて報酬を計算する手法の一例である。報酬計算部２１ｂは、目標ピッチ条件を設定する（Ｓ２０１）。図１２はこのステップの詳細を示しており、まず、対象区間を設定する（Ｓ３０１）。次に、区間判定を行い（Ｓ３０２）、区間Ａの場合は、目標ピッチを第１の値（ここでは５０ｍｓ）に設定し（Ｓ３０３）、区間Ｂの場合は、目標ピッチを第２の値（ここでは２００ｍｓ）に設定し（Ｓ３０４）、区間Ｃの場合は、目標ピッチを第３の値（ここでは４００ｍｓ）に設定する（Ｓ３０５）。図１１に戻って、報酬計算部２１ｂは、センサ通過時間（ある用紙がセンサを通過してから次の用紙がセンサを通過するまでの時間、すなわち、２つの用紙の搬送時間間隔）を測定し（Ｓ２０２）、Ｓ２０２の実測とＳ２０１の目標との大小関係を判断する（Ｓ２０３）。実績と目標とが略等しい場合は、設定通りに用紙の搬送が行われていることから、報酬を正の所定値（例えば、＋１）とし（Ｓ２０４）、実測が目標よりも大きい場合は、設定通りに用紙の搬送は行われてはいないが用紙同士が衝突する恐れはないことから、報酬を０とし（Ｓ２０５）、実測が目標よりも小さい場合は、用紙同士が衝突する恐れがあることから、報酬を負の所定値（例えば、−１）とする（Ｓ２０６）。
なお、図１１及び図１２では、２つの用紙の時間間隔に基づいて報酬を計算したが、２つの用紙の間の距離に基づいて報酬を計算してもよい。その場合、２つの用紙の間の距離が、目標とする距離よりも小さい場合は、用紙同士が衝突する恐れがあることから、報酬を負の所定値とすることができる。
図１３は、動作時間に基づいて報酬を計算する手法の一例である。報酬計算部２１ｂは、目標移動完了条件を設定する（Ｓ４０１）。図１４はこのステップの詳細を示しており、まず、用紙の位置情報の変化から、移動速度、移動総距離を取得し、移動中停止時間を算出する（Ｓ５０１）。そして、これらの情報から目標移動完了条件を所定の値（ここでは６００ｍｓ）に設定する（Ｓ５０２）。図１３に戻って、報酬計算部２１ｂは、動作開始から動作終了までの時間を測定し（Ｓ４０２）、実測と目標との大小関係を判断する（Ｓ４０３）。実績と目標とが略等しい場合は、設定通りに用紙の搬送が行われていることから、報酬を正の所定値（例えば、１）とし（Ｓ４０４）、実測が目標よりも大きい場合は、設定通りに用紙の搬送は行われてはいないが用紙同士が衝突する恐れはないことから、報酬を０とし（Ｓ４０５）、実測が目標よりも小さい場合は、用紙同士が衝突する恐れがあることから、報酬を負の所定値（例えば、−１）とする（Ｓ４０６）。
なお、図１１及び図１２では、用紙のピッチに基づいて報酬を計算する手法について説明し、図１３及び図１４では、動作時間に基づいて報酬を計算する手法について説明したが、用紙のピッチと動作時間の双方に基づいて報酬を計算したり、用紙のピッチ及び／又は動作時間に、他のパラメータを追加して報酬を計算したりしてもよい。
また、取得した位置情報が一定時間変化しない場合は、ジャムが発生していると考えられるため、報酬を負の値としたり、少なくとも２つの搬送物の停止位置に応じて（所定の停止位置で停止したか否かに応じて）、報酬を計算したりしてもよい。また、駆動源の駆動状態によっては（例えば、隣り合う駆動源の搬送速度が異なる場合は）、用紙のたわみや引っ張りが発生することから、このような不具合を考慮して報酬を計算するようにしてもよい。
以上説明したように、用紙の位置情報を取得し、予め設定されたルールに従って報酬を計算し、位置情報と報酬とに基づいて、強化学習における行動価値を算出することによって行動を学習し、学習結果に基づいて決定した行動を駆動源に行わせるための制御情報を出力することにより、ユーザの使用環境や使用状況に適した搬送物の搬送制御を実現することができる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
例えば、上記実施例では、複数の用紙の搬送を制御して処理を行う画像形成装置に対して、本発明の機械学習方法を適用する場合について記載したが、複数の移動物の搬送を制御して処理を行う任意の装置に対して、本発明の機械学習方法を同様に適用することができる。
本発明は、複数の移動物の搬送を制御する搬送装置における駆動源の行動を学習する機械学習装置、機械学習方法、機械学習プログラム及び当該機械学習プログラムを記録した記録媒体に利用可能である。
１０ 制御システム
２０ 機械学習装置
２１ 制御部
２１ａ 状態情報取得部
２１ｂ 報酬計算部
２１ｃ 学習部
２１ｄ 制御情報出力部
２２ ＣＰＵ
２３ ＲＯＭ
２４ ＲＡＭ
２５ 記憶部
２６ ネットワークＩ／Ｆ部
２７ 表示部
２８ 操作部
３０ 画像形成装置
３１ 制御部
３１ａ 搬送制御部
３１ｂ 状態通知部
３１ｃ 更新処理部
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ 記憶部
３６ ネットワークＩ／Ｆ部
３７ 表示操作部
３８ 画像処理部
３９ 画像読取部
４０ 印刷処理部
４１ 用紙搬送経路
４２ センサ
４３ メインモータ
４３ａ 給紙クラッチ
４３ｂ タイミングクラッチ
４４ 定着モータ
４５ 排紙モータ
４５ａ 排紙クラッチ

Claims (17)

  1. 少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置であって、
    前記搬送経路に設けられた検知部の検知結果に基づいて、前記少なくとも２つの搬送物の前記搬送経路上の位置情報を取得する状態情報取得部と、
    前記取得した位置情報に基づいて、予め定めたルールに従って報酬を計算する報酬計算部と、
    前記取得した位置情報と前記計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習する学習部と、
    学習結果に基づいて決定した行動を前記駆動源に行わせるための制御情報を生成して出力する制御情報出力部と、を備える、
    ことを特徴とする機械学習装置。
  2. 前記状態情報取得部は、前記位置情報を、前記検知部の検知結果から取得、前記検知部の検知結果及び前記搬送物の移動速度から算出して取得、前記制御情報の出力からの経過時間及び前記搬送物の移動速度から算出して取得、又は、前記制御情報の出力からの経過時間及び前記制御情報のパルス数から算出して取得する、
    ことを特徴とする請求項１に記載の機械学習装置。
  3. 前記報酬計算部は、前記少なくとも２つの搬送物のうちの１つの搬送物が、前記搬送経路上の第１の位置から第２の位置に到達する時間と、予め決めた所定時間と、を比較することによって、前記報酬を計算する、
    ことを特徴とする請求項１又は２に記載の機械学習装置。
  4. 前記報酬計算部は、前記少なくとも２つの搬送物のうちの２つの搬送物の間の距離と、予め決めた所定距離と、を比較することによって、前記報酬を計算する、
    ことを特徴とする請求項１又は２に記載の機械学習装置。
  5. 前記報酬計算部は、前記搬送経路のうちの第１の領域にある前記搬送物に対応する報酬は、第１の所定距離と比較することによって計算し、前記搬送経路のうちの第２の領域にある前記搬送物に対応する報酬は、第２の所定距離と比較することによって計算する、
    ことを特徴とする請求項４に記載の機械学習装置。
  6. 前記報酬計算部は、前記少なくとも２つの搬送物のうちの２つの搬送物の間の距離が前記所定距離よりも小さい場合は、前記報酬を負の値とする、
    ことを特徴とする請求項４又は５に記載の機械学習装置。
  7. 前記報酬計算部は、前記取得した位置情報と隣り合う前記駆動源の搬送速度とに基づいて、前記報酬を計算する、
    ことを特徴とする請求項１乃至６のいずれか一に記載の機械学習装置。
  8. 前記報酬計算部は、前記取得した位置情報が一定時間変化しない場合は、前記報酬を負の値とする、
    ことを特徴とする請求項１乃至７のいずれか一に記載の機械学習装置。
  9. 前記報酬計算部は、前記少なくとも２つの搬送物の停止位置に応じて、前記報酬を計算する、
    ことを特徴とする請求項１乃至８のいずれか一に記載の機械学習装置。
  10. 前記駆動源は、モータ又は前記モータの動力の伝達を切り替えるクラッチであり、
    前記制御情報は、前記モータ及び／又は前記クラッチを動作させる制御信号、制御電流、周波数である、
    ことを特徴とする請求項１乃至９のいずれか一に記載の機械学習装置。
  11. 前記搬送装置は、用紙を搬送して印刷する画像形成装置である、
    ことを特徴とする請求項１乃至１０のいずれか一に記載の機械学習装置。
  12. 前記状態情報取得部は、前記位置情報を算出する際に、湿度、温度、寿命、スリップ率、紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮する、
    ことを特徴とする請求項１１に記載の機械学習装置。
  13. 前記学習部は、前記取得した位置情報と前記計算した報酬とに加えて、湿度、温度、寿命、スリップ率のいずれか一も考慮して学習を行い、
    前記制御情報出力部は、紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮して前記制御情報を生成する、
    ことを特徴とする請求項１１又は１２に記載の機械学習装置。
  14. 前記学習部は、前記取得した位置情報と前記計算した報酬とに加えて、紙種、坪量、サイズ、印刷モード、印字率のいずれか一も考慮して学習を行い、
    前記制御情報出力部は、湿度、温度、寿命、スリップ率のいずれか一も考慮して前記制御情報を生成する、
    ことを特徴とする請求項１１乃至１３のいずれか一に記載の機械学習装置。
  15. 請求項１乃至１４のいずれか一の前記機械学習装置を備える搬送装置。
  16. 少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置における機械学習方法であって、
    前記搬送経路に設けられた検知部の検知結果に基づいて、前記少なくとも２つの搬送物の前記搬送経路上の位置情報を取得する状態情報取得処理と、
    前記取得した位置情報に基づいて、予め定めたルールに従って報酬を計算する報酬計算処理と、
    前記取得した位置情報と前記計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習する学習処理と、
    学習結果に基づいて決定した行動を前記駆動源に行わせるための制御情報を生成して出力する制御情報出力処理と、を実行する、
    ことを特徴とする機械学習方法。
  17. 少なくとも２つの搬送物を搬送経路に沿って連続的に搬送する搬送装置における、駆動源の行動を学習する機械学習装置で動作する機械学習プログラムであって、
    前記機械学習装置の制御部に、
    前記搬送経路に設けられた検知部の検知結果に基づいて、前記少なくとも２つの搬送物の前記搬送経路上の位置情報を取得する状態情報取得処理、
    前記取得した位置情報に基づいて、予め定めたルールに従って報酬を計算する報酬計算処理、
    前記取得した位置情報と前記計算した報酬とに基づいて、強化学習における行動価値を算出することによって、行動を学習する学習処理、
    学習結果に基づいて決定した行動を前記駆動源に行わせるための制御情報を生成して出力する制御情報出力処理、を実行させる、
    ことを特徴とする機械学習プログラム。
JP2019134502A 2019-07-22 2019-07-22 機械学習装置、機械学習方法及び機械学習プログラム Pending JP2021018644A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019134502A JP2021018644A (ja) 2019-07-22 2019-07-22 機械学習装置、機械学習方法及び機械学習プログラム
US16/923,509 US12010280B2 (en) 2019-07-22 2020-07-08 Machine learning device, machine learning method, and machine learning program
CN202010685334.2A CN112286050B (zh) 2019-07-22 2020-07-16 机器学习装置、机器学习方法以及机器学习程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019134502A JP2021018644A (ja) 2019-07-22 2019-07-22 機械学習装置、機械学習方法及び機械学習プログラム

Publications (1)

Publication Number Publication Date
JP2021018644A true JP2021018644A (ja) 2021-02-15

Family

ID=74187589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019134502A Pending JP2021018644A (ja) 2019-07-22 2019-07-22 機械学習装置、機械学習方法及び機械学習プログラム

Country Status (3)

Country Link
US (1) US12010280B2 (ja)
JP (1) JP2021018644A (ja)
CN (1) CN112286050B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645498B2 (en) * 2019-09-25 2023-05-09 International Business Machines Corporation Semi-supervised reinforcement learning
JP2023114275A (ja) * 2022-02-04 2023-08-17 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05201564A (ja) * 1992-01-24 1993-08-10 Ricoh Co Ltd 紙送り装置
JP2006072101A (ja) * 2004-09-03 2006-03-16 Fuji Xerox Co Ltd 画像形成装置
JP2007079011A (ja) * 2005-09-13 2007-03-29 Canon Inc 画像形成装置
JP2008181024A (ja) * 2007-01-25 2008-08-07 Ricoh Co Ltd 画像形成装置、制御方法、制御プログラム、及び記憶媒体
JP2013238682A (ja) * 2012-05-14 2013-11-28 Konica Minolta Inc 画像形成装置
JP2017034844A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法
US20180032841A1 (en) * 2016-08-01 2018-02-01 Siemens Healthcare Gmbh Medical Scanner Teaches Itself To Optimize Clinical Protocols And Image Acquisition
JP2018111154A (ja) * 2017-01-11 2018-07-19 富士ゼロックス株式会社 ロボット装置及びプログラム
JP2019034836A (ja) * 2017-08-18 2019-03-07 ファナック株式会社 制御装置及び機械学習装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100739736B1 (ko) * 2005-09-22 2007-07-13 삼성전자주식회사 화상형성장치 및 이에 적용되는 급지방법
US20090057997A1 (en) * 2007-08-31 2009-03-05 Seiko Epson Corporation Printer, drive control method, and motor control program for printer
CN101739601B (zh) 2008-11-12 2013-03-06 长春工程学院 一种用于开发强化学习系统的框架及方法
JP5444982B2 (ja) * 2009-09-15 2014-03-19 株式会社リコー 画像形成装置及び用紙搬送制御方法
JP5510636B2 (ja) * 2009-10-20 2014-06-04 セイコーエプソン株式会社 被搬送材搬送装置及び画像処理装置
JP5482493B2 (ja) * 2010-06-17 2014-05-07 ブラザー工業株式会社 画像形成装置
JP5195860B2 (ja) 2010-09-28 2013-05-15 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
JP5790635B2 (ja) * 2012-12-19 2015-10-07 コニカミノルタ株式会社 画像形成装置
US10096067B1 (en) * 2014-01-24 2018-10-09 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
JP6506016B2 (ja) * 2014-11-28 2019-04-24 理想科学工業株式会社 給紙装置
CN106541714B (zh) * 2015-09-16 2018-09-21 山东新北洋信息技术股份有限公司 一种标签打印机的控制方法及标签打印机
JP6744208B2 (ja) * 2016-12-27 2020-08-19 株式会社日立製作所 制御装置及び制御方法
US10134279B1 (en) * 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks
JP6697491B2 (ja) * 2018-01-25 2020-05-20 ファナック株式会社 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法
US11107002B2 (en) * 2018-06-11 2021-08-31 Traxen Inc. Reinforcement learning based ground vehicle control techniques

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05201564A (ja) * 1992-01-24 1993-08-10 Ricoh Co Ltd 紙送り装置
JP2006072101A (ja) * 2004-09-03 2006-03-16 Fuji Xerox Co Ltd 画像形成装置
JP2007079011A (ja) * 2005-09-13 2007-03-29 Canon Inc 画像形成装置
JP2008181024A (ja) * 2007-01-25 2008-08-07 Ricoh Co Ltd 画像形成装置、制御方法、制御プログラム、及び記憶媒体
JP2013238682A (ja) * 2012-05-14 2013-11-28 Konica Minolta Inc 画像形成装置
JP2017034844A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法
US20180032841A1 (en) * 2016-08-01 2018-02-01 Siemens Healthcare Gmbh Medical Scanner Teaches Itself To Optimize Clinical Protocols And Image Acquisition
JP2018111154A (ja) * 2017-01-11 2018-07-19 富士ゼロックス株式会社 ロボット装置及びプログラム
JP2019034836A (ja) * 2017-08-18 2019-03-07 ファナック株式会社 制御装置及び機械学習装置

Also Published As

Publication number Publication date
CN112286050B (zh) 2023-05-30
US12010280B2 (en) 2024-06-11
US20210029255A1 (en) 2021-01-28
CN112286050A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
US10757295B2 (en) Printing apparatus, control method for printing apparatus, and storage medium for generating an image forming condition based on a reading result
CN103809415B (zh) 图像形成装置
JP2017142342A (ja) 画像形成装置
CN112286050B (zh) 机器学习装置、机器学习方法以及机器学习程序
US20210088985A1 (en) Machine learning device, machine learning method, and machine learning program
US9354574B2 (en) Method of controlling performance of auto color registration and image forming apparatus using the same
JP2013148664A (ja) 画像形成装置
US8644723B2 (en) Image forming apparatus
JP2019025721A (ja) 画像形成装置および画像形成装置の制御方法
US20160148081A1 (en) Printing apparatus, control method in printing apparatus, and storage medium
JP2018101121A (ja) 画像形成装置
JP2009063660A (ja) 画像形成装置
JP2006309140A (ja) 画像形成装置および画像形成方法
JP2007036411A (ja) 画像処理装置および画像処理方法
JP5381324B2 (ja) 画像形成制御装置、画像形成装置および画像形成制御方法
JP2011164609A (ja) 画像形成装置および画像濃度補正方法
JP2017044940A (ja) データ生成装置、画像形成装置及びデータ生成方法
JP2022037951A (ja) 情報処理装置、用紙情報通知方法及びプログラム
JP5381532B2 (ja) 画像形成制御装置、画像形成装置、および画像形成制御方法
JP7439459B2 (ja) 機械学習装置、搬送装置、画像形成装置、機械学習方法、およびプログラム
JP2015093403A (ja) 画像形成装置及び画像形成システム
US20210362970A1 (en) Paper feeder, image forming apparatus, and non-transitory computer readable medium
JP2005258384A (ja) 異常判定方法、並びにこれを用いる異常判定装置及び画像形成装置。
JP2021195209A (ja) 学習方法、搬送装置及び画像形成装置
JP2021005003A (ja) 画像形成装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190821

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191120

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231024