JP2022157436A - 通信システム、通信装置とその制御方法、及びプログラム - Google Patents

Abstract

【課題】データを送信する前に予め送信対象のデータの情報を登録する必要なく誤送信の判定が行えるようになる通信システム、通信装置とその制御方法及びプログラムを提供する。【解決手段】画像形成装置において、送信データと宛先情報とに基づいて送信の可否を判定し、ユーザの判定に従ってデータの送信を制御する処理であって、データの送信先である宛先を受け付けると、そのデータの種別を判別する。またそのデータの宛先の属性情報を取得し、そのデータの種別と宛先の属性情報とに基づいて、そのデータの前記宛先への送信を実施するかどうか判定し、データの前記宛先への送信を実施しないと判定した場合に、前記データの前記宛先への送信を実施するかどうかをユーザに問い合わせる。【選択図】図１１

Description

本発明は、通信システム、通信装置とその制御方法、及びプログラムに関する。

ＦＡＸ機器やパソコン、スマートフォンなどの通信機器は、外部機器に対し、内部に保持する画像データを送信する機能を持つ。このとき、送信宛先のＦＡＸ番号や電子メールアドレスの設定は、ユーザの手入力によって行われる場合が多いため、ユーザのケアレスミス等により誤って宛先が入力されることにより、ユーザが意図しない誤った宛先へ送信されるおそれがある。また送信宛先を予め登録しておき、送信時に、ユーザが登録されている宛先から所望の宛先を選択して送信できる機器も存在するが、選択のミスにより誤った宛先が選択されて送信される可能性がある。通信機器により送信される画像は、例えば免許証や契約書等のように個人情報を含むものも多いため、画像データの送信に際しては、意図しない宛先への誤送信を未然に防止することが重要となる。

特許文献１は、送信予定の画像データに、企業ロゴ等の送信先を表す画像が含まれているか判定し、そのような画像が含まれている場合、その画像に関する宛先と、設定されている宛先とが一致しない場合は誤送信のおそれがあるとして送信を一時停止する。そしてユーザからの送信実施可否の指定を受け付けることで、送信を実施または中止することが記載されている。

特開２０１５－２２６１３４号公報

しかしながら特許文献１では、画像データを送信する前に、予め画像データと、その画像データに関連する送信宛先との組み合わせ情報を登録しておく必要があるため、ユーザの操作が煩雑となる。また上記従来技術では、送信データに特定の画像が存在するか否かのパターンマッチング等の画像処理で誤送信のおそれがあるかどうか判定している。そして企業ロゴ等の画像パターンを含まない送信データ、全て無条件に送信されてしまう。従って、企業ロゴ等の画像パターンを含まない画像データを送信する場合は、ユーザは、誤送信を防止するためには送信対象の画像データと宛先を検証する必要があり、ユーザの操作が煩雑になるという課題があった。

本発明の目的は、上記従来技術の課題の少なくとも一つを解決することにある。

本発明の目的は、送信対象のデータの種別とその送信先とに基づいて、そのデータの送信が誤送信でないかどうか自動的に判定する技術を提供することにある。

上記目的を達成するために本発明の一態様に係る通信装置は以下のような構成を備える。即ち、
データの送信先である宛先を受け付ける受付手段と、
前記データの種別を判別する判別手段と、
前記宛先の属性情報を取得する取得手段と、
前記データの種別と前記宛先の属性情報とに基づいて、前記データの前記宛先への送信を実施するかどうか判定する判定手段と、
前記判定手段が前記データの前記宛先への送信を実施しないと判定した場合に、前記データの前記宛先への送信を実施するかどうかをユーザに問い合わせる問い合わせ手段と、を有することを特徴とする。

本発明によれば、データを送信する前に予め送信対象のデータの情報を登録する必要なく誤送信の判定が行えるようになる。また、送信データに特定の画像パターンが含まれない場合でも、その画像データが誤った宛先に送信されるかどうか自動的に判定できるようになるため、ユーザが誤送信かどうかを判定しなければならない負担が減少する。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態に係る画像形成装置を含む通信システムの構成を説明する図。 実施形態に係る通信システムの構成と画像形成装置のハードウェア構成を説明するブロック図。 実施形態に係る機械学習サーバのハードウェア構成を説明するブロック図。 実施形態に係る図１（Ａ）の学習フェーズにおける画像形成装置、機械学習サーバ及びデータサーバのソフトウェア構成を説明する図。 実施形態に係る機械学習サーバの機械学習部による学習モデルを用いた入出力の概念を説明する図。 実施形態に係る画像形成装置の操作部に表示される画面例を示す図。 実施形態に係る画像形成装置によるＦＡＸ或いは電子メールの送信時の処理の流れを説明する図。 宛先の属性情報として保持する情報をリスト形式で示す図（Ａ）と、実施形態に係る画像形成装置の操作部に表示される宛先とその属性情報を登録する画面例を示す図（Ｂ）。 実施形態に係る画像形成装置において、送信実施の妥当性判定の学習済みモデルが、宛先の属性情報及び送信データ種別から送信可／不可を判定する例を説明する図。 実施形態に係る画像形成装置において誤送信の可能性があると判定したときに操作部に表示する、送信を実施するかどうかユーザに判断させる画面例を示す図。 実施形態に係る画像形成装置において、送信データと宛先情報とに基づいて送信の可否を判定し、ユーザの判定に従ってデータの送信を制御する処理を説明するフローチャート。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。尚、本実施形態では、本発明に係る通信装置の一例を、複合機等の画像形成装置を例に説明するが、本発明の通信装置はこのような複合機に限定されず、例えばファクシミリ装置やＰＣ（パーソナルコンピュータ）等の通信機能を有する電子機器にも応用できる。

図１は、本発明の実施形態に係る画像形成装置を含む通信システムの構成を説明する図である。

図１（Ａ）は、学習フェーズを実行する通信システムの構成を示す図である。

この通信システムは、プリンタ、複合機、ＦＡＸなどの画像形成装置１０１、機械学習サーバ１０２、データサーバ１０５，画像形成装置１０１とデータ通信等を行う汎用コンピュータ１０３を有している。これらの機器は、有線ＬＡＮ等のネットワーク１０４によって接続されている。画像形成装置１０１は、ＡＩ（artificial intelligence）機能を搭載し、このＡＩ機能を実現するための学習済みモデルは、主に機械学習サーバ１０２によって生成されている。データサーバ１０５は、機械学習サーバ１０２が機械学習を行うために使用される学習データを外部機器から収集して機械学習サーバ１０２へ提供する。画像形成装置１０１は随時、生成された学習済みモデルを機械学習サーバ１０２から受信して特定のＡＩ機能を実現できる。また機械学習サーバ１０２は、特定のＡＩ機能を実現するための学習済みモデルの学習に必要な学習データを、データサーバ１０５や画像形成装置１０１、汎用コンピュータ１０３等の外部機器から受信する。そして、その受信した学習データの一部又は全部を用いて学習処理を行うことができる。

図１（Ｂ）は、推定フェーズを実行する通信システムの構成を示す図である。

この通信システムは、プリンタ、複合機、ＦＡＸなどの画像形成装置１０１、画像形成装置１０１からの電子メールの受信等を行う汎用コンピュータ１０３、画像形成装置１０１からのＦＡＸ受信等を行うＦＡＸ受信装置１０７を有している。画像形成装置１０１と汎用コンピュータ１０３は、有線ＬＡＮ等のネットワーク１０４によって接続され、画像形成装置１０１とＦＡＸ受信装置１０７は公衆回線網１０６によって接続されている。画像形成装置１０１は、学習フェーズで生成された学習済みモデルを活用しＦＡＸや電子メール送信を実施する。

実施形態に係る通信システムの特徴としては、画像形成装置１０１は、機械学習サーバ１０２からロードした学習モデルを活用したＡＩ機能を備えている。このＡＩ機能により画像形成装置１０１は、ＦＡＸや電子メール等のデータ送信処理時に、送信データに基づいて誤送信の可能性を推定することができる。このような通信システム構成で、画像形成装置１０１が、データを誤った宛先に送信する誤送信の可能性を判定することで、ユーザが意図しない宛先へのデータ送信を抑制することができる。

図２は、実施形態に係る通信システムの構成と画像形成装置１０１のハードウェア構成を説明するブロック図である。

画像形成装置１０１は、使用するユーザが各種の操作を行うための操作部１４０と、操作部１４０を介して入力されるユーザの指示に従って原稿を読み取るリーダ２５０と、画像データに基づいて用紙に画像を印刷するプリンタ２０とを有する。リーダ２５０は、リーダ２５０を制御するＣＰＵ（不図示）や原稿の読取を行うための照明ランプや走査ミラー（いすれも不図示）などを有する。プリンタ２０は、プリンタ２０の制御を行うＣＰＵ（不図示）や画像形成や定着を行うための感光体ドラムや定着器（いすれも不図示）を有する。また画像形成装置１０１は、画像形成装置１０１の動作を統括的に制御するコントローラ１２００を備える。

次に、コントローラ１２００の構成を詳しく説明する。

コントローラ１２００は、ＬＡＮ１０４を介してＬＡＮ１０４上の汎用コンピュータ１０３から受信した印刷ジョブに含まれるＰＤＬコードをビットマップイメージに展開するラスタイメージプロセッサ（ＲＩＰ）１２６０を有する。またコントローラ１２００は、リーダ２５０から入力された画像データに対し補正、加工、編集を行うリーダ画像処理部１２８０を有する。またコントローラ１２００は、プリンタ２０で出力（印刷）される画像データに対して補正、解像度変換等を行うプリンタ画像処理部１２９０と、画像データの回転を行う画像回転部１２３０とを有する。

またコントローラ１２００は、多値画像データをＪＰＥＧに、２値画像データをＪＢＩＧ、ＭＭＲ、又はＭＨ等に圧縮／伸張処理を行う画像圧縮部１２４０を有する。またコントローラ１２００は、リーダ２５０及びプリンタ２０とコントローラ１２００を接続して画像データの同期系／非同期系の変換を行うデバイスＩ／Ｆ（インタフェース）１２２０を有する。更に、これらを互いに接続して画像データを高速で転送する画像バス２００８を備えている。

またコントローラ１２００は、画像形成装置１０１を統括的に制御する制御部としてのＣＰＵ１２０１を有する。またコントローラ１２００は、ＣＰＵ１２０１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもあるＲＡＭ１２０２を有する。またコントローラ１２００は、操作部Ｉ／Ｆ部１２０６を介して、操作部１４０に表示する画像データを操作部１４０に対して出力する。また操作部Ｉ／Ｆ１２０６は、この画像形成装置１０１を使用するユーザが操作部１４０から入力した情報をＣＰＵ１２０１に伝える役割を有する。またコントローラ１２００は、ＬＡＮ１０４に接続され、汎用コンピュータ１０３やＬＡＮ１０４上の図示しないその他のコンピュータ端末との通信（送受信）を行うネットワークＩ／Ｆ１２１０を有する。また、公衆回線網１０６に接続され、図示しない外部のファクシミリ装置とのデータの通信（送受信）を行うモデム１２１１を有する。またＬＡＮを介して外部の端末と接続する無線通信Ｉ／Ｆ１２７０を備える。またコントローラ１２００は、ＣＰＵ１２０１が実行するブートプログラム等を格納しているＲＯＭ１２０３と、システムソフトウェア、画像データ、ソフトウェアカウンタ値などを格納するハードディスクドライブ（ＨＤＤ）１２０４とを備える。またリーダ２５０及びプリンタ２０とそれぞれ通信を行うリーダ・プリンタ通信Ｉ／Ｆ１２０８と、上述した各部を互いに接続するシステムバス１２０７とを備える。

コントローラ１２００は、システムバス１２０７と画像バス２００８とを接続しデータ構造を変換するバスブリッジとして機能する画像バスＩ／Ｆ１２０５を備える。またコントローラ１２００は、印刷やコピージョブ実行時の、ユーザ名や印刷部数、カラー印刷等、出力属性情報等をジョブ実行時の履歴をジョブログ情報としてＨＤＤ１２０４或いはＲＡＭ１２０２に記録して管理している。ＧＰＵ１２９１はデータをより多く並列処理することで効率的な演算を行うことができる。よって、学習モデルを用いて推定処理部４０５の機能を実現するときは、ＣＰＵ１２０１とＧＰＵ１２９１とが協働して演算を行うことで推定処理を行う。また或いは、推定処理部４０５の機能を実現するときは、ＣＰＵ１２０１又はＧＰＵ１２９１により推定処理を行うようにしても良い。

尚、図４の機械学習部４１４による処理には、機械学習サーバ１０２の機能に加えて、ＣＰＵ１２０１及びＧＰＵ１２９１を用いてもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、機械学習サーバ１０２とＣＰＵ１２０１とＧＰＵ１２９１とが協働して演算を行うことで学習を行ってもよい。

図３は、実施形態に係る機械学習サーバ１０２のハードウェア構成を説明するブロック図である。

この機械サーバ１０２は、ＣＰＵ１３０１、ＲＡＭ１３０２、ＲＯＭ１３０３、ＨＤＤ１３０４、ネットワークＩ／Ｆ１３１０、ＩＯ１３０５、ＧＰＵ１３０６を有し、これらはシステムバス１３０７で相互に通信可能に接続されている。

ＣＰＵ１３０１は、ＯＳ（オペレーティングシステム）やアプリケーションソフトなどのプログラムをＨＤＤ１３０４から読み出してＲＡＭ１３０２に展開して実行することで種々の機能を提供する。ＲＡＭ１３０２は、ＣＰＵ１３０１がプログラムを実行する際のシステムワークメモリである。ＲＯＭ１３０３はＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳを起動するためのプログラム、設定ファイル等を記憶している。ＨＤＤ１３０４はハードディスクドライブで、システムソフトウェアなどを記憶している。ネットワークＩ／Ｆ１３１０はＬＡＮ１０４に接続され、画像形成装置１０１などの外部機器と通信（送受信）を行う。ＩＯ１３０５は、マルチタッチセンサ等を備えたディスプレイ等の入出力デバイスなどを含む操作部（不図示）との間で情報を入出力するインターフェースである。操作部では、プログラムが指示する画面情報に基づき所定の解像度や色数等で所定の情報が描画される。例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面を形成し、操作に必要な各種ウィンドウやデータ等が表示される。

ＧＰＵ１３０６はデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に亘って学習する場合にはＧＰＵ１３０６で処理を行うことが有効である。そこで実施形態では、機械学習部４１４による処理にはＣＰＵ１３０１に加えてＧＰＵ１３０６を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ１３０１とＧＰＵ１３０６が協働して演算を行うことで学習を行う。尚、機械学習部４１４の処理はＣＰＵ１３０１またはＧＰＵ１３０６のみにより演算が行われても良い。

次に、このＧＰＵ１３０６と画像形成装置１０１のＧＰＵ１２９１との使い分けについて記載する。ネットワークの通信やＧＰＵの処理に要する負荷、画像形成装置１０１の省電力モード等に応じてＧＰＵの計算資源を有効活用できるようになっている。例えば、画像形成装置１０１が省電力モードに移行する場合、積極的に機械学習サーバ１０２のＧＰＵ１３０６を活用できるようになっている。

図４は、実施形態に係る図１（Ａ）の学習フェーズにおける画像形成装置１０１、機械学習サーバ１０２及びデータサーバ１０５のソフトウェア構成を説明する図である。尚、図に示したソフトウェア構成を実現するためのプログラムは、例えば画像形成装置１０１では、その構成要素ごとにＨＤＤ１２０４に格納されており、ＲＡＭ１２０２に展開されてＣＰＵ１２０１により実行される。また機械学習サーバ１０２では、そのプログラムはＨＤＤ１３０４に格納されていてＲＡＭ１３０２に展開されＣＰＵ１３０１により実行される。これはデータサーバ１０５においても同様である。

このソフトウェア構成は、実施形態に係る通信システムにおいて、画像形成装置１０１の送信データの種別解析や宛先と送信データ種別の組み合わせの妥当性を判断するための情報を学習して、誤送信防止の機能を実現可能にするためのものである。

画像形成装置１０１のソフトウェアは、データ記憶部４０１、ジョブ制御部４０３、データ送信処理部４１１、画像生成部４０４、推定処理部４０５、画像受信部４０６を有する。また機械学習サーバ１０２のソフトウェアは、学習データ生成部４１３、機械学習部４１４、データ記憶部４１５を有する。データサーバ１０５は、データ収集・提供部４１０とデータ記憶部４１２とを有する。

データ記憶部４０１は、画像形成装置１０１のＲＡＭ１２０２やＨＤＤ１２０４に対して、画像データや学習データ、学習モデル等画像形成装置１０１が入出力を行うデータの記録を行う機能的役割を有する。ジョブ制御部４０３は、ユーザの指示に基づきコピーやＦＡＸ、プリント等の画像形成装置１０１の基本機能の実行や、基本機能の実行に伴い、他のソフト構成要素間の指示やデータの送受信を中心的に行う機能的役割を有する。データ送信処理部４１１は、ユーザによるデータの送信指示に基づき、データの送信先のＦＡＸ番号又は電子メールアドレスの宛先設定、画像生成部４０４又は画像受信部４０６による送信データの準備を行う。また推定処理部４０５による推定結果により送信処理を実行、又は停止する役割を有している。

画像生成部４０４は、ジョブ制御部４０３の指示に基づきコピーやスキャン機能を実行する場合は、リーダ２５０により原稿を光学的に読み取って送信画像データを生成する。またＨＤＤ１２０４から画像データ等を読み出して送信画像データを生成する機能的役割を有している。画像受信部４０６は、ＬＡＮ１０４を介してＬＡＮ１０４上の汎用コンピュータ１０３から画像データやテキストデータを受信する機能的役割を有している。そして画像形成装置１０１は、その受信したデータをジョブ制御部４０３により外部機器へ更に送信（転送）する機能を有する。

推定処理部４０５は、ＣＰＵ１２０１やＧＰＵ１２９１により実行され、画像形成装置１０１がＦＡＸや電子メールで外部に送信するデータの種別を判定したり、データ種別と宛先の属性情報から送信実施の妥当性を判定する。これにはＡＩ機能を利用して推定処理や分類処理等を行う。この推定処理部４０５は、ジョブ制御部４０３の指示に基づいて処理を実行する。この推定処理部４０５の推定結果の出力は、ジョブ制御部４０３に送信される。そして操作部１４０にメッセージなどを表示して、ユーザに対して、その判定結果などをフィードバックすることができる。

データサーバ１０５は、データ収集・提供部４１０とデータ記憶部４１２とを有している。データ収集・提供部４１０は、機械学習サーバ１０２が学習するための学習データの収集と提供を行う機能的役割を有している。本実施形態では、ＬＡＮ１０４を経由して外部から受信した画像データやテキストデータと、それらのデータが示す、例えば風景写真、免許証、契約書といったデータ種別の組み合わせ情報（データ種別判定の学習のための教師データ）を提供する。またデータ送信を実施してもよいデータ種別と、そのデータ種別のデータを送信してもよい宛先の属性情報との組み合わせ情報（送信の妥当性を判定する学習のための教師データ）を、機械学習サーバ１０２へ提供する。データ記憶部４１２は、収集した学習データの記録及び管理を行う機能的役割を有している。

機械学習サーバ１０２のソフトウェアは、学習データ生成部４１３、機械学習部４１４、データ記憶部４１５を有している。学習データ生成部４１３は、データサーバ１０５から受信したデータを、目的の学習効果を得るためにノイズ等の不要なデータを除去するなど、効果的に学習結果が得られる形に加工して学習データを最適化する。これらの機能的役割は、機械学習サーバ１０２のＣＰＵ１３０１により実行される。

実施形態に係る通信システムでは、効果的な学習するためのデータの前処理加工の一例として、データサーバ１０５から受信した画像データ及びテキストデータから、画像の特徴点抽出やＯＣＲによる文字抽出及び語句の出現頻度のカウント等を行う。こうして、効果的にデータ種別の判定、及び送信を実施するかどうかの妥当性の判定を学習できるようにする。データ記憶部４１５は、データサーバ１０５から受信したデータや、生成した学習データ、機械学習部４１４における学習済みモデルを機械学習サーバ１０２のＲＡＭ１３０２やＨＤＤ１３０４へ一時記憶する。機械学習部４１４は、学習データ生成部４１３によって生成された学習データを入力して、機械学習サーバ１０２のハードウェアリソースであるＧＰＵ１３０６やＣＰＵ１３０１と、図５に示す学習モデルによる学習方法を活用して機械学習を行う。

図５は、実施形態に係る機械学習サーバ１０２の機械学習部４１４による学習モデルを用いた入出力の概念を説明する図であり、ここではニューラルネットワークを用いた学習モデルを例に図示している。また、実施形態に係るシステムの特徴を説明するための一例として、操作情報を入力として色濃度設定値を予測するための学習モデルの生成に関する学習データＸをＸ１～Ｘ５で示している。図５（Ａ）は、データ種別を判定する学習モデルを、図５（Ｂ）は、送信実施の妥当性を判定する学習モデルを示している。

機械学習の具体的なアルゴリズムとしては、ニューラルネットの他、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン等が挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

図５（Ｃ）は、学習モデルの更新を説明する図である。

学習モデル５０１は、誤差検出部と、更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データＸ５０２に応じてニューラルネットワークの出力層から出力される出力データＹ５０３と、教師データＴとの誤差を求める。そして損失関数５０４を用いて、ニューラルネットワークからの出力データＹ５０２と教師データＴとの誤差を表す損失（Ｌ）を計算するようにしてもよい。

更新部は、誤差検出部で得られた損失（Ｌ）に基づいて、その損失が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

学習モデル（Ｗ）５０１は「正解値が既知の入力データ」と「正解値」とをセットにした学習データを多数用意し、この正解値に対応する入力データを入力した場合の出力が、正解値に極力近づくように学習モデル（Ｗ）５０１内の重み付け係数を調整する。こうして精度の高い学習モデル（Ｗ）を得る作業を行う。これを学習工程と呼び、学習工程を経て調整された学習モデルを学習済モデルと呼ぶ。

ここで、用意する教師データ（「正解値が既知の入力データ」と「正解値」とのセット）は以下のようなものとする
本実施形態に係るデータ種別を判定する学習モデルでは、風景写真、免許証、契約書、といった、そのデータが示す情報の内容に従ったデータ種別を「正解値」とする。そして、その「正解値」と、送信対象となり得る画像データ或いはテキストの特徴を示す情報とを対にして学習データの「入力」とし、データ種別を出力データと定義して学習させる。また、送信実施の妥当性を判定する学習モデルでは、送信処理を実施しても問題ないか否かの妥当性を「正解値」とする。そしてその「正解値」と、送信対象となりうるデータ種別と送信先となる宛先の特徴を示す属性情報とを対にして学習データの「入力」とし、送信可／不可の妥当性の判断結果を出力データと定義して学習させる。尚、データ種別の判定学習モデルを用いることなく、ユーザによる送信データの種別入力によりデータ種別を決定してもよい。

図６は、実施形態に係る画像形成装置１０１の操作部１４０に表示される画面例を示す図である。ここではＦＡＸや電子メール送信時に、ユーザに送信データ種別の入力を促して、種別を選択させる画面例を示す。図６（Ａ）では、ＦＡＸの送信時、送信データの種別をユーザに選択させるメニュー画面６０１が表示されている。また図６（Ｂ）では、複数の種別候補を表示してユーザに選択させる画面６０２を示している。ここでユーザは、表示される選択肢から、送信したい選択肢を選ぶことでデータ種別を選択して、送信しようとしているデータの種別を設定することができる。このとき送信データの種別が選択肢にない場合は、その他等を選択することにより、ユーザが新たにデータ種別を追加してもよい。このようにして送信データの種別を選択することにより決定された送信データの種別は、データ送信処理部４１１によりデータ記憶部４０１へ記憶される。そして、この記憶された送信データの種別は、推定処理部４０５における学習済みモデルによる推定処理に利用される。

図７は、実施形態に係る画像形成装置１０１によるＦＡＸ或いは電子メールの送信時の処理の流れを説明する図である。ここでは推定フェーズでの動作を示し、送信データから誤送信の可能性を判定する例で説明する。

ユーザによりＦＡＸ或いは電子メールの送信動作が開始されると、画像生成部４０４又は画像受信部４０６により、データ記憶部４０１に、その送信が指示された画像データやテキストデータが送信対象データ７０１として格納される。図５（Ａ）のデータ種別を判定する学習フェーズで生成されたデータ種別を判定する学習済みモデル７０３は、送信対象データ７０１の情報を基に、そのデータ種別を推定する。そして、そのデータ種別の判定結果を、図５（Ｂ）の学習フェーズで生成された送信の妥当性を判定する学習済みモデル７０４に通知する。

送信の妥当性を判定する学習済みモデル７０４は、データ種別の情報に加え、データ記憶部４０１から宛先の属性情報７０２を読み出し、それらの情報から送信実施の妥当性を判定し、その判定結果をジョブ制御部４０３に通知する。宛先の属性情報７０２としては、図５（Ｂ）の学習フェーズでのモデル生成時に用いたデータを保持して利用しても良く、またユーザが任意の宛先に対する属性情報を登録できるようにしてもよい。属性情報の登録は、操作部Ｉ／Ｆ１２０６からのユーザが入力した属性情報をもとに、属性情報登録部７０５によりデータ記憶部４０１を介して宛先の属性情報７０２の新規要素として登録される。

ジョブ制御部４０３は、受け取った送信実施の妥当性が「不可」であった場合は送信制御を一時中断し、操作部Ｉ／Ｆ１２０６に送信データが誤送信のおそれがあることを通知する。操作部Ｉ／Ｆ１２０６は、誤送信のおそれがあると通知されると、ユーザに送信データと宛先との組み合わせから誤送信のおそれがあると判定された旨を表示し、ユーザに送信処理を実施するかどうかの判断を仰ぐ。操作部Ｉ／Ｆ１２０６は、ユーザからの送信可否の判断結果を受け取ると、その結果をジョブ制御部４０３に通知する。ジョブ制御部４０３は、ユーザが送信しない（「送信不可」）と入力した場合は、停止していた送信処理を中止させる。一方、ユーザが送信する（「送信可」）と入力した場合は、停止していた送信処理を再開して送信を実行する。そして、その後、送信の妥当性を判定する学習済みモデル７０４に、ユーザが送信可と判定したことを通知する。

送信の妥当性を判定する学習済みモデル７０４は、ユーザが送信可であると判定した通知を受け取ると、送信可のユーザの判定を期待値とし、送信したデータ種別と送信宛先の属性情報を入力データ、という教師データによる学習済みモデルの再学習を実施する。この再学習は、図５（Ｃ）に示した学習フェーズの例と同様に実施される。しかし、再学習時は、機械学習サーバ１０２で学習するのではなく、画像形成装置１０１の推定処理部４０５で実施する。

尚、上述した各処理部のうち、データ種別を判定する学習済みモデル７０３と送信の妥当性を判定する学習済みモデル７０４は、機械学習された学習済みモデルを用いて作成された。しかし、例えば、ルックアップテーブル（ＬＵＴ）等のルールベースの処理で作成されてもよい。その場合には、例えば、データ種別判定の組み合わせ情報、及びデータ種別と宛先属性情報の送信可否の組み合わせ情報を予めＬＵＴとして作成しておく。そして、この作成したＬＵＴをＨＤＤ１２０４に格納しておくとよい。そして、データ種別を判定する学習済みモデル７０３及び送信の妥当性を判定する学習済みモデル７０４による処理を行う場合には、この格納されたＬＵＴを参照して、出力データを取得することができる。

また、ユーザによる送信実施するかどうかの判定結果を送信実施の妥当性判定処理にフィードバックする場合は、データ種別と宛先属性情報の送信可否の組み合わせ情報で、送信可となる組み合わせ要素をＬＵＴに追加する。或いは、ＬＵＴ上の各組み合わせ要素の送信可／不可の判定の閾値となる重みづけ係数値を変更する等により、ユーザの判定結果を、ＬＵＴを使用した判定処理に反映できる。つまりＬＵＴは、上述の処理部と同等の処理をするためのプログラムとして、ＣＰＵ或いはＧＰＵなどと協働して動作することにより、上述の処理部としての機能を実現できる。

図８（Ａ）は、宛先の属性情報７０２として保持する情報をリスト形式で示す図である。図８（Ｂ）は、実施形態に係る画像形成装置１０１の操作部１４０に表示される宛先とその属性情報を登録する画面例を示す図である。

図８（Ａ）に示すように、実施形態では、宛先の属性情報には、宛先となるＦＡＸ番号、メールアドレス、その宛先の業種情報、及び画像形成装置１０１が設置されてから該当する宛先に対して送信処理を実施した累積の送信回数などが含まれる。尚、図８（Ａ）では、宛先の業種と送信累積回数を属性情報として記載しているが、その他の誤送信の判定に利用できるデータ、例えば企業名等を属性情報として保持して利用してもよい。

送信の妥当性を判定する学習済みモデル７０４は、この属性情報とデータ種別を判定する学習済みモデル７０３から入力されるデータ種別情報とを組み合わせることで、送信データが、指定された宛先に送信されるのが適しているかどうか推測できる。また図８（Ｂ）のように、宛先の属性情報の登録画面を表示してユーザからの入力を受け付ける。ＦＡＸや電子メール等の送信宛先を登録する際に、ＦＡＸ番号やメールアドレスとともに、その宛先の業種等を登録させる。尚、実施形態では、宛先の業種を属性情報として登録しているが、その他の誤送信の判定に利用できるデータを属性情報として登録できるようにしてもよい。

図９は、実施形態に係る画像形成装置１０１において、送信の妥当性を判定する学習済みモデル７０４が、宛先の属性情報及び送信データ種別から送信可／不可を判定する例を説明する図である。実施形態では前述したように、属性情報として宛先の業種や累積送信実施回数を用いる例を示す。

図９（Ａ）では、送信データ種別が保険契約書であり、宛先業種が生命保険業である場合は、データと宛先の整合が取れているものとして送信が妥当とみなし、送信「可」と判定する。図９（Ｂ）では、送信データ種別が営業広告で、宛先業種が生命保険業である場合は、生命保険業者に対して営業広告を送信するケースは通常考えづらいため、送信データが宛先の業種に対し妥当でないとみなして送信「不可」と判定する。図９（Ｃ）（Ｄ）は、業種とデータ種別の組み合わせのみでなく、累積の送信回数とも組み合わせて妥当性を判定する例を示している。送信データ種別が免許証である場合は、個人情報の中でも情報流出の危険度が高いため、より厳密に誤送信を判定するために、宛先業種とともに累積送信の実施回数も判定の要因に加える。従って図９（Ｃ）のように、宛先業種が官公庁で、送信先としては妥当で送信可能に該当する場合であっても、累積送信の実施回数が２回と少ない場合は送信宛先としての信頼度が低いとみなして送信「不可」と判定している。一方、図９（Ｄ）のように、累積送信の実施回数が所定の閾値を超えているような場合は、宛先業種が同じ官公庁で、送信データ種別が免許証の場合でも送信「可」と判定する。ここで累積送信の実施回数に基づいて送信が妥当と判定する回数の閾値は、学習フェーズや設置先での再学習により決定されるものとする。

図１０は、実施形態に係る画像形成装置１０１において誤送信の可能性があると判定したときに操作部１４０に表示する、送信を実施するかどうかユーザに判断させる画面例を示す図である。

宛先の属性情報と送信データとの組み合わせから誤送信の可能性がある旨を表示し、送信処理を継続するか否かの判断結果を入力するようにユーザに促す。図１０では、送信データ種別が免許証で、宛先の業種（食料品の小売業）に対して相応しくないと判断されたために、誤送信の可能性がある判定された例を表示している。宛先の属性情報の持たせ方や判定方法等に応じて、誤送信の判定の基になった情報の表示を適宜、変更してもよい。

図１１は、実施形態に係る画像形成装置１０１において、送信データと宛先情報とに基づいて送信の可否を判定し、ユーザの判定に従ってデータの送信を制御する処理を説明するフローチャートである。尚、このフローチャートで示す処理は、画像形成装置１０１のＣＰＵ１２０１がＲＡＭ１２０２に展開したプログラムを実行することにより実現される。

まずＳ１１０１でＣＰＵ１２０１は、操作部１４０を介してユーザから、ＦＡＸや電子メール等のデータ送信の指示を受け付け、これと同時に送信宛先の番号やアドレス等の入力も受付ける。次にＳ１１０２に進みＣＰＵ１２０１は、画像生成部４０４又は画像受信部４０６として機能し、送信対象データ７０１を生成する。次にＳ１１０３に進みＣＰＵ１２０１は、生成された送信対象データ７０１をデータ種別を判定する学習済みモデル７０３に入力して、送信データを解析して、そのデータの種別を判別する。その後Ｓ１１０４に進みＣＰＵ１２０１は、データ記憶部４０１から宛先の属性情報７０２を読み出す。そしてＳ１１０５に進みＣＰＵ１２０１は、宛先の属性情報７０２とデータ種別を判定する学習済みモデル７０３の判定結果である送信データ種別情報とを送信の妥当性を判定する学習済みモデル７０４に入力する。そしてＳ１１０６に進みＣＰＵ１２０１は、送信の妥当性を判定する学習済みモデル７０４の判定結果に基づいて、送信処理を実施しても問題ないかどうかを判定する妥当性の判定処理を行う。ここで判定の結果が送信「可」であった場合はＳ１１０７に進み、指定された宛先へのデータ送信処理を実行して、この処理を終了する。

一方、Ｓ１１０６でＣＰＵ１２０１は、判定の結果が送信「不可」のときはＳ１１０８に進み、宛先へのデータ送信処理を一時停止する。そしてＳ１１０９に進みＣＰＵ１２０１は、操作部１４０に、ユーザに対して誤送信の恐れがある旨を示す警告ダイアログを表示する。そしてＳ１１１０でＣＰＵ１２０１は、データ送信を実行するか否かのユーザに問い合わせるための、例えば図１０のようなダイアログを表示して、ユーザによる判定結果の入力を受け付ける。ここでユーザが、例えば図１０のキャンセルボタンを押下して、データ送信を中止する指示を入力したときはＳ１１１２に進みＣＰＵ１２０１は、その宛先へのデータ送信処理を中止して、この処理を終了する。

一方、Ｓ１１１１でＣＰＵ１２０１は、例えば図１０のＯＫボタンを押下して、ユーザがデータ送信を実行する指示を入力したときはＳ１１１３に進みＣＰＵ１２０１は、その宛先へのデータ送信処理を実行する。そしてＳ１１１４に進みＣＰＵ１２０１は、送信の妥当性を判定する学習済みモデル７０４に対して、判定結果が誤っていたことを通知し、モデルの再学習を実施するように指示してこの処理を終了する。

以上説明したように実施形態によれば、画像形成装置が、送信データの種別及びそのデータの宛先に基づいて、そのデータ送信の妥当性を判定することにより、ユーザの手を煩わせることなく、データを誤った宛先に送信する誤送信を抑制することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１０１…画像形成装置、１０２…機械学習サーバ、１０５…データサーバ、１４０…操作部、４０１，４１２，４１５…データ記憶部、４０３…ジョブ制御部、４０４…画像生成部、４０５…推定処理部、４１３…学習データ生成部、４１４…機械学習部、１２００…コントローラ、１２０１…ＣＰＵ

Claims (14)

1. データの送信先である宛先を受け付ける受付手段と、
   前記データの種別を判別する判別手段と、
   前記宛先の属性情報を取得する取得手段と、
   前記データの種別と前記宛先の属性情報とに基づいて、前記データの前記宛先への送信を実施するかどうか判定する判定手段と、
   前記判定手段が前記データの前記宛先への送信を実施しないと判定した場合に、前記データの前記宛先への送信を実施するかどうかをユーザに問い合わせる問い合わせ手段と、
   を有することを特徴とする通信装置。
2. 複数の宛先と前記複数の宛先のそれぞれに対応する属性情報を記憶する記憶手段を、更に有し、
   前記取得手段は、前記記憶手段から前記データの送信先である宛先に対応する属性情報を取得することを特徴とする請求項１に記載の通信装置。
3. 宛先と当該宛先に対応する属性情報を前記記憶手段に登録する登録手段を、更に有することを特徴とする請求項２に記載の通信装置。
4. 前記判別手段は、データの種別を判定する学習済みモデルを用いて、前記データの種別を判別することを特徴とする請求項１乃至３のいずれか１項に記載の通信装置。
5. 前記判定手段は、前記データの種別と前記宛先の属性情報とに基づいて前記データの送信の妥当性を判定する学習済みモデルを用いて、前記データの前記宛先への送信を実施するかどうか判定することを特徴とする請求項１乃至４のいずれか１項に記載の通信装置。
6. 前記問い合わせ手段による問い合わせに対して前記ユーザが前記データの前記宛先への送信を実施すると指示した場合は、前記データの送信の妥当性を判定する学習済みモデルの再学習を実施するように指示する手段を、更に有することを特徴とする請求項５に記載の通信装置。
7. 前記学習済みモデルは、ネットワークを介して接続されている機械学習サーバから取得したものであることを特徴とする請求項４乃至６のいずれか１項に記載の通信装置。
8. 前記記憶手段に記憶されている前記複数の宛先のそれぞれに対応する送信回数を記憶する手段を、更に有し、
   前記判定手段は、前記データの種別と前記宛先の属性情報に加えて、前記送信回数に基づいて前記データの前記宛先への送信を実施するかどうか判定することを特徴とする請求項２又は３に記載の通信装置。
9. 前記判定手段は、前記データの種別と前記宛先の属性情報が前記データの前記宛先への送信を実施しないと判定される可能性が高い場合でも、前記送信回数が所定の閾値よりも多い場合は、前記データの前記宛先への送信を実施すると判定することを特徴とする請求項８に記載の通信装置。
10. 前記判定手段は、前記データの種別と前記宛先の属性情報が前記データの前記宛先への送信を実施すると判定される可能性が高い場合でも、前記送信回数が所定の閾値よりも少ない場合は、前記データの前記宛先への送信を実施しないと判定することを特徴とする請求項８に記載の通信装置。
11. 前記宛先の属性情報は、前記宛先の企業名、業種の少なくともいずれかを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の通信装置。
12. 通信装置と、前記通信装置に学習済みモデルを提供するサーバとを有する通信システムであって、
    前記サーバは、
    データの種別を判定する学習モデルと、データの送信の妥当性を判定する学習モデルとを学習する学習手段と、
    前記学習手段で学習して得られた前記学習モデルの学習済みモデルを記憶する記憶手段とを有し、
    前記通信装置は、
    データの送信先である宛先を受け付ける受付手段と、
    前記サーバから提供される前記データの種別を判定する学習済みモデルを使用して、前記データの種別を判別する判別手段と、
    前記宛先の属性情報を取得する取得手段と、
    前記データの種別と前記宛先の属性情報とに基づいて、前記サーバから提供される前記データの送信の妥当性を判定する学習済みモデルを用いて、前記データの前記宛先への送信を実施するかどうか判定する判定手段と、
    前記判定手段が前記データの前記宛先への送信を実施しないと判定した場合に、前記データの前記宛先への送信を実施するかどうかをユーザに問い合わせる問い合わせ手段と、
    を有することを特徴とする通信システム。
13. 通信装置を制御する制御方法であって、
    データの送信先である宛先を受け付ける受付工程と、
    前記データの種別を判別する判別工程と、
    前記宛先の属性情報を取得する取得工程と、
    前記データの種別と前記宛先の属性情報とに基づいて、前記データの前記宛先への送信を実施するかどうか判定する判定工程と、
    前記判定工程が前記データの前記宛先への送信を実施しないと判定した場合に、前記データの前記宛先への送信を実施するかどうかをユーザに問い合わせる問い合わせ工程と、を有することを特徴とする制御方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の通信装置の各手段のすべてとして機能させるためのプログラム。

Images